기술 요약: CoSPlan: 장면 그래프 점진적 업데이트를 통한 교정적 시퀀스 계획

1. 문제 정의

시각 언어 모델(VLM)은 텍스트 추론 및 계획, 특히 연쇄 사고(Chain-of-Thought, CoT) 기법을 활용할 때 상당한 능력을 보여주었습니다. 그러나 시각적 도메인 내에서의 순차적 계획 능력은 여전히 미개척 분야로 남아 있습니다. 기존 벤치마크는 종종 정적인 시각적 퍼즐에 집중하거나 이상적이고 오류가 없는 지침을 가정하며, 에이전트가 물리적 제약을 탐색하고 실행 오류로부터 회복해야 하는 실제 의사결정의 복잡성을 포착하는 데 실패합니다.

본 논문은 중요한 격차를 식별합니다: VLM은 연속적인 시각적 추론을 지속하는 데 어려움을 겪으며, 특히 시퀀스 내에서 오류가 있는 단계를 감지하고 수정해야 할 때 더욱 그러합니다. 현재의 모델들은 명시적인 중간 표현 없이 초기 상태에서 최종 목표로 가는 추론을 단일 단계로 압축하여 시뮬레이션하는 경향이 있습니다. 이는 "단계 완성(Step Completion)"(남은 행동 계획)과 "오류 감지(Error Detection)"(시퀀스가 잘못된 지점 식별)에서의 실패로 이어지며, 오류가 도입되었을 때 성능이 무작위 추측 수준에 근접하는 결과를 초래합니다.

이를 해결하기 위해 저자들은 **CoSPlan (Corrective Sequence Planning)**을 소개합니다. 이는 최소 하나 이상의 의도적, 비최적 또는 오류가 포함된 초기 컨텍스트($A_E$)가 주어진 상황에서, 초기 장면($I_0$)으로부터 목표 장면($I_g$)까지의 일련의 시각적 행동을 탐색하는 능력을 평가하도록 설계된 멀티모달 벤치마크입니다.

2. 방법론

2.1 CoSPlan 벤치마크

CoSPlan은 두 가지 별개의 작업을 평가합니다:

1. 오류 감지 (Error Detection): 제공된 초기 컨텍스트 내에서 특정 오류 단계를 식별하거나(또는 오류가 존재하지 않는지 결정함).
2. 단계 완성 (Step Completion): 오류에 의해 형성된 궤적을 효과적으로 수정하여 목표 상태에 도달하기 위한 남은 행동의 올바른 시퀀스를 선택함.

이 벤치마크는 네 가지 뚜렷한 작업으로 구성되며, 각 작업은 의도적인 하위 최적 오류를 특징으로 합니다 (아래 언급된 특정 사례 제외):

• Maze-E: 에이전트가 장애물을 피하면서 시작 셀에서 목표 셀로 이동해야 하는 내비게이션 작업입니다. 오류에는 범위를 벗어난 이동, 장애물 충돌 또는 불법적인 대각선 이동이 포함됩니다.
• Blocks-World-E: 초기 스택 구성을 타겟 구성으로 변환하는 블록 재배치 작업입니다. 오류에는 물리적으로 불가능한 움직임(예: 상단이 아닌 블록 이동, 공중에 떠 있는 블록)이나 비효낙적인 쌓기 방식이 포함됩니다.
• Shuffle-E: 섞인 이미지 패치들을 교체하여 원래 이미지를 복원하는 이미지 재구성 작업입니다. 참고: 오류의 연쇄적 특성 때문에 이 작업에서는 단 하나의 오류만 도입되지만, 이는 균일성에 대한 독특한 과제를 생성하는 것으로 언급되었습니다.
• Robo-VQA-E: 큐레이션된 이미지-텍스트 쌍을 사용하는 실제 객체 재조직 작업입니다. 오류에는 하위 최적의 배치, 존재하지 않는 객체와의 임의적인 상호작용, 또는 유효하지 않은 행동(예: 이미 열려 있는 문을 여는 행위)이 포함됩니다.

설계 안전장치: 모델이 추론 과정 없이 단순히 최종 목표 상태($I_g$)와 시각적으로 일치하는 옵션을 선택하여 "속임수"를 쓰는 것을 방지하기 위해, CoSPlan은 디스트랙터(방해 요소) 옵션을 포함합니다. 이러한 디스트랙터들은 최종 상태에는 도달하지만 초기 컨텍스트의 특정 오류를 수정하는 데 실패하므로, 모델이 장면의 이력과 제약 조건을 이해하도록 강제합니다.

2.2 제안된 솔루션: 장면 그래프 점진적 업데이트 (SGI)

표준 CoT 및 정적 장면 그래프(Scene Graph, SG) 접근 방식이 장기적 시각 추론에 어려움을 겪는다는 점을 인식하여, 저자들은 훈련이 필요 없는 방법인 SGI를 제안합니다.

• 핵심 개념: 이미지를 직접 추론하거나 전체 시퀀스를 단일 단계로 압축하는 대신, SGI는 이미지를 텍스트 장면 그래프로 변로합니다. 그 후 텍스트 공간에서 반복적이고 단계적인 추론을 수행합니다.
• 알고리즘:
  1. Vanilla 장면 그래프: VLM은 $I_0$로부터 초기 장면 그래프($S_0$)를 생성하고, $I_g$로부터 목표 장면 그래프($S_g$)를 생성합니다.
  2. 점진적 업데이트: $S_0$에서 시작하여, 모델은 초기 컨텍스트의 각 행동(오류 포함)을 "시뮬레이션"하도록 프롬프트되어 그래프를 점진적으로 업데이트함으로써 중간 상태 그래프($S_c$)를 생성합니다.
  3. 옵션 시뮬레이션: 각 다지선다 옵션(잠재적인 미래 시퀀스를 나타냄)에 대해, 모델은 $S_c$에서 시작하여 행동을 시뮬레이션하고, 해당 옵션에 대한 가상의 최종 그래프($S_m$)를 생성합니다.
  4. 유사도 비교: 모델은 각 가상 그래프($S_m$)를 목표 그래프($S_g$)와 비교하여 어떤 옵션이 목표 제약 조건과 가장 잘 일치하는지 결정하며, 결과적으로 오류를 수정하는 경로를 선택합니다.

이 접근 방식은 추론의 부담을 분해하여, 모델이 암묵적인 시각화를 사용하는 대신 진화하는 상태를 명시적으로 추적할 수 있도록 합니다.

3. 주요 기여

1. CoSPlan 벤치마크: 시각-언어 도메인 내에서 오류가 발생하는 조건 하의 순차적 계획을 평가하는 최초의 멀티모달 벤치마크입니다. 이는 네 가지 다양한 작업 유형에 걸쳐 시간적 행동 시퀀스와 오류 감지 및 수정 요구 사항을 독특하게 결합합니다.
2. VLM 약점의 경험적 분석: 본 논문은 GPT-4o, GPT-5.1, Intern-VLM, Qwen 등을 포함한 최첨단 VLM에 대한 엄격한 평가를 제공합니다. 이는 고급 모델조차 이러한 작업에서 무작위 추측에 가까운 성능을 보임을 밝혀내며, 중간 단계를 시각화하고 컨텍스트 내 오류를 처리하는 데 심각한 능력이 부족함을 강조합니다.
3. SGI 방법론: 장면 그래프를 활용하여 점진적 업데이트를 수행하는 새로운 훈련 불필요(training-free) 기술입니다. SGI는 중간 상태를 명시적으로 모델링함으로써 Vanilla 장면 그래프 및 CoT 베이스라인보다 성능을 크게 향상시킵니다.

4. 결과

• 베이스라인 성능: Vanilla VLM 및 표준 CoT 또는 정적 SG를 사용하는 모델은 성능이 저조하며, 종종 무작위 추측(예: 5지선다형에서 약 20% 정확도) 근처 또는 그 이하의 성능을 보입니다. 이는 오류가 존재할 때 시각적 시퀀스 계획에 대한 근본적인 어려움을 나타냅니다.
• SGI 성능: SGI 방법은 모든 작업에서 일관된 개선을 보여줍니다.
  • 단계 완성 (Step Completion): SGI는 표준 장면 그래프 방법 대비 평균 **~4.4%**의 개선을 달성했으며, Intern-VLM 2와 같은 특정 모델의 경우 최대 **10.3%**의 향상을 보였습니다.
  • 오류 감지 (Error Detection): SGI는 모델에 따라 평균 **4.1%에서 9.2%**의 오류 감지 정확도 향상을 가져왔습니다.
  • 일반화 (Generalization): SGI는 외부 데이터셋에서도 견고함을 입증하였으며, VQA(시각적 질의응답) 작업과 PlanBench(텍스트 기반 계획) 벤치마크에서 개선을 보여주어, 이 방법이 CoSPlan 작업 외에도 유용함을 시사했습니다.
• 오류 민감도: 연구에 따르면 VLM은 오류가 없는 설정에서는 우수한 성능을 보이지만, 단 하나의 오류가 도입되면 성능이 급격히 저하됩니다. 또한, MCQ 옵션 수가 증가함에 따라 성능이 떨어지는데, 이는 실제 추론보다는 옵션 편향(option bias)에 의존하고 있음을 시사합니다.

5. 의의 및 주장

본 논문은 CoSPlan이 현재 VLM의 핵심적인 한계를 드러낸다고 주장합니다. 즉, VLM이 텍스트나 정적 이미지 이해에서는 강력한 제로샷 일반화 능력을 가질 수 있지만, 오류가 발생하는 실제 의사결정에 필요한 일관된 다단계 시각적 추론 능력은 부족하다는 것입니다.

본 연구의 의의는 다음과 같습니다:

• 현실성: 오류를 도입함으로써, CoSPlan은 에이전트가 하위 최적의 행동으로부터 회복해야 하는 현실적인 배포 시나리오(예: 로보틱스, 자율 주행)를 모사합니다. 이는 대부분의 벤치마크에서 현재 결여되어 있는 능력입니다.
• 방법론적 전환: SGI의 성공은 시각적 추론을 반복적인 텍스트 추론(장면 그래프를 통해)으로 변환하는 것이 광범위한 재학습 없이도 VLM의 "장기적(long-horizon)" 추론 격차를 극복할 수 있는 유효한 경로임을 시사합니다.
• 진단적 가치: 이 벤치마크는 단순히 최종 상태를 "환각(hallucinate)"하는 모델과 시각적 시퀀스의 인과 관계 및 제약 조건을 진정으로 이해하는 모델을 구분하는 엄격한 테스트 역할을 합니다.

저자들은 SGI가 성능을 실질적으로 높임에도 불구하고, 많은 모델이 SGI를 사용했을 때조차 무작위 추측에 가까운 성능을 보이는 것은 시각적 단계를 시뮬레이션하는 것이 현재의 아키텍처에 있어 본질적으로 어려운 과제임을 강조하며, 이는 견고한 시각적 추론 메커니즘에 대한 추가 연구가 필요함을 시사한다고 결론짓습니다.