From Perception to Action: An Interactive Benchmark for Vision Reasoning

이 논문은 기존 비전 - 언어 모델 평가의 한계를 극복하기 위해 물리적 구조와 인과적 제약을 고려한 행동 계획 능력을 평가하는 대화형 3D 벤치마크 'CHAIN'을 제안하고, 최신 모델들이 물리적 구조 이해와 장기적 행동 계획에서 여전히 심각한 어려움을 겪고 있음을 보여줍니다.

핵심

🧩 1. 기존 문제: "사진 속의 명화" vs "실제 퍼즐"

지금까지 AI(시각 언어 모델) 를 평가할 때는 주로 사진을 보고 질문하는 방식을 썼습니다.

• 기존 방식 (VQA): "이 사진에 있는 나무는 몇 개인가요?"라고 묻고 정답을 맞히는 거죠.
  • 비유: 마치 미술관에 가서 그림을 보고 "이 그림에 빨간색이 몇 개 있나요?"라고 묻는 것과 같습니다. 그림을 잘 보면 정답을 맞출 수 있지만, 그림 속 물건을 실제로 움직일 수는 없습니다.

하지만 현실 세계에서는 물건을 움직이고, 쌓고, 조립해야 합니다.

• 이 논문의 문제제기: "사진을 잘 보는 것만으로는 부족해요. 실제로 퍼즐을 맞추거나 물건을 쌓을 때, 어떤 순서로 움직여야 부딪히지 않고 성공할지를 계산할 줄 알아야 합니다."
  • 비유: 미술관 그림을 보는 게 아니라, 실제 레고 블록을 가지고 조립해야 하는 상황입니다. 그림을 보고 "이 블록이 저기 있어야 해"라고 말만 하는 게 아니라, 실제로 손으로 들어보고 "아, 이걸 먼저 빼야 다른 게 나오네!"라고 깨달아야 합니다.

🏗️ 2. 새로운 시험지: 'CHAIN' (체인)

저자들은 이 문제를 해결하기 위해 **'CHAIN'**이라는 새로운 3D 퍼즐 게임장을 만들었습니다.

• CHAIN 이란? "행동과 상호작용의 인과적 위계"라는 어려운 이름이지만, 쉽게 말해 **"물리 법칙을 따르는 3D 퍼즐 게임"**입니다.
• 게임 내용:
  1. 퍼즐 (Puzzle): 중국 전통 목공 퍼즐 (공명자, 노반자) 처럼 서로 맞물려 있는 블록을 해체하거나 조립해야 합니다.
  2. 쌓기 (Stacking): 다양한 모양의 블록을 주어진 상자에 꽉 차게 넣어야 합니다.

이 게임의 핵심은 **"실수하면 안 된다"**는 점입니다.

• 비유: 마치 마술사의 상자를 여는 것과 같습니다. 순서를 잘못 맞추면 상자가 잠겨서 다시는 열 수 없게 됩니다. AI 는 "이걸 먼저 빼야 해"라고 추론한 뒤, 실제로 그 행동을 실행하고 결과가 어떻게 나오는지 확인해야 합니다.

🤖 3. AI 들의 실력: "눈은 밝지만 손은 서툴다"

저자들은 최신 AI 모델들 (GPT-5, Claude, Gemini 등) 을 이 게임장에 데려와 시험을 보게 했습니다. 결과는 어땠을까요?

• 결과: AI 들은 사진을 보는 능력은 뛰어나지만, 실제로 손으로 퍼즐을 풀 때는 매우 서툴렀습니다.
  • 쉬운 문제: 블록을 쌓는 간단한 문제는 잘 풀었습니다.
  • 어려운 문제: 서로 복잡하게 맞물려 있는 퍼즐을 풀 때는 거의 **0%**에 가까운 성공률을 보였습니다.
• 왜 실패했을까요?
  • 비유: AI 는 "이 블록이 저 블록을 막고 있네"라고 이해는 했지만, "그럼 이 블록을 어떻게 움직여야 저 블록이 빠질까?"를 계산하지 못했습니다.
  • 마치 레고 조립 설명서를 읽는 것은 잘하지만, 실제로 블록을 끼우려다 부딪혀서 조립이 안 되는 상황과 비슷합니다. AI 는 물리적인 제약 (부딪힘, 중력, 지지대) 을 무시하고 엉뚱한 행동을 하거나, 퍼즐을 풀 수 없는 길로 계속 갔다가 막히곤 했습니다.

🎥 4. 영상 생성 AI 의 대참사

논문에서는 최신 영상 생성 AI 들 (SORA 등) 도 테스트했습니다. "이 퍼즐을 해체하는 영상을 만들어줘"라고 시켰습니다.

• 결과: 대참사였습니다.
  • 비유: AI 가 만든 영상을 보면, 블록이 공중으로 날아가거나, 뚫려서 통과하거나, 갑자기 사라지거나 하는 기이한 현상이 벌어졌습니다.
  • AI 는 "영상이 그럴듯해 보이게" 만드는 데는 능숙하지만, **물리 법칙 (중력, 충돌)**을 따르는 현실적인 움직임을 이해하지 못한다는 것이 드러났습니다.

💡 5. 결론: "보고 (Perception)"에서 "행동 (Action)"으로

이 논문의 가장 중요한 메시지는 다음과 같습니다.

"AI 가 세상을 '보는' 것만으로는 충분하지 않습니다. 세상을 '만지고', '움직이며', '실패를 경험하고' 다시 시도하는 능력이 필요합니다."

• 기존: AI 는 관찰자였습니다. (사진을 보고 설명함)
• 미래: AI 는 작업자가 되어야 합니다. (실제로 퍼즐을 풀고 물건을 조립함)

이 새로운 시험지 (CHAIN) 는 AI 가 단순히 지식을 외우는 것을 넘어, 물리 법칙을 이해하고 복잡한 문제를 해결하는 능력을 키우기 위한 첫걸음이 될 것입니다. 마치 아이가 레고 블록을 가지고 놀며 "왜 이걸 이렇게 끼우면 안 되지?"를 배우는 과정과 같습니다.

한 줄 요약:

"AI 가 이제부터는 '눈으로만' 보는 게 아니라, '손으로' 퍼즐을 풀며 물리 법칙을 배우는 시험을 치르게 되었습니다. 아직은 서툴지만, 이것이 진짜 현실 세계를 돕는 AI 로 가는 길입니다."

기술 요약

1. 문제 정의 (Problem Definition)

기존의 시각 - 언어 모델 (VLM) 평가는 주로 정적인 이미지 기반의 단일 턴 질문 답변 (VQA) 에 집중되어 있습니다. 이러한 방식은 물리적 구조 (기하학, 접촉, 지지 관계) 가 어떻게 동적 환경에서 가능한 행동을 제약하는지에 대한 인과적 추론 (Causal Reasoning) 능력을 평가하지 못합니다.

• 핵심 한계: 현재 모델들은 정적인 장면 인식에는 탁월하지만, 물리적 제약 조건 하에서 행동을 계획하고, 상호작용을 통해 피드백을 받으며 계획을 수정하는 능동적 문제 해결 (Active Problem Solving) 능력이 부족합니다.
• 필요성: embodied agent(구현체), 상호작용 디자인, 장거리 조작 (long-horizon manipulation) 등 실제 세계 응용을 위해서는 정적 인식을 넘어 물리 법칙과 구조적 제약을 이해하고 행동으로 옮기는 능력이 필수적입니다.

2. 방법론 (Methodology)

2.1. CHAIN 벤치마크 소개

저자들은 CHAIN (Causal Hierarchy of Actions and Interactions) 을 제안합니다. 이는 물리적 제약에 기반한 구조화된 행동 시퀀스를 이해, 계획, 실행할 수 있는지를 평가하는 상호작용형 3D 물리 기반 테스트베드입니다.

• 환경: Unity 및 경량 3D Python 엔진을 사용하여 구축된 물리 엔진 기반 환경입니다.
• 작업 유형:
  1. Interlocking Mechanical Puzzles (연결식 기계 퍼즐): 공명자 (Kongming), 노반 (Lu Ban) 자물쇠 등. 부품 간의 정밀한 접촉, 운동학적 가능성, 충돌 회피, 숨겨진 기하학적 제약을 이해해야 하는 장기적 계획이 필요한 작업입니다. (32 개 인스턴스)
  2. 3D Stacking and Packing (3D 적재 및 포장): 다양한 모양의 블록을 용기에 채우는 작업. 중력, 지지 관계, 균형 제약, 그리고 초기 배치 결정이 이후 가능한 공간에 미치는 영향을 고려해야 합니다. (77 개 인스턴스)
• 평가 프로토콜:
  • Closed-loop Interaction: 에이전트는 목표 상태, 상호작용 히스토리, 현재 다중 시점 (multi-view) 관측을 바탕으로 행동을 선택하고, 시뮬레이터가 실행 결과를 반환하는 순환 구조를 가집니다.
  • 성공 기준: 최종 구성이 규칙 기반 검증 (정확한 매칭) 을 통과해야 합니다.

2.2. 평가 지표 (Metrics)

단순 성공률뿐만 아니라 효율성과 비용까지 종합적으로 평가합니다.

1. Task Success: Pass@1 (단일 시도 성공률).
2. Plan Efficiency: 성공한 작업에 대해 최적 경로 대비 추가 단계 수 (Dist2Opt, NormDist) 를 측정하여 비효율적인 시행착오를 평가합니다.
3. Token & Cost Efficiency: 성공한 작업당 소모된 토큰 수 및 실제 비용 (USD) 을 측정하여 배포 효율성을 평가합니다.

3. 주요 기여 (Key Contributions)

1. CHAIN 벤치마크 오픈소스: 정적 VQA 에서 폐쇄 루프 (closed-loop) 물리 문제 해결로 평가 패러다임을 전환한 최초의 3D 상호작용 벤치마크입니다. 109 개의 상호작용 레벨을 포함하며, 난이도별 (Easy/Medium/Hard) 로 세분화되어 있습니다.
2. 포괄적인 실증 연구: 최신 VLM(클로즈드/오픈 소스) 과 Diffusion 기반 이미지 - 비디오 모델을 동일한 상호작용 프로토콜 하에서 평가했습니다.
3. 물리적 구조 이해의 한계 규명: 현재 최첨단 모델조차 물리적 구조와 인과적 제약을 내면화하지 못하며, 특히 장거리 계획과 3D 기하학적 제약 하에서의 행동 변환에 실패함을 입증했습니다.

4. 실험 결과 (Results)

4.1. 모델 성능 분석

• 전체적 성과: 폐쇄형 모델 (GPT-5.2, Claude 등) 이 오픈 소스 모델보다 우세하지만, 전체적인 성공률은 낮습니다.
  • Stacking (적재): 상대적으로 성공률이 높음 (최고 31.2%).
  • Puzzle (퍼즐): 모든 모델이 극도로 취약함 (성공률 0.0% ~ 3.1%). 이는 3D 연결 구조의 숨겨진 제약을 추론하는 데 근본적인 어려움이 있음을 시사합니다.
• 효율성: 성공률이 높은 모델일수록 계획을 수정하고 백트래킹 (backtracking) 하는 경향이 있어, 단계 수와 토큰 비용이 증가하는 트레이드오프가 존재합니다.

4.2. 세계 모델 (World Models) 의 치명적 실패

SORA, WAN, VEO 등 최신 비디오 생성 모델들을 루반 자물쇠 분해 작업에 적용한 결과, 치명적인 실패 (Catastrophic Failure) 가 관찰되었습니다.

• 물리 법칙 위반: 인터락킹 (interlocking) 제약을 무시하고 물체가 관통하거나 비현실적인 이동 경로를 생성합니다.
• 객체 불변성 상실: 복잡한 구조에서는 물체의 형태가 왜곡되거나, 부품이 사라지거나 추가되는 할루시네이션이 발생합니다.
• 결론: 현재 세계 모델들은 시각적으로 그럴듯한 움직임을 생성할 수는 있으나, 구조적이고 제약 기반인 상호작용에는 근본적으로 신뢰할 수 없습니다.

4.3. 상호작용의 중요성 (One-shot vs. Interactive)

• One-shot (단일 이미지 기반): 모델이 초기 관측만으로 전체 계획을 수립해야 하는 경우, 퍼즐 작업의 성공률은 0% 로 떨어집니다.
• Interactive (상호작용): 환경과의 상호작용을 통해 제약 조건을 점진적으로 발견하고 계획을 수정할 때만 소량의 성공이 가능합니다. 이는 물리적 문제 해결이 단순한 인식 (Recognition) 이 아닌, 반복적인 제약 발견 (Iterative Constraint Discovery) 과정임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• See vs. Act 의 격차: 현재 AI 모델은 "보는 것 (Seeing)"과 "행동하는 것 (Acting)" 사이에 큰 격차가 존재합니다. 모델들은 장면을 올바르게 인식하더라도, 초기 행동이 미래의 가능한 행동 공간을 어떻게 제약하거나 확장하는지 (인과적 구조) 를 내면화하지 못합니다.
• 향후 방향: CHAIN 은 물리적으로 기반을 둔 구조 인식형 상호작용 에이전트 개발을 촉진하기 위한 도전적인 벤치마크이자 재현 가능한 기준선 (baseline) 을 제공합니다.
• 핵심 통찰: 물리적 문제 해결을 위해서는 단순한 패턴 인식을 넘어, 기하학적 제약, 접촉 의존성, 지지 관계를 고려한 장기적 계획 (Long-horizon planning) 과 폐쇄 루프 적응 (Closed-loop adaptation) 능력이 필수적이며, 이는 현재 모델들의 가장 큰 약점입니다.

이 논문은 Vision-Language-Action (VLA) 모델의 발전 방향을 정적 인식에서 동적 물리 추론으로 전환해야 함을 강력히 주장하며, 이를 위한 표준화된 평가 도구를 제시했습니다.