기술 요약: ESI-BENCH

문제 정의

공간 지능은 본질적으로 지각-행동 루프로 정의된 구체화된 과정이며, 여기서 에이전트는 수동적 감지만으로는 접근할 수 없는 잠재적 물리적 속성 (예: 가려진 구조, 포함 관계, 역학) 에 대해 추론하기 위해 능동적으로 관찰을 획득해야 합니다. 기존 공간 추론 벤치마크는 대부분 "오라클" 관찰 (고정된 사전 제공 입력) 을 가정하여, 에이전트가 어떤 관찰을 획득할지, 언제 중단할지, 그리고 공간적 모호성을 해결하기 위해 행동을 어떻게 순서화할지 판단하는 능력을 평가하지 못합니다. 현재 모델들은 종종 "행동 맹목성"을 겪는데, 이는 부적절한 행동 선택이 정보 가치가 없는 시야를 초래하여 추론 오류로 이어지는 연쇄 반응을 일으키며, 인간이 반증 증거를 추구하는 것과 달리 메타인지적 격차로 인해 높은 확신으로 미숙하게 답변을 확정하는 경향을 보입니다.

방법론

저자들은 OmniGibson 시뮬레이터와 BEHAVIOR-1K 장면 풀을 기반으로 구축된 구체화된 공간 지능을 위한 포괄적인 벤치마크인 ESI-BENCH를 소개합니다. 이 벤치마크는 Spelke 의 네 가지 핵심 지식 시스템 (객체 표현, 배치/기하학, 수 표현, 에이전트/목표 지향적 행동) 에 기반을 두고 있습니다.

벤치마크 구축

• 규모: 10 개 작업 카테고리 및 29 개 하위 카테고리에 걸친 3,081 개의 작업 인스턴스.
• 작업 정의: 각 작업은 $(S, p_0, q, y^*)$ 튜플로 정의되며, 여기서 $S$는 3D 장면, $p_0$는 초기 에이전트 자세, $q$는 자연어 질문, $y^*$는 정답입니다.
• 행동 공간: 에이전트는 이동 (이동/회전), 지각 (시점 회전), 조작 (집기, 놓기, 붓기, 채우기) 을 아우르는 이산적 고수준 행동 공간 내에서 작동합니다.
• 생성 파이프라인: GPT-4o 는 제안 엔진으로 활용되어 객체를 선택하고, 배치를 결정하며, 질문을 생성하고, 행동 궤적을 제안합니다. 이러한 제안들은 물리적 타당성을 보장하고 시각적 편향이나 사전 지식만으로 작업을 해결할 수 없도록 하기 위해 엄격한 시뮬레이션 기반 필터링 (물리 검사, 충돌 감지) 과 인간 검증 (정확성, 답변 가능성, 비자명성) 을 거칩니다.
• 평가 패러다임: 이 벤치마크는 오류 원인을 분리하기 위해 네 가지 다른 조건 하에서 모델을 평가합니다:
  1. 수동 단일 시야: 고정된 초기 관찰 (기준선).
  2. 수동 다중 시야: 30 개의 무작위 샘플링된 시야 (포괄적이지만 선택되지 않은 관찰을 시뮬레이션).
  3. 능동적 탐색: 에이전트가 30 단계 예산 내에서 증거를 수집하기 위해 행동을 선택.
  4. 정답 수동: 에이전트가 최적의 정답 궤적에서 얻은 정확한 시야 순서를 제공받음 (오라클 제거).

실험 설정

저자들은 2D 전용 및 3D 증강 구성 (장면 그래프 재구성을 위해 VGGT 사용) 모두에서 GPT-5 와 Gemini 3.1 을 포함한 최첨단 멀티모달 대형 언어 모델 (MLLM) 을 평가했습니다. 상한선을 설정하기 위해 인간 수행도 데이터도 수집되었습니다. 모든 평가는 제로샷 (zero-shot) 으로 수행되었습니다.

주요 결과

1. 능동적 탐색 대 수동 관찰

• 창발적 전략: 명시적 지시 없이도 능동적 에이전트는 모호성을 해결하기 위해 다양한 공간 전략 (예: 객체 뒤로 이동, 상단 시야, 용기 조작) 을 자발적으로 발견했습니다.
• 성능 향상: 능동적 탐색은 수동 대응 모델보다 크게 우세했습니다. 예를 들어, 시야 환각 작업에서 정확도는 수동 (39.9%) 에서 능동 (68.1%) 으로 상승했습니다.
• 노이즈 대 신호: 무작위로 30 개의 시야를 샘플링하는 수동 다중 시야는 단일 시야 기준선에 비해 성능을 저하시키거나 미미한 향상만 제공하여, 비구조화된 관찰의 축적이 신호가 아닌 노이즈를 추가함을 시사합니다.

2. 행동 맹목성이 지각 맹목성을 지배함

• 병목 현상: 대부분의 작업에서 주요 실패 원인은 지각이 아닌 행동 선택입니다. 정답 최적 시야 (오라클) 를 제공받으면 모델 성능이 크게 향상되었습니다 (예: GPT-5 의 강체 포함 작업은 42.5% 에서 95.0% 로 개선됨).
• 연쇄 오류: 최적하지 않은 행동은 정보 가치가 없는 시야로 이어지고, 이는 더 나쁜 후속 행동을 촉발하여 단계 예산 내에서 회복할 수 없는 오류의 누적 연쇄를 생성합니다.
• 엄격한 지각 한계: 일부 작업 (예: 기하학적 구성, 거울 반사) 은 오라클 시야를 제공받더라도 여전히 어렵습니다. 이는 현재 모델의 고유한 지각 한계를 나타냅니다.

3. 3D 표현의 역할

• 양날의 검: 명시적 3D 기반 (완벽한 포인트 클라우드) 은 깊이 민감 작업 (예: 기하학적 구성에서 +43.3%) 의 성능을 향상시켰습니다. 그러나 불완전한 3D 재구성 (VGGT 를 통한) 은 오히려 해가 되어 종종 2D 기준선보다 낮은 성능을 보였습니다. 노이즈가 있는 재구성은 세밀한 공간 관계를 왜곡하여 모델이 손상된 장면 그래프에 대해 추론하게 만들었습니다.

4. 메타인지적 격차

• 미숙한 확정: 인간과 달리 모델은 증거의 질과 관계없이 균일하게 높은 확신으로 미숙하게 답변을 확정합니다.
• 인식적 보정의 부재: 인간은 적극적으로 반증 시야를 추구하며 모순될 때 신념을 수정합니다. 반면, 모델들은 확인을 추구하며 반복적으로 같은 방향으로 이동하고 첫인상에 고정되어, 모순되는 증거가 제시되더라도 신념을 업데이트하지 못합니다.

중요성 및 주장

본 논문은 ESI-BENCH가 수동적 관찰을 넘어 "공간 역량"을 평가하기 위해 공간 지능의 지각-행동 루프를 평가하는 최초의 엄격한 테스트베드를 제공한다고 주장합니다.

• 진단적 가치: 이 벤치마크는 특정 실패 모드를 분리하여, 현재 MLLM 들이 단순히 보는 것뿐만 아니라 무엇을 찾아야 하는지와 언제 충분히 보았는지를 아는 데 어려움을 겪고 있음을 드러냈습니다.
• 행동 선택의 중요성: 결과는 공간 지능 향상을 위해서는 더 나은 시각 인코더나 더 많은 수동 데이터가 아니라, 더 나은 행동 선택과 메타인지적 보정 (신념 수정) 이 필요함을 시사합니다.
• 3D 의 한계: 이 연구는 단순히 3D 재구성을 추가하는 것만으로는 부족하며, 재구성의 신뢰성이 가장 중요함을 강조합니다. 노이즈가 있는 3D 데이터는 추론을 능동적으로 오도할 수 있기 때문입니다.
• 미래 방향: 저자들은 인간과 기계의 공간 지능 간 격차를 해소하려면 "메타인지적 격차", 즉 불확실성 하에서 반증 증거를 추구하고 신념을 수정하는 능력을 해결해야 한다고 주장합니다.

본 논문은 능동적 탐색이 창발적 전략을 해제하지만, 현재 모델들은 지각-행동 루프를 완전히 닫을 수 있는 인식적 보정이 부족하며, 이 격차는 더 나은 지각이나 더 많은 구체화된 상호작용만으로는 현재 극복할 수 없다고 결론지었습니다.