Multimodal Language Models Cannot Spot Spatial Inconsistencies

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 멀티모달 대규모 언어 모델 (MLLM) 이 물리적 현실을 이해하는 데 있어 공간적 일관성 (Spatial Consistency) 이 결여되어 있다는 점입니다. 카메라가 이동할 때 정적 장면의 객체들은 기하학적, 깊이, 시점에 따라 예측 가능한 방식으로 변화해야 합니다. 인간은 이러한 관계가 위배되는 경우 (물리적으로 불가능한 구성) 를 즉시 감지하지만, 최신 MLLM 은 이를 식별하는 데 심각한 어려움을 겪습니다.
• 기존 한계: 기존 연구들은 주로 장면 속 객체의 속성을 설명하거나 단순한 물리 법칙 (중력 등) 을 테스트하는 데 집중했습니다. 그러나 MLLM 이 두 개의 서로 다른 뷰 (View) 사이에서 3D 기하학적 모순을 식별하는 능력, 즉 투영 기하학 (Projective Geometry) 에 대한 깊은 이해가 있는지 평가하는 체계적인 벤치마킹이 부족했습니다.
• 목표: 동일한 장면의 두 뷰를 제시하고, 3D 운동 일관성을 위반하는 객체를 찾아내는 과제를 통해 MLLM 의 3D 공간 추론 능력을 진단하는 것입니다.

2. 방법론 (Methodology)

A. 공간적 불일치 데이터 생성 (Synthesizing Spatial Inconsistencies)

저자들은 고품질의 불일치 데이터 쌍을 생성하기 위해 복잡하고 계산 비용이 큰 3D 렌더링이나 뷰 합성 (Zero123 등) 대신 간단하고 확장 가능한 '자르기 - 붙여넣기 (Cut-and-Paste)' 전략을 개발했습니다.

1. 데이터 소스: Hypersim 데이터셋 (다중 뷰 실내 장면, 인스턴스 레벨 마스크, 깊이 정보 포함) 을 사용했습니다.
2. 트리플릿 선택: 동일한 장면에서 세 개의 뷰 ($V_1, V_2, V_3$) 와 모든 뷰에 보이는 객체 $O$를 선택합니다.
3. 불일치 생성 프로세스:
   • 단계 1: $V_2$에서 객체 $O$를 제거하고, 오프더셸 (off-the-shelf) 인페인팅 모델 (LaMa) 을 사용하여 배경을 채웁니다.
   • 단계 2: $V_3$에서 잘라낸 객체 $O$의 인스턴스를 $V_2$의 빈 공간에 붙여넣습니다.
   • 결과: $V_1$과 $V_2$의 카메라 포즈는 다르기 때문에, $V_3$에서 가져온 객체는 $V_1 \to V_2$의 기하학적 흐름과 호환되지 않는 3D 자세 (자세, 크기, 그림자, 가림 등) 를 갖게 됩니다. 이는 인간에게는 명백하지만 모델에게는 혼란스러운 제어된 기하학적 위반을 생성합니다.
4. 효율성: 이 알고리즘은 수동 주석이 필요 없으며, 단일 GPU 에서 초당 5 개 이상의 쌍을 생성할 수 있어 확장성이 뛰어납니다.

B. 벤치마크 구성 및 평가 과제

• 데이터셋: 자동 생성된 10,000 개 이상의 쌍 중 수동 검사를 거쳐 615 개의 고품질 쌍을 최종 벤치마크로 선정했습니다.
• 평가 방식 (Forced-Choice): $V_1$ (참조) 과 수정된 $V'_2$를 모델에 제시하고, 3D 일관성을 위반하는 객체를 알파벳 레이블 (A~Z) 로 선택하게 합니다.
• 변수 분석: 객체 깊이 (Close/Medium/Far), 조명 (Dark/Medium/Bright), 물리적 타당성 (Implausible/Plausible), 객체/장면 카테고리, 레이블 수 등을 세분화하여 성능을 분석했습니다.

3. 주요 실험 결과 (Key Results)

A. 인간 vs 모델 성능 격차

• 정확도: 인간 참가자의 평균 정확도는 **84.8%**로 매우 높았으나, 최상위 모델 (GPT-5 Low reasoning) 의 정확도는 **34.2%**에 불과했습니다. 대부분의 오픈소스 모델은 10~20% 대의 낮은 성능을 보였습니다.
• 추론 비용의 비효율: GPT-5 나 Gemini 2.5 Pro 와 같이 추론 예산 (Reasoning Budget) 을 늘려도 (Low $\to$ High) 성능이 향상되지 않거나 오히려 감소하는 경향이 관찰되었습니다. 이는 모델이 3D 기하학을 내부적으로 모델링하지 못하고 있음을 시사합니다.

B. 상황별 성능 변동성 (Brittleness)

• 깊이 (Depth): 인간은 거리에 관계없이 일관된 성능을 보이지만, 모델은 멀리 있는 (Far) 객체에서 더 잘 작동하고 가까이 있는 (Close) 객체에서는 성능이 급격히 떨어지는 기하학적 편향을 보였습니다.
• 조명 (Lighting): 인간은 밝은 환경에서 가장 잘 작동하지만, 모델은 중간 조명 (Medium) 에서 가장 잘 작동하여 훈련 데이터 편향을 반영하는 것으로 보입니다.
• 카테고리 의존성: 객체 (의자, 창문 등) 나 장면 (거실, 주방 등) 에 따라 모델의 정확도가 극단적으로 변동했습니다 (예: Qwen3-VL 은 램프에서는 67%, 다른 카테고리에서는 0% 에 가까운 성능). 이는 모델의 3D 이해가 매우 취약하고 일관성이 없음을 보여줍니다.

C. 아티팩트 (Artifact) vs 3D 이해

• 아티팩트 탐지 아님: 모델이 인페인팅 아티팩트 (잘라붙인 흔적) 를 감지해서 정답을 맞히는 것이 아님을 증명했습니다.
  • Self-pasting 실험: 불일치는 없되 아티팩트만 남긴 경우, 모델의 성능은 무작위 추측 수준과 비슷했습니다.
  • 아티팩트 크기 조절: 인페인팅 영역을 확대하여 아티팩트를 극대화해야만 모델의 정확도가 상승했습니다. 이는 현재 벤치마크에서 모델이 아티팩트가 아닌 실제 3D 구조의 불일치를 기반으로 판단하고 있음을 의미합니다.

D. 오류 패턴 분석

• 오류의 일치성: 인간과 모델은 종종 같은 질문 (어려운 사례) 에서 틀리지만, 틀린 정답 (오답) 은 서로 다릅니다. 이는 모델들이 공간적 추론 실패 시 일관된 대안적 해석을 갖지 못하고, 모델 고유의 불안정한 추론 방식을 따르고 있음을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 과제 제안: MLLM 이 물리적 세계의 3D 기하학적 일관성을 위반하는 사례를 식별할 수 있는지 테스트하는 새로운 벤치마크를 도입했습니다.
2. 확장 가능한 데이터 생성 방법: 수동 주석 없이 다중 뷰 데이터를 활용하여 현실적이면서도 제어된 공간적 불일치 이미지 쌍을 자동으로 생성하는 경량 알고리즘을 개발했습니다.
3. MLLM 의 3D 이해 한계 규명: 최신 SOTA 모델조차 인간에 비해 3D 공간 추론 능력이 현저히 부족하며, 그 성능이 장면 속성 (깊이, 조명, 객체 종류) 에 따라 매우 불안정하다는 것을 실증했습니다.
4. 아티팩트와 본질적 이해의 분리: 모델의 성능 향상이 단순한 이미지 아티팩트 탐지가 아닌, 실제 3D 구조 이해의 결여 문제임을 명확히 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 현재 멀티모달 모델이 시각적 내용을 '기술 (Describe)'하는 능력은 뛰어나지만, 물리적 세계의 **근본적인 기하학적 제약 (Spatial Constraints)**을 '이해 (Understand)'하지 못함을 강력하게 시사합니다.

• 한계 지적: 단순한 통계적 학습이나 대규모 데이터 훈련만으로는 3D 공간 추론 능력을 획득하기 어렵다는 것을 보여줍니다.
• 미래 방향: 차세대 MLLM 개발 시, 단순한 시각적 인식뿐만 아니라 물리적 세계의 공간적, 기하학적 일관성을 내재화할 수 있는 근본적인 접근법 (Grounded Understanding) 이 필요함을 강조합니다.
• 벤치마크 역할: 제안된 공간적 불일치 데이터셋은 향후 모델의 3D 추론 능력을 진단하고 개선하기 위한 중요한 도구로 활용될 것입니다.