Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision

1. 문제 정의 (Problem)

• 배경: 스마트 글래스와 같은 착용형 기기에 탑재된 이고센트릭 (Egocentric, 1 인칭 시점) AI 에이전트는 사용자의 자연어 명령과 지시 손가락 (Pointing Gesture) 을 결합하여 참조 모호성을 해결해야 합니다.
• 핵심 문제: 최신 멀티모달 대규모 언어 모델 (MLLM) 은 일반적인 이미지 설명이나 질문 응답 (QA) 에서는 뛰어난 성능을 보이지만, 1 인칭 시점의 지시 동작을 정밀하게 공간적으로 이해하는 데 심각한 결함이 있습니다.
• 현상 (Referential Hallucination): 모델들은 손가락이 가리키는 정확한 공간적 투영 (Geometric Projection) 을 추적하는 대신, 손과 물리적으로 가까운 물체나 시각적으로 눈에 띄는 (Salient) 객체에 의존하는 허위 상관관계 (Spurious Correlations) 를 학습합니다. 이를 저자들은 "참조 환각 (Referential Hallucination)" 이라고 명명했습니다.
• 데이터 부족: 기존 시각 Grounding 벤치마크 (RefCOCO 등) 는 3 인칭 시점에 의존하며, 이고센트릭 데이터셋 (Ego4D 등) 은 행동 인식에 초점을 맞춰 손가락과 객체 간의 정밀한 공간 기하학적 관계를 포착하는 QA 주석이 부족합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 EgoPoint-Bench라는 새로운 벤치마크와 데이터 생성 파이프라인을 제안했습니다.

A. EgoPoint-Bench (벤치마크)

• 규모: 11,000 개 이상의 고품질 샘플 (10,567 개의 시뮬레이션 데이터 + 1,162 개의 실세계 데이터).
• 평가 차원: 5 가지 핵심 능력 차원을 포함합니다.
  1. 기본 지각 (Basic Perception): 객체의 속성 (카테고리, 색상 등) 식별.
  2. 기능 및 상태 (Function & State): 객체의 용도나 작동 상태 추론.
  3. 공간적 문맥 (Spatial Context): 1 인칭 시점에서의 공간 관계 및 도달 가능성.
  4. OCR: 객체 내 텍스트 정보 추출.
  5. 적대적 복원력 (Adversarial Resilience): 오해의 소지가 있거나 잘못된 전제를 가진 입력에 대한 견고성.
• 지시 수준 (Deixis Levels): 참조의 모호성 정도에 따라 3 단계로 분류됩니다.
  • L1 (명시적 행동): "내가 가리키는 물체"
  • L2 (시각적 위치): "저기 있는 그 물건"
  • L3 (암시적 대명사): "이것"

B. 데이터 생성 파이프라인 (Point-Sim)

• 시뮬레이션 (Simulation):
  • Habitat-Sim, AI2-THOR, HSSD 등 42 개의 3D 환경과 42 가지 손 모델을 활용하여 물리 기반의 합성 파이프라인을 구축했습니다.
  • Ray-casting 기술을 사용하여 손가락 끝에서 목표 객체까지의 정확한 광선 경로를 계산하고, 장애물과의 충돌을 방지하여 노이즈 없는 정밀한 지시 레이블을 생성했습니다.
  • 기계 생성 QA 쌍에 인간 검증을 결합하여 데이터의 품질을 보장했습니다.
• 실세계 수집 (Real-world Collection):
  • MLVision 스마트 글래스를 착용한 8 명의 지원자를 통해 다양한 실내/실외 환경에서 실제 지시 동작이 포함된 1,162 개의 데이터를 수집했습니다.
  • 얼굴 모자이크 처리 등 윤리적 프라이버시 보호 조치가 취해졌습니다.

3. 주요 기여 (Key Contributions)

1. EgoPoint-Bench 제안: 이고센트릭 시점에서의 멀티모달 공간 추론을 평가하기 위한 최초의 포괄적인 벤치마크를 구축했습니다. 이를 통해 현재 SOTA 모델들이 1 인칭 지시 동작을 이해하는 데 얼마나 취약한지를 규명했습니다.
2. 물리 기반 고품질 데이터 생성: 레이 캐스팅을 활용한 시뮬레이션 파이프라인을 통해 기하학적 정밀도와 언어적 다양성을 모두 갖춘 11k 개 이상의 데이터셋을 구축했습니다.
3. Sim-to-Real 일반화 입증: 시뮬레이션 데이터로 미세 조정 (Fine-tuning) 된 모델이 실제 세계 데이터에서도 뛰어난 성능 향상을 보임을 입증했습니다. 이는 고품질 합성 데이터가 이고센트릭 상호작용의 데이터 부족 문제를 해결할 수 있는 확장 가능한 경로임을 보여줍니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: Gemini 3, GPT-5, Qwen3-VL 등 최신 상용 및 오픈소스 모델들은 Zero-shot 설정에서 전체 평균 정확도가 약 60% 수준에 머물렀으며, 특히 공간 기하학적 추론이 필요한 작업에서 인간 성능 (약 96%) 에 비해 크게 뒤처졌습니다.
• LoRA 미세 조정 효과: 제안된 시뮬레이션 데이터로 LoRA 를 통해 미세 조정된 모델들은 모든 오픈소스 모델에서 15%~25% 이상의 성능 향상을 기록했습니다.
  • 예: LLaVA-NeXT-7B 는 25.41% 향상, Qwen3-VL-8B 는 19.60% 향상.
• Sim-to-Real 일반화: 시뮬레이션 데이터만 학습한 모델이 실세계 테스트셋에서도 일관된 성능 향상을 보였습니다 (예: Qwen3-VL-8B 의 실세계 평균 정확도 58.14% → 71.96% 향상).
• 오류 분석: 기존 모델의 주요 실패 원인은 '근접한 방해물 (Proximal Distraction)'과 '제스처 무시 (Gesture Neglect)'였으며, 미세 조정된 모델은 이러한 오류를 57%~72% 정도 성공적으로 수정 (Rescue) 했습니다.

5. 의의 및 결론 (Significance)

• 공간 인식의 중요성 강조: 이 연구는 MLLM 이 단순한 시각적 인식을 넘어, 공간적 인식을 갖춘 감독 (Spatially-aware Supervision) 을 통해 지시 동작을 정확히 이해해야 함을 강조합니다.
• 확장 가능한 솔루션: 실제 데이터 수집의 어려움과 비용 문제를 해결하기 위해, 고품질 합성 데이터가 실제 이고센트릭 AI 비서 개발에 유효한 대안이 될 수 있음을 증명했습니다.
• 미래 방향: 정밀한 1 인칭 AI 비서와 증강현실 (AR) 인터페이스의 핵심 기술인 '지시 (Pointing)'에 대한 이해를 심화시키는 기초를 마련했습니다.

이 논문은 이고센트릭 비전 분야에서 MLLM 의 공간 추론 능력을 평가하고 향상시키기 위한 새로운 표준 (Benchmark) 을 제시하며, 합성 데이터와 실세계 데이터의 간극을 좁히는 효과적인 전략을 제시했다는 점에서 의의가 큽니다.