Visuospatial Perspective Taking in Multimodal Language Models

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 생성형 AI 가 교사, 동료, 치료사 등 사회적·협업적 맥락에서 광범위하게 활용됨에 따라, AI 의 사회적 인지 능력 (Social Cognition) 을 평가하는 것이 필수적입니다. 특히 '마음 이론 (Theory of Mind, ToM)'은 타인의 신념, 의도, 감정을 추론하는 핵심 능력입니다.
• 기존 연구의 한계:
  • 기존 ToM 평가는 주로 텍스트 기반의 단편적 이야기 (Vignettes) 에 의존합니다. 이는 LLM 이 훈련 데이터의 표면적 연관성을 학습하여 높은 점수를 얻을 수 있어, 실제 심리적 추론 능력을 반영하지 못할 수 있습니다.
  • 시각적·공간적 관점 취하기 (Visuospatial Perspective Taking, VPT) 는 인간 사회 상호작용의 핵심이지만, MLM 에서는 충분히 연구되지 않았습니다.
• 핵심 문제: 현재 멀티모달 언어 모델 (MLM) 이 타인의 시점 (Visual) 과 공간적 위치 (Spatial) 를 이해하고, 자신의 관점을 억제하여 타인의 관점을 취할 수 있는 능력이 있는지, 그리고 그 한계는 어디인지 체계적으로 평가할 필요가 있습니다.

2. 연구 방법론 (Methodology)

연구는 인간 심리학 실험에서 유래한 두 가지 과제를 MLM 에 적용하여 평가했습니다.

A. 회전 도형 과제 (Rotating Figure Task)

• 목적: 각도 차이 (Angular Disparity) 에 따른 관점 취하기 능력 평가.
• 구조:
  • 상단에서 본 (Top-down) 이미지로, 방 안에 사람 (또는 화살표) 과 바닥에 놓인 가역적 기호 (예: 6/9) 가 있습니다.
  • 변인: 관찰자와 도형의 각도 차이 (0°~359°). 0°는 공유된 관점, 180°는 정반대 관점입니다.
  • 수준 구분:
    • Level 1 VPT (가시성): 도형이 기호를 볼 수 있는지 여부 (시선 차단 여부).
    • Level 2 VPT (외관 및 공간): 도형의 관점에서 기호가 어떻게 보이는지 (6 인지 9 인지) 와 좌우 위치 관계.
  • 제어 조건: 기호 식별, 도형의 방향 파악 등 기본 지각 능력 검증.
• 모델: OpenAI 계열의 Frontier 모델 (GPT-4o, GPT-4o-mini, o3, o4-mini) 평가. 추론 최적화 모델 (o3, o4-mini) 과 일반 모델 비교.

B. 디렉터 과제 (Director Task)

• 목적: 참조적 의사소통 (Referential Communication) 맥락에서의 VPT 평가.
• 구조:
  • 4x4 그리드 위에 물체가 배치되어 있으며, '디렉터'는 반대편에 서 있습니다. 일부 칸은 디렉터의 시야를 가리는 불투명한 판으로 막혀 있습니다.
  • 과제: 디렉터의 지시 ("가장 작은 별을 선택해 주세요") 를 듣고 올바른 물체를 고르는 것.
  • 난이도 요인:
    • 시각적 관점 (Visual PT): 디렉터가 볼 수 없는 (가려진) 물체를 배제해야 함.
    • 공간적 관점 (Spatial PT): "왼쪽/오른쪽"과 같은 수평적 방향 지시어는 디렉터의 관점에서 좌우가 반전되므로 이를 변환해야 함. (수직적 "위/아래"는 공유됨).
• 데이터: 이미지 기반 과목과 구조가 동일한 텍스트 (ASCII) 기반 과목을 모두 사용하여 시각 처리의 영향과 순수 관점 취하기 능력을 분리 분석.

3. 주요 결과 (Key Results)

A. 회전 도형 과제 결과

• Level 1 (가시성): 모델들은 대부분 높은 정확도를 보였으나, 특정 모델 (GPT-4o, o4-mini) 은 오른쪽을 향한 회전 시 공간적 맹점을 보였고, o3 는 환각 (Hallucination) 으로 인한 무효 응답이 많았습니다.
• Level 2 (외관 및 공간):
  • 일반 모델 (GPT-4o 등): 각도 차이가 커질수록 정확도가 점진적으로 감소 (Monotonic decline).
  • 추론 모델 (o3, o4-mini): 'M 자형' 성능 곡선을 보임. 0°(공유) 와 180°(정반대) 에서는 높은 정확도를 보이지만, 중간 각도 (45°~135°) 에서 급격히 성능이 저하되었습니다.
  • 시각 vs 공간: 시각적 변환 (6↔9) 과 공간적 변환 (좌↔우) 에서 모델의 오류 패턴이 달랐으며, 두 가지가 결합된 통합 과제 (Test 3) 에서는 모든 모델이 우연 수준 (Chance level) 이하로 떨어졌습니다.

B. 디렉터 과제 결과

• 시각적 관점 (가려짐): 모든 모델이 디렉터의 시야에서 가려진 물체를 배제하는 데 어려움을 겪었습니다.
• 공간적 관점 (좌우 반전):
  • 디렉터의 관점에서 "가장 오른쪽"을 요청했을 때, 모델들은 자신의 관점 (오른쪽) 을 그대로 적용하여 틀린 물체를 선택하는 경향이 강했습니다.
  • o3 모델: 시각적 관점에서는 여전히 실수가 있었으나, 공간적 관점 (좌우 반전) 에서는 다른 모델에 비해 상대적으로 강건한 성능을 보였습니다.
  • 이미지 vs 텍스트: 이미지 기반 과제가 텍스트 기반보다 성능이 낮았으나, 두 모드 모두에서 유사한 관점 취하기 실패 패턴이 관찰되어 이는 시각 처리 결함이 아닌 표상 (Representation) 의 한계임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 VPT 평가 프레임워크 구축: 기존 텍스트 기반 ToM 평가를 넘어, 멀티모달 모델의 시각적·공간적 관점 취하기 능력을 정량화하는 표준화된 벤치마크 (Rotating Figure, Director Task) 를 제시했습니다.
2. Level 2 VPT 의 근본적 한계 규명: 현재 최첨단 MLM 들이 Level 1 (무엇을 보는가) 은 어느 정도 수행하지만, Level 2 (어떻게 보이는가, 좌우 관계) 를 수행하는 데 심각한 결함이 있음을 증명했습니다. 특히 중간 각도에서의 실패는 단순한 규칙 적용이 아닌 진정한 정신 회전 (Mental Rotation) 능력 부재를 의미합니다.
3. 휴리스틱 의존성 발견: 모델들이 0°와 180°에서는 성공하지만 중간 각도에서는 실패하는 'M 자형' 패턴은, 모델이 복잡한 관점 변환 대신 단순한 거울 반사 (Mirroring) 나 기호 뒤집기 같은 얕은 휴리스틱 (Heuristics) 에 의존하고 있음을 시사합니다.
4. 실제 적용 가능성에 대한 경고: 추론 모델 (o3 등) 이 특정 조건에서는 성능이 향상되지만, 시각적·공간적 요구가 결합된 복잡한 협업 상황 (디렉터 과제) 에서는 여전히 바닥 수준 (Floor performance) 으로 떨어지는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전한 AI 배포를 위한 필수 평가: MLM 이 사회적·협업적 환경 (교육, 치료, 팀워크) 에 투입되기 위해서는 단순한 언어 이해를 넘어, 타인의 관점을 유연하게 표현하고 추론할 수 있는 능력이 검증되어야 합니다.
• 현재 기술의 한계: 현재의 MLM 은 인간과 유사한 '마음 이론'을 가지고 있지 않으며, 특정 기하학적 구성이나 복합적인 관점 요구 사항 하에서는 실패할 가능성이 높습니다.
• 향후 연구 방향: 인간과 AI 의 VPT 메커니즘을 비교 연구하여, Level 1 과 Level 2 를 구분하는 신경적/구조적 기제를 규명하고, 이를 모델 아키텍처에 반영할 필요가 있습니다.

요약하자면, 이 논문은 멀티모달 언어 모델이 타인의 시각적·공간적 관점을 이해하는 데 있어 근본적인 한계를 가지고 있으며, 특히 자신의 관점을 억제하고 타인의 관점으로 전환하는 'Level 2 관점 취하기' 능력은 여전히 미흡함을 체계적인 실험을 통해 입증했습니다.