Egocentric Bias in Vision-Language Models

이 논문은 103 개의 비전 - 언어 모델을 평가하여 2 차원 문자의 시점 전환 과제를 수행할 때 모델들이 자기중심적 편향을 보이며 사회적 인식과 공간적 조작을 통합하는 데 실패함을 규명한 'FlipSet'이라는 새로운 진단 벤치마크를 제시합니다.

핵심

🎭 1. 실험의 핵심: "원숭이와 카드 놀이"

연구진들은 AI 들에게 아주 간단한 게임을 시켰습니다.

• 상황: 바닥에 카드가 놓여 있고, 그 위에는 **"81"**이라는 숫자가 쓰여 있습니다.
• 캐릭터: 카드 반대편에는 **인형 (원숭이)**이 앉아 있습니다.
• 질문: "원숭이가 이 카드를 보면 무슨 숫자가 보이나요?"

정답: 원숭이는 카드를 180 도 뒤집어 보게 되므로, **"18"**이라고 봐야 합니다.
하지만 AI 들의 반응: 대부분의 AI 는 **"81"**이라고 답했습니다.

왜일까요? AI 는 카메라가 찍은 화면 (우리가 보는 것) 에만 집중했을 뿐, 원숭이가 보는 관점 (뒤집힌 시선) 을 상상해 보지 못했기 때문입니다. 이를 연구진들은 **"이기주의적 편향 (Egocentric Bias)"**이라고 부릅니다. 즉, AI 는 "내가 보는 게 전 세계"라고 믿고 있는 셈입니다.

🧩 2. 왜 AI 는 실패했을까? (두 가지 능력의 분리)

연구진은 AI 가 왜 실패했는지 더 깊이 파고들었습니다. 마치 아이의 두뇌 발달을 테스트하듯, AI 의 능력을 세 가지로 나누어 봤습니다.

1. 사회적 이해 (ToM): "원숭이는 나와 다른 곳에 앉아서 다른 것을 볼 거야"라는 사실을 아는 능력.
2. 공간 회전 (MR): "81"을 머릿속으로 180 도 돌려서 "18"로 바꾸는 능력.
3. 실전 적용 (L2 VPT): 위 두 가지를 합쳐서 "원숭이가 보는 18"을 정답으로 말하는 능력.

놀라운 결과는 다음과 같습니다:

• 사회적 이해는 90% 이상: AI 는 "원숭이는 나와 다르게 볼 거야"라는 사실을 완벽하게 알고 있었습니다. (이건 잘해요!)
• 공간 회전은 26%: "81"을 뒤집어서 "18"로 바꾸는 단순한 회전 작업은 **우연 수준 (25%)**으로 겨우 해냈습니다. (이건 약해요!)
• 실전 적용은 10%: 하지만 이 두 가지를 합쳐서 정답을 내는 것은 **완전 실패 (10%)**였습니다.

🚗 3. 핵심 비유: "운전면허는 뗐는데 차는 못 몰아요"

이 결과를 한 마디로 요약하면 이렇습니다.

"AI 는 '남의 시선'이라는 개념은 알고 있지만 (운전면허 이론은 합격), 그 시선으로 세상을 '회전'시키는 실제 조작 능력 (운전 실기) 이 부족합니다. 그리고 더 큰 문제는, 이 두 가지를 합쳐서 실제 도로 (상황) 에서 운전하는 법을 전혀 모른다는 점입니다."

AI 는 "원숭이가 다르다"는 걸 알면서도, "그렇다면 원숭이 눈으로 보면 81 이 18 로 변한다"는 연결고리를 만들지 못했습니다. 마치 "나는 배가 고프다"는 걸 알면서도 "냉장고를 열어 음식을 꺼내는" 행동을 연결하지 못하는 것과 비슷합니다.

🤖 4. 왜 이 연구가 중요한가요?

이 논문은 현재 AI 의 한계를 아주 명확하게 지적합니다.

• 단순한 패턴 매칭의 한계: AI 는 수많은 데이터를 보고 "81"과 "18"이 서로 관련 있다는 걸 외웠을 뿐, 실제로 3 차원 공간에서 물체가 어떻게 움직이는지 이해하지 못합니다.
• 사고의 분리: AI 는 "사회적 지식"과 "공간적 추론"을 별개의 영역으로 가지고 있어서, 둘을 함께 쓸 때 엉망이 됩니다.
• 미래의 과제: 진정한 지능을 가진 AI 를 만들려면, 단순히 더 많은 데이터를 주입하는 게 아니라, 남의 관점을 상상하고 그 관점에서 세상을 회전시키는 '뇌'의 구조를 바꿔야 합니다.

💡 결론

이 연구는 AI 가 아직 어린아이처럼 "내가 보는 게 전부"라고 생각하는 이기적인 단계에 머물러 있음을 보여줍니다. AI 가 진정으로 인간처럼 타인의 마음을 읽고, 그 시선으로 세상을 바라보려면, 단순히 더 똑똑해지는 것을 넘어 **관점을 바꾸는 능력 (공간적 상상력)**을 배워야 합니다.

이 실험은 AI 가 "거울 속의 나"만 보는 게 아니라, "거울 속의 너"를 볼 수 있게 되기 위한 첫걸음이라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 시각적 관점 수용 (Visual Perspective Taking, VPT): 타인의 시점에서 세상을 어떻게 인식하는지 추론하는 능력은 사회적 인지의 기초입니다. 인지과학에서는 이를 두 단계로 구분합니다.
  • Level-1 (L1) VPT: 특정 시점에서 물체가 보이는지 여부를 판단하는 것 (가시성 판단).
  • Level-2 (L2) VPT: 타인의 시점에서 물체가 어떻게 보이는지 (형태의 왜곡, 회전 등) 를 추론하는 것. 예를 들어, 책상 반대편에 있는 사람이 '6'을 '9'로 보는 것을 이해하는 능력입니다.
• 연구 문제: 최근 발전한 시각 - 언어 모델 (VLM) 들이 복잡한 3D 장면 이해나 추론 능력을 보임에도 불구하고, L2 VPT와 같은 상황적 사회적 추론이 가능한지 여부는 명확하지 않았습니다. 기존 벤치마크들은 3D 공간의 복잡성 (깊이 인식, 가림 현상 등) 과 관점 수용 능력을 혼동하여, 모델이 실패했을 때 그 원인이 '타인의 시점 인식 부족'인지 '공간 변환 능력 부족'인지 구분하기 어려웠습니다.
• 핵심 가설: VLM 들은 타인의 시점을 인식할 수 있는 능력 (Theory of Mind) 과 공간적 회전 능력 (Mental Rotation) 을 개별적으로 갖추고 있음에도 불구하고, 이를 통합하여 실제 관점 수용 태스크를 수행하는 데 구성적 결함 (Compositional Deficit) 이 있을 수 있습니다.

2. 방법론 (Methodology)

A. FlipSet 벤치마크 개발

• 개요: L2 VPT 의 핵심인 공간 변환 (Spatial Transformation) 요소를 3D 복잡성에서 분리하여 평가하기 위해 고안된 진단용 벤치마크입니다.
• 작업 구조:
  • 이미지: 종이 카드에 인쇄된 2D 문자열 (예: "81") 과 카드 반대편을 바라보는 인형 (원숭이) 이 보입니다. 카메라는 카드 앞면을 비추고 있습니다.
  • 질문: "원숭이가 카드에서 무엇을 보나요?"
  • 요구 사항: 모델은 카메라의 시점이 아닌, 원숭이의 시점 (180 도 회전) 을 시뮬레이션하여 문자열이 어떻게 변형되는지 (예: "81" → "18") 추론해야 합니다.
• 데이터 구성: 28 개의 기본 항목 (Digits, Letters, Mixed 등) 으로 구성되며, 난이도가 점진적으로 증가합니다.
• 오류 분석을 위한 선택지 설계: 모델의 응답을 5 가지 범주로 분류하여 정밀한 진단을 가능하게 합니다.
  1. Correct: 올바른 180 도 회전 결과.
  2. Egocentric (이기적): 카메라가 보는 그대로의 답을 출력 (관점 전환 실패).
  3. Confusable: 정답과 시각적으로 유사하지만 틀린 답 (부분적 시각 추론).
  4. Random: 무관한 추측.
  5. Fail: 유효하지 않은 출력.

B. 실험 설계

• 주 실험: 103 개의 공개 VLM 을 제로샷 (Zero-shot) 조건에서 평가.
• 통제 실험 (Control Experiments): 24 개의 모델을 대상으로 세 가지 태스크를 분리하여 수행:
  1. ToM (Theory of Mind): "원숭이가 나와 다른 문자를 보는가?" (시각 비교만 필요, 공간 변환 불필요).
  2. MR (Mental Rotation): "문자열을 180 도 회전하면 무엇이 되는가?" (기하학적 변환만 필요, 관점 수용 불필요).
  3. L2 VPT: 실제 관점 수용 태스크 (ToM + MR 통합 필요).

3. 주요 기여 (Key Contributions)

1. FlipSet 벤치마크 도입: 3D 복잡성을 배제하고 2D 회전만을 사용하여 L2 VPT 의 공간 변환 요소를 고립시킨 최초의 대규모 진단 도구 (103 개 모델 평가).
2. 체계적인 오류 분류 체계: 정답, 이기적 편향, 혼동, 무작위 추측, 실패를 구분하여 모델의 실패 메커니즘을 정밀하게 분석.
3. 구성적 결함 (Compositional Deficit) 발견: 모델들이 개별 구성 요소 (ToM, MR) 에서는 어느 정도 능력을 보임에도 불구하고, 이를 통합하여 상황적 추론을 수행할 때 극심한 실패를 겪는다는 행동적 증거 제시.

4. 실험 결과 (Results)

A. 주 실험 결과: 이기적 편향 (Egocentric Bias)

• 성능: 평가된 103 개 모델 중 **91.3%**가 무작위 추측 (25%) 보다 낮은 성능을 보였습니다. 평균 정확도는 **8.96%**에 불과했습니다.
• 오류 분포: 모든 오류의 **75.88%**가 이기적 편향 (Egocentric) 이었습니다. 즉, 모델들은 원숭이의 시점을 고려하지 않고 카메라가 보는 그대로의 답을 출력했습니다.
• Chain-of-Thought (CoT): 사고 과정을 명시적으로 요구하는 CoT 프롬프팅은 편향을 완화하지 못했고, 오히려 악화시키는 경우가 많았습니다.

B. 통제 실험 결과: 인지적 해리 (Cognitive Dissociation)

• 성능 계층: 대부분의 모델은 ToM (90.4%) > MR (26.1%) > L2 VPT (10.3%) 순으로 성능이 떨어졌습니다.
  • ToM: 모델들은 타인이 다른 것을 본다는 사실을 인식하는 능력은 매우 뛰어났습니다.
  • MR: 고립된 상태에서 기하학적 회전은 무작위 수준 (26.1%) 보다 약간 높았지만 여전히 낮았습니다.
  • L2 VPT: 두 능력을 통합해야 하는 태스크에서는 성능이 치명적으로 떨어졌습니다.
• 구성적 결함:
  • ToM 과 MR 점수가 모두 높음에도 L2 VPT 점수가 기대치 (ToM × MR) 보다 현저히 낮았습니다.
  • 24 개 모델 중 22 개 (91.7%) 가 기대 성능보다 낮은 L2 VPT 점수를 기록했습니다.
  • 상관관계 분석: ToM 과 L2 VPT 는 상관관계가 없었으나 (r=0.010), MR 과 L2 VPT 는 강한 양의 상관관계 (r=0.746) 를 보였습니다. 이는 L2 VPT 수행을 위해 공간 회전 능력이 필수적이지만, 이를 통합하는 메커니즘이 부재함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인지적 한계의 규명: 현재 VLM 들은 사회적 인식 (ToM) 과 공간 추론 (MR) 을 위한 '구성 요소 (Building Blocks)'는 보유하고 있지만, 이를 상황적 맥락 (Situated Context) 에서 통합하여 작동시키는 메커니즘이 결여되어 있습니다. 이는 피아제 (Piaget) 의 발달 심리학에서 말하는 '전조작기 (Preoperational Stage)'의 이기성 (Egocentrism) 과 유사한 현상입니다.
• 아키텍처적 시사점: VLM 들이 학습된 시각 - 언어 패턴 매칭에 의존할 뿐, 구조화된 공간 표현 (Structured Spatial Representations) 이나 모델 기반 시뮬레이션 (Model-based Simulation) 을 수행하지 못하기 때문에 L2 VPT 에 실패한다는 것을 시사합니다.
• 미래 방향: 단순한 데이터 스케일링이나 CoT 프롬프팅만으로는 해결되지 않으며, 다중 관점 데이터 학습, 모델 기반 시뮬레이션 지원, 명시적인 3D 장면 표현을 가능하게 하는 새로운 아키텍처 개발이 필요합니다.
• 결론: FlipSet 은 VLM 의 관점 수용 능력을 진단하는 강력한 도구이며, 현재의 모델들이 진정한 사회적 추론을 위해서는 구조적 공간 추론 능력의 통합이 필수적임을 증명했습니다.