논문 요약: 인간과 멀티모달 언어 모델 (MLM) 에 있어 관점적 단어 (Perspectival Words) 사용의 난이도

1. 연구 배경 및 문제 제기 (Problem)

최근 멀티모달 언어 모델 (MLM) 은 텍스트와 이미지를 자연스럽게 결합하여 인간과 유사한 의사소통 능력을 보여주고 있습니다. 그러나 기존 평가는 주로 어휘 (Vocabulary) (예: 사물 이름, 색상, 동사) 와 같은 맥락에 독립적인 의미에 집중해 왔습니다.

이 연구는 관점적 단어 (Perspectival Words) 의 사용에 초점을 맞춥니다. 관점적 단어 (소유격 대명사 'mine/yours', 지시대명사 'this/that' 등) 는 화자와 청자의 관계, 물체의 공간적 위치 등 구체적인 사용 맥락 (Context) 에 그 의미가 결정되는 문법적 요소입니다.

• 핵심 문제: MLM 이 이러한 관점적 단어를 인간처럼 올바르게 사용할 수 있는지, 그리고 이를 위해 필요한 화용론적 추론 (Pragmatic Reasoning) 과 사회 인지 능력 (Social Cognition/Theory of Mind) 을 갖추고 있는지 여부는 아직 명확히 규명되지 않았습니다.
• 가설: 관점적 단어 사용은 단순한 어휘 선택보다 인지적 부하가 크며, MLM 은 인간보다 이 부분에서 더 큰 어려움을 겪을 것으로 예측됩니다.

2. 연구 방법론 (Methodology)

2.1 실험 설계

연구팀은 인간 참가자 (360 명) 와 7 개의 최첨단 MLM(GPT-4o, Llama-4-Scout, Gemma-3, InternVL 시리즈, Ovis 시리즈 등) 을 대상으로 세 가지 과제를 수행했습니다. 모든 과제는 4 지 선다형으로 구성되었습니다.

1. 어휘 과제 (Vocabulary Task): 사물의 이름을 선택 (예: '배', '컵'). (가장 쉬움, 맥락 불필요)
2. 소유격 과제 (Possessive Task): '내 것 (mine)' vs '너의 것 (yours)' 선택. (화자의 관점과 소유 관계 파악 필요)
3. 지시어 과제 (Demonstrative Task): '이것 (this one)' vs '저것 (that one)' 선택. (화자의 관점, 소유 관계, 그리고 물체의 공간적 거리까지 종합적 추론 필요)

2.2 데이터 및 자극 자료

• 인간용: 두 명의 캐릭터 (소년, 소녀) 가 테이블 양쪽에 서 있고, 네 가지 물체가 놓인 시각적 장면을 제시. 화자의 시선과 말풍선을 통해 선호도를 표현하게 함.
• MLM 용: 인간용 자극과 동일한 시나리오를 텍스트 프롬프트와 이미지로 변환. 화자와 시선 주체의 정체성을 텍스트로 명시하고, 목표 물체를 녹색 사각형으로 표시하여 모델이 객체 인식 오류 없이 관점적 추론에만 집중하도록 설계.

2.3 추가 분석

• Ablation Study (절제 분석): 관점적 단서 (화자/청자 식별 정보) 와 공간적 단서 (소유 표시, 근접성 텍스트, 시각적 표시) 를 제거하여 모델의 실패 원인을 규명.
• 프롬프트 전략 평가: 제로샷 (Zero-shot) 과 비교하여 지시 기반 프롬팅 (Instruction-based prompting) 과 맥락 학습 (In-context learning) 이 성능 향상에 미치는 영향 분석.

3. 주요 결과 (Key Results)

3.1 성능 계층 구조 (Hierarchy of Difficulty)

인간과 대부분의 MLM 에서 동일한 난이도 계층이 관찰되었습니다:
어휘 (Vocabulary) < 소유격 (Possessives) < 지시어 (Demonstratives)

• 어휘 과제: MLM 은 인간과 유사한 천장 성능 (Ceiling performance) 을 보임.
• 소유격 과제: MLM 의 정확도가 인간보다 낮아짐. (인간: 93%, 최상위 모델: 85.7%)
• 지시어 과제: MLM 과 인간의 격차가 가장 큼. (인간: 83%, 최상위 모델: 70.2%) 나머지 모델들은 거의 무작위 추측 수준 (Chance level) 의 성능을 보임.

3.2 실패 원인 분석 (Ablation Analysis)

• 관점적 단서 제거: 최상위 모델 (GPT-4o 등) 은 화자/청자 역할 정보가 제거될 때 정확도가 급격히 하락하여 관점 수용 (Perspective-taking) 능력이 있음을 시사. 반면 하위 모델들은 오히려 성능이 유지되거나 향상되어 관점 정보를 활용하지 못하거나 혼란을 겪는 것으로 나타남.
• 공간적 단서 제거:
  • 소유격: 텍스트 내 소유 표시가 제거되면 모든 모델의 성능이 크게 저하.
  • 지시어: 텍스트 내 근접성 정보가 제거될 때 GPT-4o 를 제외하고는 큰 변화가 없었으나, 시각적 단서 (녹색 사각형) 만 제거되더라도 성능이 크게 떨어지지 않음. 이는 모델이 시각 정보보다 텍스트 정보에 더 의존하며, 공간 추론을 위해 언어적 맥락을 주된 지지대 (Scaffold) 로 사용한다는 것을 의미함.

3.3 프롬프트 전략의 효과

• 지시 기반 프롬팅 (Instruction-based prompting): 소유격 과제에서 모델의 성능을 인간 수준에 근접하게 향상시킴 (명시적인 규칙 설명 효과).
• 지시어 과제: 지시 기반 프롬팅을 적용해도 성능 향상은 미미하며, 여전히 인간 수준에 크게 미치지 못함. 이는 관점 수용은 개선될 수 있으나, 공간적 추론 (Spatial Reasoning) 능력의 부재가 지시어 사용의 주요 병목 현상임을 시사.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크 제시: 멀티모달 모델의 평가에 '어휘' 중심에서 벗어나, 실제 대화에 필수적인 관점적 단어 (Perspectival Words) 사용을 체계적으로 평가하는 프레임워크를 도입함.
2. MLM 의 인지적 한계 규명: MLM 이 어휘는 잘 처리하지만, 화용론적 추론과 사회 인지 (Theory of Mind) 가 필요한 관점적 단어, 특히 공간적 추론이 결합된 지시어 사용에서는 인간과 결정적인 격차를 보임을 실증함.
3. 다중 모달 처리의 비대칭성 발견: MLM 이 공간적 관계를 이해할 때 시각 정보보다 언어적 단서에 과도하게 의존하는 경향을 발견함. 이는 인간이 시각과 언어를 병렬로 통합하는 방식과 대조적임.
4. 향후 연구 방향 제시: 관점적 단어 사용의 한계를 극복하기 위해서는 단순한 프롬프트 엔지니어링을 넘어, 신체화된 상호작용 (Embodied Interaction) 이나 구체적인 공간 추론 모듈이 필요함을 제안.

5. 의의 및 결론 (Significance)

이 연구는 현재 멀티모달 언어 모델이 겉보기에는 인간과 유사한 대화를 할 수 있지만, 실제 상황 (Situated) 에서의 의사소통에 필수적인 화용론적 능력과 사회 인지 능력에서는 여전히 심각한 결함을 가지고 있음을 보여줍니다.

특히, 지시어 (Demonstratives) 사용의 어려움은 모델이 물리적 공간과 화자의 관점을 통합하여 추론하는 능력이 부족함을 의미합니다. 이는 모델이 단순한 패턴 매칭을 넘어, 진정한 의미의 '상호작용'과 '공유된 맥락'을 이해하는 인간 수준의 AI 를 개발하기 위해서는 사회적 미세 과정 (Social Micro-processes) 과 공간적 경험에 기반한 학습이 필수적임을 시사합니다. 이 연구는 NLP 시스템의 실용성과 인간 중심적 능력을 평가하는 데 중요한 기준을 제시합니다.