Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
이 논문은 현재의 시각-언어 모델들이 일관된 비언어적 신호를 생성하고 타인의 행동을 해석하는 데 발생하는 병목 현상으로 인해 마음 이론(Theory of Mind) 추론을 협응된 사회적 행동으로 번역하는 데 실패한다는 점을 밝히는 멀티모달 벤치마크인 MOSAIC을 소개하며, 반면 명시적인 믿음-행동 결합을 가진 모델들은 이에 성공한다는 것을 보여준다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인간의 연결은 말 그 이상의 것을 넘어서는 침묵 속의 신속한 교환에 의존합니다. 우리가 말을 할 때, 우리는 또한 시선을 옮기고, 자세를 조정하며, 얼굴 표정을 변화시키며, 동시에 상대방이 무엇을 생각하고 느끼는지 추측하려고 노력합니다. 다른 사람의 마음을 이해하고 그 이해를 바탕으로 자신의 행동을 유도하는 이 능력을 '마음 이론(theory of mind)'이라고 합니다. 수십 년 동안 과학자들은 사람들이 이야기 속의 질문에 답하게 하거나 단순한 사회적 퍼즐에 어떻게 반응하는지 관찰함으로써 이 능력을 연구해 왔습니다. 그 목표는 인공지능이 이와 똑같이 수행할 수 있는지 확인하는 것이었습니다. 하지만 결정적인 간극이 존재해 왔습니다. 누군가가 무엇을 생각하는지 아는 것과, 그 지식을 실시간으로 행동에 옮기는 것은 다르다는 점입니다. 어떤 시스템은 한 사람이 비밀을 숨기고 있다는 것을 정확히 맞힐 수는 있지만, 그렇다고 해서 그 사람이 비밀을 드러내도록 미묘하게 유도하기 위해 시선을 돌리거나, 미소를 짓거나, 몸을 움직이는 결정을 내릴 수 있을까요? 지금까지 어떤 테스트도 AI가 정신적 추측을 조율된 물리적 사회적 신호로 번역할 수 있는지 측정해내지 못했습니다.
Université Paris-Saclay와 Sorbonne Université의 연구진은 MOSIAIC이라 불리는 새로운 실험을 통해 이 간극을 메우고자 했습니다. 그들은 두 디지털 에이전트가 보물 찾기 게임을 하며 상호작용하는 가상 세계를 구축했습니다. 이 시나리오에서 한 에이전트인 '대상(subject)'은 숨겨진 보상의 위치를 알고 있는 반면, 다른 에이전트인 '참여자(participant)'는 이를 모릅니다. 대상의 과제는 참여자가 보물을 찾도록 돕거나, 혹은 라운드 규칙에 따라 참여자가 잘못된 상자를 선택하도록 속이는 것이었습니다. 이 게임은 사회적 지능을 테스트하기 위한 엄격한 시험으로 설계되었습니다. 열 번의 상호작용 라운드 동안 에이전트들은 언어, 몸짓, 시선 방향, 그리고 얼굴 표정의 조합을 사용하여 소통해야 했습니다. 연구진은 규칙을 변경하여 난이도를 조절했습니다. 때로는 대상이 정직해야 했고, 때로는 기만적이어야 했습니다. 결정적으로, 그들은 대상의 내부 지침도 변경했습니다. 어떤 경우에는 타인을 생각하지 않고 자신의 욕구에 따라 행동하도록 요청했고, 다른 경우에는 참여자의 믿음을 명시적으로 모델링하고 그들에게 영향을 미치도록 요청했습니다.
연구진은 보고 듣고 말할 수 있는 11개의 시각-언어 모델과 1개의 텍스트 전용 모델을 포함하여 총 13개의 서로 다른 인공지능 모델을 이 환경에서 테스트했습니다. 명확한 패턴을 수집하기 위해 각 모델당 200회의 시행을 진행했습니다. 결과는 극명했습니다. 대부분의 고급 AI 시스템은 성공에 필요한 조율된 행동을 생성하는 데 실패했습니다. 기만하라는 요청을 받았을 때, 모델들은 오해를 불러일으키는 단어와 모순된 신체 언어의 적절한 조합을 만들어내지 못했습니다. 돕라는 요청을 받았을 때, 그들은 다른 에이전트를 안내할 수 있도록 움직이거나 시선을 돌리는 데 종종 실패했습니다. 연구는 이 과정에서 두 가지 구체적인 붕괴 지점을 식별했습니다. 첫째, 대다수의 모델은 방향성 측면에서 의미 있는 비언어적 신호를 생성하지 못했습니다. 그들의 움직임과 시선은 종종 무작위적이거나 잘못된 방향을 향했습니다. 둘째, 모델이 명확한 신호를 생성했을 때조차, 시뮬레이션 속의 다른 에이전트가 이를 알아차리지 못하거나 그에 따라 행동하지 못했습니다. AI 에이전트들은 말하고 움직이고 있었지만, 진정으로 소통하고 있지는 않았던 것입니다.
한 모델이 완전한 예외로서 두드로 나타났습니다. 믿음과 의도를 처리하도록 설계된 특정 구조화된 모듈을 갖춘 PCM-LLM이라는 하이브리드 시스템은 모든 조건에서 성공했습니다. 이 모델은 도울 때 참여자를 보물로 성공적으로 안내할 수 있었고, 속일 때 참여자를 성공적으로 오도할 수 있었습니다. 이러한 성공은 다른 모델들의 실패가 과제의 난이도 때문이 아니라, 그들의 아키텍처에 결여된 부분이 있었기 때문임을 시사합니다. 언어와 이미지를 함께 처리하는 표준 모델들은 타인에 대한 믿음을 물리적 행동으로 직접 연결하는 내부 메커니즘이 부족한 것으로 보였습니다. 연구진은 대부분의 모델에서 그들이 받는 시각적 입력이 도움이 되는 단서가 아니라 오히려 방해 요소로 작용한다는 것을 발견했습니다. 어떤 경우에는 시각적 이미지를 완전히 제거하는 것이 모델이 명확한 방향 신호를 보내는 능력을 향상시켰는데, 이는 시각 데이터가 추론을 지원하기보다 방해하고 있음을 시사합니다.
연구는 또한 이 모델들이 연습을 통해 더 잘할 수 있는지 탐구했습니다. 연구진은 실패한 모델 중 하나를 골라 성공적인 행동을 생성한 고성능 하이브리드 시스템의 사례를 사용하여 훈련시켰습니다. 이 훈련은 모델의 행동을 약간 변화시켰지만, 근본적인 문제는 해결하지 못했습니다. 그 모델은 여전히 자신의 단어, 눈, 몸을 하나의 일관된 사회적 신호로 조율할 수 없었습니다. 이는 단순히 AI에게 어떻게 움직이는지를 보여주는 것만으로는 충분하지 않으며, 자신의 행동이 다른 마음에게 영향을 주기 위한 것임을 이해하기 위한 더 깊은 아키텍처적 변화가 필요함을 시사합니다. 연구 결과는 현재의 AI 시스템이 복잡한 사회적 시나리오를 텍스트로 논의할 수 있음에도 불구하고, 아직 그러한 아이디어를 체화(embody)하는 법을 배우지 못했음을 나타냅냅니다. 그들은 마음 이론에 대해 말할 수는 있지만, 아직 그것을 살아낼 수는 없습니다. 누군가가 무엇을 생각하는지 추론하는 것과, 그 추론을 조율되고 물리적인 방식으로 행동으로 옮기는 것 사이의 간극은 현재 기술의 뚜렷하고 측정 가능한 한계로 남아 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.