Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

이 논문은 협력적 구축 작업을 통해 다양한 정보와 지식을 가진 참여자들 간의 공통 기반 (common ground) 형성을 연구하기 위해 분산 부분 정보 퍼즐 (DPIP) 과 이를 위한 멀티모달 데이터셋을 제안하고, 최신 대형 언어 모델 (LLM) 과 동적 인식 논리 (DEL) 기반 파이프라인을 비교 평가하여 LLM 이 현재 다중 모달 상호작용에서의 신념 상태 추적에 어려움을 겪음을 보여줍니다.

핵심

1. 게임의 규칙: "분산된 부분 정보 퍼즐 (DPIP)"

상상해 보세요. 네 명의 친구가 테이블 주위에 앉아 있습니다.

• **1 명은 '건축가 (Builder)'**입니다. 이 사람은 레고 블록을 실제로 쌓는 사람입니다.
• **나머지 3 명은 '감독 (Directors)'**입니다. 이 세 사람은 건축가에게 "어떻게 쌓아라"라고 지시합니다.

여기서 재미있는 점은?
세 명의 감독은 서로 다른 정보만 가지고 있습니다.

• 감독 A 는 "앞에서 본 그림"만 봅니다.
• 감독 B 는 "왼쪽에서 본 그림"만 봅니다.
• 감독 C 는 "오른쪽에서 본 그림"만 봅니다.

그들은 전체 그림을 한 번에 볼 수 없습니다. 오직 자신의 시야 (부분 정보) 만 볼 수 있죠. 건축가는 아무것도 모른 채, 세 감독의 지시만 듣고 블록을 쌓아야 합니다.

이 게임의 목표는 세 감독이 가진 서로 다른 조각들을 합쳐서, 세 사람이 모두 동의하는 하나의 완벽한 구조물을 만드는 것입니다. 이때 서로 다른 정보를 가진 사람들이 어떻게 대화하고, 손짓을 하고, 행동을 통해 **"우리가 지금 무엇을 하고 있는지"라는 공통된 이해 (Common Ground)**를 만들어가는지가 핵심입니다.

2. 연구의 목적: AI 는 이 게임을 잘할까?

연구진들은 이 게임을 실제로 사람들과 함께 진행하며 녹화했습니다. 그리고 이 데이터를 가지고 **최신 AI(대형 언어 모델, LLM)**에게 이 상황을 분석해 보라고 시켰습니다.

• AI 의 과제: "사람들이 말하고, 손짓하고, 블록을 쌓는 모습을 보고, '지금 이 그룹이 공통적으로 믿고 있는 상태 (공통된 이해) 가 뭐지?'를 추론해 봐."

연구진은 두 가지 방법을 비교했습니다.

1. AI(대형 언어 모델): 사람처럼 말과 행동을 보고 추측하는 방법.
2. 논리적 규칙 (공리 기반 시스템): "말하면 믿는다", "행동하면 믿는다" 같은 엄격한 논리 규칙을 적용하는 방법.

3. 놀라운 결과: AI 는 아직 '눈치'가 부족합니다

결과는 다소 실망스러웠습니다.

• 사람의 눈치 vs AI 의 계산: 사람들은 서로의 말투, 손짓, 눈빛을 보고 "아, 저 사람은 내 말에 동의하는구나" 혹은 "아, 저 사람은 내 정보를 잘못 이해했구나"를 금방 알아챕니다. 하지만 AI 는 이 **'눈치' (공통된 이해 형성 과정)**를 따라가는 데 매우 어려움을 겪었습니다.
• 정보의 과부하: AI 는 말 (Speech) 만 들어도 구조물을 예측하는 데는 어느 정도 성공했지만, 손짓 (Gesture) 과 행동 (Action) 같은 추가 정보를 넣으면 오히려 혼란을 겪어 성능이 떨어지기도 했습니다. 마치 너무 많은 정보를 주면 오히려 헷갈리는 것과 비슷합니다.
• 실패한 팀의 분석: 게임에 실패한 팀 (혼란스러워서 아무것도 못 만든 팀) 을 분석했을 때, AI 는 "아, 이 팀은 공통된 이해가 없구나"라고 정확히 알아맞혔습니다. 하지만 성공한 팀의 경우, AI 는 "무엇이 공통된 이해인지"를 정확히 파악하지 못했습니다. 즉, 혼란은 잘 감지하지만, 성공적인 협업을 이해하는 데는 아직 부족하다는 뜻입니다.

4. 왜 이 연구가 중요할까요?

이 연구는 단순히 레고 게임을 하는 것을 넘어, AI 가 인간과 함께 일할 때 겪는 근본적인 문제를 드러냅니다.

• 비유하자면: AI 는 아주 똑똑한 '참고서'를 가지고 있지만, 사람들이 서로 눈치 보며 대화할 때 생기는 **'분위기'나 '공감'**을 읽는 능력은 아직 부족합니다.
• 미래의 의미: 우리가 AI 를 의료, 교육, 팀 프로젝트 등에 활용하려면, AI 가 단순히 지시를 따르는 것을 넘어 팀원들과 '공통된 목표'를 만들어가는 능력을 갖춰야 합니다. 이 연구는 AI 가 아직 그 단계에 도달하지 못했음을 보여주며, 앞으로 어떤 방향으로 발전해야 하는지 (예: 손짓과 행동을 더 잘 이해하도록 훈련시키기) 에 대한 중요한 지도를 제공합니다.

요약

이 논문은 **"서로 다른 정보를 가진 사람들이 레고를 쌓으며 어떻게 하나 되는지"**를 연구했습니다. 그 결과, 최신 AI 는 사람의 말과 행동을 분석할 때 '눈치'가 부족해서, 팀이 무엇을 함께 믿고 있는지 (공통된 이해) 를 파악하는 데 여전히 고전하고 있다는 사실을 발견했습니다.

이는 AI 가 인간과 진정한 '파트너'가 되기 위해서는, 단순히 정보를 처리하는 것을 넘어 **함께 만들어가는 과정 (협업의 뉘앙스)**을 이해하는 능력을 키워야 함을 시사합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 공통 기반 (Common Ground, CG) 의 중요성: 인간 간의 효과적인 협업을 위해서는 공유된 신념과 사실에 대한 합의 (공통 기반) 가 필수적입니다.
• 현재 AI 의 한계: 기존 대화 시스템 및 AI 는 주로 단일 화자나 완전한 정보를 공유하는 상황을 가정합니다. 그러나 실제 협업 환경에서는 참여자들이 서로 다른 배경 지식과 정보 (인식적 비대칭, Epistemic Asymmetry) 를 가지고 있으며, 언어뿐만 아니라 제스처와 행동과 같은 다중 양식 (Multimodal) 정보를 통해 소통합니다.
• 연구의 필요성: 현재는 다중 화자, 동시 위치 (co-situated), 인식적 비대칭이 동시에 존재하는 복잡한 협업 상황을 포착하고, 이러한 환경에서 AI 가 어떻게 공통 기반을 구축하고 추론하는지 평가할 수 있는 체계적인 데이터셋과 벤치마크가 부족합니다.

2. 제안된 작업 및 데이터셋 (Methodology & Dataset)

저자들은 **"분산된 부분 정보 퍼즐 (Distributed Partial Information Puzzle, DPIP)"**이라는 새로운 협업 과제를 제안하고 이를 위한 대규모 멀티모달 데이터셋을 구축했습니다.

2.1. DPIP 작업 구조

• 참여자 구성: 4 명 그룹 (3 명의 '지시자 (Directors)' + 1 명의 '건축가 (Builder)').
• 과제: 지시자 3 명은 각각 완성된 구조물의 서로 다른 2 차원 측면도 (Front, Left, Right 등) 만을 보며, 건축가는 블록을 조립해야 합니다.
• 인식적 비대칭: 지시자들은 서로 다른 부분 정보를 가지고 있으며, 건축가는 최종 구조물을 직접 볼 수 없습니다. 오직 지시자들의 언어, 제스처, 행동을 통해 정보를 전달받아 구조물을 완성해야 합니다.
• 목표: 세 지시자가 모두 동의하는 최종 구조물을 건축가가 올바르게 조립하는 것.

2.2. 데이터셋 특성

• 규모: 10 개의 그룹 (총 33 개 중 10 개) 에 대한 19 시간 이상의 오디오 - 비디오 녹화.
• 다중 양식 (Multimodal) 어노테이션:
  • 음성 (Speech): Whisper 모델을 통한 전사 및 화자별 명제 (Proposition) 추출 (블록 간 관계, 위치 등).
  • 행동 (Action): 건축가의 블록 조작 (Put, Remove, Move) 을 3D 구조 어노테이션 도구 (SAT) 를 통해 시간 순서대로 기록.
  • 제스처 (Gesture): G-AMR (Gesture Abstract Meaning Representation) 프레임워크를 사용하여 지시적, 상징적, 의도적 제스처를 어노테이션.
• 정렬 (Alignment): 음성, 제스처, 행동 데이터를 시간적으로 정렬하여 상호 연관성을 확보했습니다.

3. 평가 방법론 (Evaluation Framework)

연구는 두 가지 접근 방식을 비교 평가했습니다:

1. 대규모 언어 모델 (LLM) 기반: 최신 LLM (Qwen3-4B, Llama-3.2-3B, GPT-5-mini/GPT-5) 에게 멀티모달 입력을 제공하여 구조물 상태나 공통 기반을 추론하게 함.
2. 공리 기반 파이프라인 (Axiomatic Pipeline): 동적 인식 논리 (Dynamic Epistemic Logic, DEL) 에 기반한 공리 시스템을 구축하여 공통 기반을 계산.
   • 핵심 공리:
     1. Seeing is Believing: 지각적 맥락이 신념을 직접 업데이트함.
     2. Acting is Believing: 신체적 행동이 의도를 드러냄.
     3. Saying is Believing: 언어가 인식적 상태를 전달함.

4 가지 실험 조건

1. Action → Structure: 행동 데이터만으로 구조물 상태 예측.
2. Aligned → Structure: 모든 정렬된 멀티모달 데이터 (음성, 제스처, 행동) 로 구조물 상태 예측.
3. CGC → Structure: 공리 기반 공통 기반 (Common Ground Calculation, CGC) 으로 구조물 상태 예측.
4. Aligned → CGC: LLM 이 예측한 공통 기반과 공리 기반 공통 기반의 일치도 평가.

4. 주요 결과 (Results)

• LLM 의 한계:
  • 행동 기반 추론: GPT-5 가 가장 좋았으나, 전체 대화 (Global) 수준에서의 정확도는 턴 단위 (Turn-level) 보다 낮았습니다. 이는 LLM 이 긴 다중 턴 상호작용에서 맥락을 유지하는 데 어려움을 겪음을 시사합니다.
  • 멀티모달 입력의 효과: 추가적인 모달리티 (제스처 등) 를 입력했을 때, 일부 모델 (Qwen) 은 전체 대화 수준의 정확도가 향상되었으나, 다른 모델 (GPT-5) 은 오히려 성능이 급격히 하락하거나 노이즈로 작용했습니다. 이는 맥락이 충분하지 않을 때 추가 정보가 혼란을 초래할 수 있음을 보여줍니다.
  • 공통 기반 추론: LLM 이 공리 기반 시스템이 계산한 공통 기반 (신념 상태) 을 예측하는 데는 매우 낮은 성능 (Dice Similarity Coefficient, DSC) 을 보였습니다. 많은 경우 예측된 신념 집합이 완전히 불일치했습니다.
• 공리 기반 시스템의 성과:
  • 공리 기반 접근법 (CGC) 은 LLM 보다 일관되게 높은 구조물 예측 정확도를 보였습니다. 이는 규칙 기반 논리 추론이 복잡한 협업 상황의 신념 변화를 추적하는 데 더 효과적일 수 있음을 시사합니다.
• 실패 사례 분석 (Group 7):
  • 과제를 실패한 그룹의 경우, LLM 과 공리 시스템 모두 공통 기반이 거의 없음을 정확히 감지했습니다. 이는 LLM 이 "공통 기반의 부재"를 인식하는 능력은 있지만, 성공적인 협업에서의 복잡한 신념 추론에는 여전히 취약함을 보여줍니다.

5. 주요 기여 및 의의 (Key Contributions & Significance)

1. 새로운 벤치마크 (DPIP) 제시: 다중 화자, 동시 위치, 인식적 비대칭, 멀티모달 상호작용을 모두 포함하는 최초의 체계적인 협업 과제 및 데이터셋을 공개했습니다.
2. 고해상도 멀티모달 어노테이션: 음성, 제스처, 행동을 시간적으로 정렬하고 명제 수준으로 어노테이션한 고품질 데이터셋을 제공하여, 대화 연구와 AI 협업 모델링에 중요한 자원이 됩니다.
3. LLM 의 한계 규명: 최신 LLM 이 복잡한 협업 환경에서 공통 기반을 구축하고 신념 상태를 추적하는 데 있어 여전히 심각한 한계가 있음을 실증적으로 입증했습니다. 특히, 장기적인 대화 흐름과 불완전한 정보 하의 추론에서 실패합니다.
4. 이론적 프레임워크의 확장: 동적 인식 논리 (DEL) 를 멀티모달 협업 상황에 적용하여, 규칙 기반 접근법이 LLM 보다 신념 추론에 더 강력할 수 있음을 보였습니다.
5. 미래 연구 방향: 이 연구는 공통 기반 추적, 이론적 마음 (Theory of Mind) 모델링, 시공간 추론 등 AI 의 사회적 상호작용 능력을 평가하기 위한 새로운 표준을 제시합니다.

결론

이 논문은 AI 가 인간과 협력할 때 필수적인 "공통 기반"을 형성하는 과정이 단순한 언어 이해를 넘어, 불완전한 정보와 다양한 비언어적 단서를 통합하는 복잡한 과정임을 강조합니다. 제안된 DPIP 과 데이터셋은 현재 SOTA AI 시스템이 이러한 과제를 해결하는 데 얼마나 미흡한지를 보여주며, 향후 더 강력한 협업형 AI 를 개발하기 위한 중요한 기준점 (Benchmark) 으로 작용할 것입니다.