Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask

이 논문은 비대칭적 대화 환경에서 참여자들이 서로 다른 정보를 가지고 있음에도 불구하고 "공통된 이해 (Common Ground)"를 형성했다고 오해할 수 있는 그라운딩 오해 (Grounded Misunderstandings) 현상을 분석하기 위해 제안된 새로운 주석 기법과 그 결과를 다룹니다.

주요 내용은 다음과 같습니다.

1. 연구 문제 (Problem)

• 비대칭적 대화의 오해: 일상적인 협업 대화에서 화자와 청자는 서로 다른 정보를 공유할 수 있습니다 (예: HCRC MapTask). 전통적인 그라운딩 이론은 명시적 또는 암묵적 확인이 이루어지면 화자와 청자가 동일한 대상을 지시했다고 가정하지만, 비대칭적 상황에서는 서로 다른 대상을 지시하면서도 "이해했다"고 착각하는 경우가 발생할 수 있습니다.
• 기존 연구의 한계: 기존 MapTask 주석은 화자의 의도와 청자의 해석을 분리하여 추적하지 못했습니다. 또한, 대규모 언어 모델 (LLM) 이 구조화된 방식으로 이러한 미묘한 오해를 주석하는 데 어려움이 있었습니다.
• 핵심 질문: 화자와 청자의 개인적 해석을 포착하여 오해가 어떻게 발생하고, 분기하며, 수정되는지 추적할 수 있는 주석 체계가 가능한가?

2. 방법론 (Methodology)

• 주관적 관점 기반 주석 체계 (Perspectivist Annotation Scheme):
  • 통합 랜드마크 ID (Unified Landmark IDs): 기존 MapTask 의 ID 체계는 같은 이름의 랜드마크를 동일하게 취급하거나, 다른 이름의 랜드마크를 다르게 취급하는 등 모호함이 있었습니다. 저자들은 <map-id>_<landmark-name>#<ordinal>@<side> 형식의 새로운 ID 체계를 도입하여 화자 (Giver) 와 청자 (Follower) 의 관점에서 랜드마크 인스턴스를 명확히 구분했습니다.
  • 5 단계 이진 속성 (5 Binary Attributes): 각 지시 표현 (Reference Expression, RE) 에 대해 다음 5 가지 속성을 순차적으로 판단합니다:
    1. is_quantificational: 화자의 관점에서 존재를 묻는 질문인가?
    2. is_specified: 문맥상 청자의 해석을 추론할 수 있는가?
    3. is_accommodated: 청자가 이해 실패 신호 없이 지시 표현을 수용했는가?
    4. is_grounded: 청자가 지시 표현을 특정 랜드마크에 연결했는가?
    5. is_imagined: 청자가 자신의 지도에 없는 랜드마크를 상상하여 위치를 추정했는가?
• LLM 기반 주석 파이프라인:
  • GPT-5 를 활용하여 전체 MapTask 코퍼스 (128 개 대화, 약 13,000 개 지시 표현) 를 주석했습니다.
  • 제약된 프롬프트 (Schema-constrained Prompt): JSON 스키마를 강제하고, Chain-of-Thought(연쇄 사고) 를 유도하는 단계별 워크플로우를 프롬프트에 포함시켜 LLM 이 일관된 논리로 주석하도록 설계했습니다.
  • 신뢰도 평가: 3 개의 대화 (504 개 RE) 를 인간 전문가가 검증한 결과, RE 수준에서 94.4% 의 정확도를 보였습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 주석 체계 제안: 화자의 의도된 참조와 청자의 해석된 참조를 분리하여 추적하는 계층적 속성 기반의 주석 체계를 제안했습니다.
2. 대규모 데이터셋 구축: 제약된 LLM 파이프라인을 통해 MapTask 코퍼스 전체에 대해 13,000 개 이상의 지시 표현을 주석하고, 신뢰도 추정치를 포함하여 공개했습니다.
3. 분석 프로토콜 및 벤치마크: RE 수준의 주석을 기반으로 이해 상태 (Aligned, Misunderstood, Pending) 를 정량화하는 프로토콜을 제공하며, 이는 향후 (V)LLM 의 그라운딩 능력 평가 기준이 됩니다.

4. 주요 결과 (Results)

• 오해의 빈도: 어휘적 변이 (Lexical variants, 예: 'cliffs' vs 'sandstone cliffs') 를 통일하여 분석한 결과, 완전한 오해 (Misunderstood) 의 비율은 전체의 **1.82%**로 낮았습니다. 이는 참여자들이 지속적으로 '수정 (repair)'을 수행하여 오해를 빠르게 해결함을 보여줍니다.
• 다중성 불일치 (Multiplicity Discrepancies) 의 위험:
  • 지도에 랜드마크가 여러 개 있는 경우 (화자 지도에는 2 개, 청자 지도에는 1 개 등) 오해 발생률이 **12.0%**로 전체 평균 (1.8%) 보다 6 배 이상 높았습니다.
  • 전체 오해 사례의 48.5% 가 이 '다중성 불일치'에서 발생했습니다. 이는 참여자들이 지시 대상이 유일하다고 가정하는 경향 (Egocentric bias) 으로 인해 발생합니다.
• 이해 상태의 진화:
  • '다중성 불일치'의 경우, 지시 체인 (Reference Chain) 이 길어지고 여러 번의 턴을 거쳐야 정렬 (Alignment) 이 이루어지는 경향이 있었습니다.
  • 반면, 존재 불일치 (Existence discrepancy) 는 랜드마크가 없다는 것이 금방 밝혀져 상대적으로 빠르게 해결되었습니다.
• LLM 의 한계: LLM 은 지도를 모두 볼 수 있는 '전지전능한 (Omniscient)' 관점을 가지기 때문에, 화자의 잘못된 시작점 인식과 같은 비대칭적 오해를 초기에 감지하지 못하는 경향이 있었습니다.

5. 의의 및 시사점 (Significance)

• 이론적 기여: 그라운딩이 단순히 '성공' 또는 '실패'의 이분법이 아니라, 참여자의 관점에 따라 달라지는 점진적인 정렬 과정임을 입증했습니다. 특히 겉보기에는 이해가 된 것처럼 보이지만 실제로는 참조 불일치가 존재하는 '침묵하는 오해 (Silent Misalignments)'를 포착할 수 있는 분석 도구를 제공했습니다.
• 실용적 기여:
  • LLM/VLM 평가: 현재 시각 - 언어 모델 (VLM) 이 대화 중 상대방의 관점 (Perspective-taking) 을 얼마나 잘 반영하는지 평가할 수 있는 새로운 벤치마크를 제시했습니다.
  • 향후 연구 방향: 단순한 객체 식별을 넘어, 비대칭적 정보 환경에서의 협업 대화 그라운딩 능력을 평가하는 기준을 마련했습니다.

요약하자면, 이 논문은 LLM 을 활용한 대규모 주석을 통해 비대칭적 대화에서의 미묘한 오해 메커니즘을 정량적으로 분석하고, 이를 통해 AI 모델의 관점 수용 능력을 평가할 수 있는 새로운 프레임워크를 제시했다는 점에서 의의가 큽니다.