When Contextual Inference Fails: Cancelability in Interactive Instruction Following

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인간의 언어 처리는 '문자적 의미 (Literal meaning)'와 '화용론적 추론 (Pragmatic inference, 문맥에 따른 의미 확장)'으로 구성된 2 단계 시스템으로 간주됩니다. 화용론적 추론은 문맥을 기반으로 하지만, 상황에 따라 취소 가능 (Defeasible/Cancellable) 합니다. 즉, 문맥적 추론이 항상 옳은 것은 아니며, 화자의 신뢰도에 따라 이를 배제하고 문자적 의미만 따를 수 있어야 합니다.
• 문제: 기존 대규모 언어 모델 (LLM) 의 화용론적 능력 평가는 주로 명시적인 메타언어적 판단 (예: "이 문장의 의도는 무엇인가?" 질문) 에 의존합니다. 그러나 이러한 평가는 모델이 실제 상호작용 상황에서 목표를 달성하기 위해 추론을 언제 적용하고 언제 취소해야 하는지 (Action-oriented) 를 측정하지 못합니다.
• 핵심 질문: LLM 은 대화 상대의 신뢰도에 따라 문맥적 추론을 선택적으로 취소하고, 불확실성을 효율적인 정보 탐색 (Clarification) 행동으로 전환할 수 있는가?

2. 방법론 (Methodology)

연구진은 기존 심리언어학적 패러다임을 확장하여 새로운 상호작용적 벤치마크인 Build What I Mean (BWIM) 을 제안했습니다.

A. 실험 환경: 블록 쌓기 게임

• 작업: 에이전트 (Builder) 가 3D 그리드 위에서 화자 (Speaker) 의 지시에 따라 블록 구조물을 쌓는 작업입니다.
• 지시 유형:
  1. 완전 지정 (Fully-specified): 블록의 색상과 개수가 명확히 명시됨.
  2. 미지정 (Underspecified): 색상 또는 개수 중 하나가 생략됨. 이때 에이전트는 문맥 (가장 최근에 쌓은 블록의 속성) 을 추론하여 채워야 함.
• 화자 프로필:
  • Pragmatic Pia (화용론적 피아): 생략된 정보는 문맥 추론으로 항상 정확히 보충함.
  • Literal Lisa (문자적 리사): 생략된 정보를 보충하더라도 문맥 추론이 틀릴 수 있음 (즉, 추론이 실패하는 경우 발생). 단, 문자적 내용은 항상 정확함.

B. 실험 설계 (두 단계)

1. 실험 1: 신뢰도 평가 (Confidence Rating)
   • 각 시도 후 모델이 자신의 정답 확신도 (1~4 점) 를 보고하도록 함.
   • 목적: 모델이 리사의 불완전한 추론을 인지하여 확신도를 낮추는지 (적응) 관찰.
2. 실험 2: BWIM (상호작용적 질의 응답)
   • 모델이 모호함을 해결하기 위해 질문 (Clarification) 을 할 수 있는 옵션 제공.
   • 비용 구조: 정답 시 +10 점, 오답 시 -10 점, 질문 시 -5 점 (비용 발생).
   • 목적: 모델이 불확실성을 인지하여, 비용이 들더라도 리사에게는 질문하고 피아에게는 추론을 믿는 효율적인 정보 탐색 전략을 취하는지 평가.

C. 평가 대상 모델

• Gemini 2.5 Pro, GPT 5.1, Claude Opus 4.5 (3 개 최첨단 LLM)
• 인간 참가자 데이터 (Naszádi et al., 2026) 를 베이스라인으로 사용.

3. 주요 결과 (Key Results)

A. 판단과 행동의 분리 (Dissociation between Judgment and Action)

• 명시적 판단 (신뢰도 평가): GPT 와 Gemini 는 리사와 대화할 때 미지정 지시에 대한 확신도를 낮추는 등, 화자의 불신뢰성을 인지하는 적응 (Adaptation) 을 보였습니다. 반면, Claude 는 화자에 따른 민감도가 낮았습니다.
• 암시적 행동 (질문 전략): 그러나 신뢰도 평가에서 불확실성을 인지한 모델들이 이를 효율적인 질문 행동으로 연결하지는 못했습니다.
  • GPT: 거의 질문을 하지 않음 (질문 회피). 불확실성을 인지했음에도 추측을 계속하여 정확도 (73.1%) 가 낮아짐.
  • Gemini & Claude: 질문을 많이 하지만 파트너 무관 (Partner-blind) 함. 신뢰할 수 있는 피아에게도 불필요하게 질문하여 점수를 손해 봄. 인간은 리사에게만 질문을 늘리는 반면, 모델들은 모든 미지정 지시를 질문 대상으로 삼음.

B. 추론 취소 능력의 한계

• 모델들은 문맥적 추론을 잘 수행하지만 (Zero-shot 화용론 능력 입증), 특정 화자 (리사) 에게서 추론이 실패할 때 이를 선택적으로 취소하여 행동에 반영하는 데 실패했습니다.
• 인간은 화자의 스타일에 따라 추론을 신뢰하거나 배제하고 질문 전략을 조정하지만, 모델들은 이를 일관되게 수행하지 못했습니다.

C. 피드백 분석

• 모든 모델은 피아의 지시가 더 일관적이고 명확하다고 평가했으나, 리사의 지시가 "정보를 생략했다"고 해석했습니다. 이는 모델이 '추론의 신뢰도' 문제를 '정보의 부재' 문제로 잘못 해석하고 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 (BWIM) 제안: 화용론적 능력을 명시적인 판단이 아닌, 상호작용적 목표 달성 (Task success) 과 정보 탐색 비용 (Communication cost) 의 균형을 통해 평가하는 새로운 프레임워크를 제시했습니다.
2. 판단 - 행동 불일치 발견: LLM 이 문맥적 추론의 실패를 인지 (신뢰도 하락) 할 수는 있으나, 이를 실제 행동 (효율적인 질문) 으로 전환하지 못하는 인지와 행동의 괴리를 발견했습니다.
3. 취소 가능성 (Cancelability) 평가: 모델이 문맥적 추론을 상황에 따라 선택적으로 배제할 수 있는지 (Partner-specific adaptation) 를 검증하는 방법을 제시했습니다.

5. 의의 및 결론 (Significance)

• 실용적 에이전트 평가: 실제 대화형 에이전트 (Chatbot, 로봇 등) 는 불확실한 상황에서 추론을 하거나 질문을 해야 하는 결정을 내려야 합니다. 본 연구는 모델이 단순히 "의미를 이해하는지"가 아니라 "불확실성 하에서 어떻게 행동하는지" 를 평가하는 것이 중요함을 강조합니다.
• 향후 방향: 현재 LLM 들은 화용론적 추론을 내재화하고 있지만, 이를 상황에 맞게 제어 (Control) 하고 취소하는 메커니즘이 부족합니다. 향후 연구는 모델이 파트너의 신뢰도를 학습하여 추론과 질문 전략을 동적으로 조정하도록 하는 데 초점을 맞춰야 합니다.
• 한계: 실험 환경이 통제된 문맥 (단일 문장) 에 기반하여 자연스러운 다중 턴 대화의 복잡성 (대명사, 점진적 업데이트 등) 을 완전히 반영하지는 못했습니다.

요약: 이 논문은 LLM 이 문맥적 추론을 잘 수행하지만, 상대방의 신뢰도가 떨어질 때 그 추론을 취소하고 효율적으로 질문하는 적응적 행동을 보이지 못함을 규명했습니다. 이는 향후 대화형 AI 가 더 인간처럼 유연하게 상호작용하기 위해 해결해야 할 중요한 과제를 제시합니다.