Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

기술 요약: 모델 불확실성과 명확화 요청의 정렬을 테스트하는 참조 게임

문제 제기
인간 대화에서 대화 상대방은 모호성이 발생할 때 불확실성을 인식하고 명확화 요청 (수정) 을 시작함으로써 상호 이해를 적극적으로 유지합니다. 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 이 유창함을 보여주지만, 내부 불확실성을 인식하고 이를 적절한 명확화 행동으로 전환하는 청자 역할을 효과적으로 수행할 수 있는지는 여전히 열린 질문입니다. 현재 모델들은 종종 유창한 출력으로 이해 문제를 가려, 역량의 과대평가와 불일치된 자신감으로 이어집니다. 또한 기존 연구에 따르면 LLM 은 능동적으로 수정을 시작하는 경우가 드물며, 상호작용을 효과적으로 근거화하지 못하는 경우가 많습니다. 이 과제는 명확화가 필요한 시점에 대한 정답 (ground truth) 이 부재하고 해석의 공간이 무한한 개방형 대화 환경에서 이 능력을 평가하는 데 있습니다.

방법론
이러한 과제를 해결하기 위해 저자들은 참조 게임을 통제되고 자기 완결적인 테스트베드로 사용할 것을 제안합니다. 이 설정에서 '화자'는 후보군 (예: 색상 그리드) 에서 대상 객체를 설명하고, '청자'는 이를 식별해야 합니다. 이 환경은 설명과 후보군 사이의 불일치로 인해 모호성이 엄격하게 발생하므로 명확화 필요성을 명시적이고 측정 가능하게 만듭니다.

본 연구는 색상 유사성 (far, split, close) 에 따라 난이도가 다른 60 라운드로 구성된 197 개의 게임을 포함하는 색상 그리드 참조 게임 데이터셋(McDowell and Goodman, 2019) 에서 세 가지 VLM 을 평가합니다. 테스트된 모델은 다음과 같습니다:

• Qwen2.5-VL-7B 및 Qwen2.5-VL-72B(이 작업에서 강력한 이전 성능을 기반으로 선정됨).
• GPT-5-mini(대표적인 상용 모델로서).

실험 설계는 세 가지 단계로 구성됩니다:

1. 기선 실험 (Baseline Experiment): 모델은 화자의 설명과 시각적 입력만을 기반으로 청자 역할을 하여 대상 그리드를 예측합니다. 불확실성을 추정하기 위해 매 라운드당 모델을 5 회 샘플링합니다. 다수결로 예측을 결정하고, 일치하는 샘플의 비율을 기선 자신감 (Baseline Confidence) 지표로 사용합니다.
2. 명확화 실험 (Clarification Experiment): 모델은 지시자가 불확실할 경우 명확화를 요청하도록 명시적으로 지시받습니다. 성능은 CR-Rate(명확화 요청 빈도), 정확도(명확화 없는 응답의 정확성), 완화된 정확도(정확성 또는 성공적인 명확화) 로 측정됩니다.
3. 상호작용 실험 (Interaction Experiment): 인간 - 루프 (human-in-the-loop) 가 모델의 명확화 요청에 답변을 제공합니다. 이 단계는 생성된 질문의 작업 관련성 (task-relevance) 을 평가하고, 이후의 인간 피드백이 모델의 최종 정확도와 자신감을 향상시키는지 측정합니다.

주요 결과

• 과신 (Overconfidence): 모든 모델은 어려운 조건에서도 일관되게 높은 자신감 점수 (87%~99% 범위) 를 보여주어, 실제 정확도에 비해 poorly calibrated 된 과신 성향을 나타냈습니다.
• 명확화 행동:
  • GPT-5-mini는 13% 의 경우에서 명확화 요청을 생성하여 가장 정렬된 행동을 보여주었습니다. 요청률은 작업 난이도에 따라 증가했습니다 ('far'에서 6% 에서 'split/close'에서 17% 로). 불확실할 때 답변을 유보한 것으로 보이며, 명확화 없는 응답의 정확도 (94%) 가 기선 정확도 (91%) 를 초과했습니다.
  • Qwen2.5-VL-72B는 24% 의 경우에서 명확화 요청을 생성했지만, 이 행동은 작업 난이도나 내부 불확실성과 체계적으로 정렬되지 않았습니다. 요청을 생성할 때 자신감은 미미하게만 감소했습니다 (91% 에서 87% 로).
  • Qwen2.5-VL-7B는 거의 명확화 요청을 생성하지 않았습니다 (< 0.1%).
• 명확화의 효과성: 상호작용 실험에서 Qwen2.5-VL-72B 가 생성한 명확화 질문 중 **42%**만이 작업 관련성이 있는 것으로 판단되었습니다. 중요하게도, 이러한 요청에 대한 인간의 답변을 제공하는 것은 모델의 엔드 - 투 - 엔드 정확도를 향상시키지 못했습니다; 오히려 대부분의 조건에서 정확도가 약간 감소했습니다. 이는 모델이 제공된 정보를 활용하지 못했거나, 요청 자체가 모호성을 해결하는 데 필요한 정보를 구하지 못했음을 시사합니다.

주요 기여

• 테스트베드 제안: 본 논문은 개방형 대화 평가의 한계를 극복하고 모델 불확실성과 명확화 행동 간의 정렬을 평가하기 위한 엄격하고 통제된 환경으로서 참조 게임을 확립합니다.
• 불일치의 경험적 증거: 이 연구는 최신 VLM 이 내부 불확실성을 적절한 상호작용 응답으로 전환하는 데 어려움을 겪고 있음을 보여주는 경험적 증거를 제공합니다. 단순하고 제한된 작업에서도 모델들은 종종 불확실성을 인식하지 못하거나 관련성 있는 질문을 하지 못합니다.
• 현재 명확화의 비효율성: 연구 결과는 현재 모델들의 명확화 시도가 종종 정보 제공이 부족하거나 부적절하며, 상호 이해를 향상시키는 진정한 수정 메커니즘으로 기능하지 못함을 강조합니다.

의의
본 논문은 참조 게임이 언어 모델의 실용적 역량 (pragmatic competence) 을 탐구하는 가치 있는 벤치마크를 제공한다고 주장합니다. 결과는 불확실성을 관리할 수 있는 협력적인 청자로서 행동하는 VLM 의 능력에 상당한 격차가 있음을 보여줍니다. 저자들은 모호성이 정량화되고 명확화 필요성이 명시적인 환경에서도 모델들이 내부 불확실성을 적절한 명확화 행동으로 전환하는 데 어려움을 겪는다고 결론지었습니다. 이는 (비전 및) 언어 모델의 상호작용 질을 진단하기 위한 참조 게임의 가치를 강조하며, 유창함이 견고하고 자기 인식적인 소통과 동등하지 않음을 드러냅니다.