Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

技術的サマリー：モデルの不確実性と照会要求の整合性を検証するためのテストベッドとしての参照ゲーム

問題提起
人間対話において、対話者は相互理解を維持するために、不確実性を認識し、曖昧さが生じた際に照会要求（修復）を能動的に開始する。大規模言語モデル（LLM）や視覚言語モデル（VLM）は流暢さを示しているが、内部の不確実性を認識し、それを適切な照会行動に変換する聞き手役を効果的に担えるかどうかは、未解決の課題である。現在のモデルは、流暢な出力によって理解の問題を隠蔽する傾向があり、その能力の過大評価や、自信の不一致（ミスマッチ）を招いている。さらに、既存の研究は、LLM が能動的に修復を開始することは稀であり、対話を効果的にグラウンディング（根拠付け）することに失敗することが多いことを示している。課題は、照会が必要となる際の真実（グラウンドトゥルース）が存在せず、解釈の空間が無限である開かれた対話設定において、この能力を評価することにある。

手法
これらの課題に対処するため、著者らは、制御された自己完結型のテストベッドとして参照ゲームを使用することを提案する。この設定では、「話者」が候補群（例：色のグリッド）から対象物を記述し、「聞き手」がそれを特定する必要がある。この環境では、曖昧さが記述と候補群の間の不一致から厳密に生じるため、照会の必要性が明示的かつ測定可能となる。

本研究では、カラーグリッド参照ゲームデータセット（McDowell and Goodman, 2019）を用いて 3 つの VLM を評価した。このデータセットには、色の類似性（遠隔、分割、近接）に基づいて難易度が変化する、60 ラウンドずつの 197 件のゲームが含まれている。評価対象のモデルは以下の通りである：

• Qwen2.5-VL-7B および Qwen2.5-VL-72B（このタスクにおける優れた先行性能に基づいて選択）。
• GPT-5-mini（代表的な商用モデルとして）。

実験デザインは以下の 3 つのフェーズから構成される：

1. ベースライン実験：モデルは聞き手として、話者の記述と視覚入力のみに基づいてターゲットグリッドを予測する。不確実性を推定するため、モデルを各ラウンドで 5 回サンプリングし、多数決で予測を決定する。一致するサンプルの割合をベースライン信頼度指標とする。
2. 照会実験：モデルに、対象物について不確実な場合は明確に照会を要求するよう指示する。性能は、CR-Rate（照会要求の頻度）、精度（照会なし回答の正答率）、および緩和精度（正答または成功した照会）によって測定される。
3. 対話実験：人間がループ内でモデルの照会要求に対する回答を提供する。このフェーズでは、生成された質問のタスク関連性を評価し、その後の人間のフィードバックがモデルの最終的な精度と信頼度を向上させるかどうかを測定する。

主要な結果

• 過信：すべてのモデルは、困難な条件であっても一様に高い信頼度スコア（87% から 99% の範囲）を示し、実際の精度に適切に較正されていない過信の傾向を示した。
• 照会行動：
  • GPT-5-mini は最も整合性の取れた行動を示し、ケースの 13% で照会要求を生成した。その要求率はタスクの難易度とともに増加し（「遠隔」で 6% から「分割/近接」で 17%）、照会なし回答の精度（94%）はベースライン精度（91%）を上回った。これは、不確実な場合に回答を控えることに成功したことを示唆している。
  • Qwen2.5-VL-72B はケースの 24% で照会要求を生成したが、この行動はタスクの難易度や内部の不確実性と体系的に整合していなかった。要求を生成した際の信頼度はわずかに低下しただけ（91% から 87%）であった。
  • Qwen2.5-VL-7B は、照会要求をほとんど生成しなかった（< 0.1%）。
• 照会の有効性：対話実験において、Qwen2.5-VL-72B によって生成された照会質問のわずか42%のみがタスク関連性があると判断された。重要なのは、これらの要求に対する人間の回答を提供しても、モデルのエンドツーエンドの精度は向上しなかったことである。実際、ほとんどの条件で精度はわずかに低下した。これは、モデルが提供された情報を活用できなかったか、あるいは要求自体が曖昧さを解消するために必要な情報を求めていなかったことを示唆している。

主要な貢献

• テストベッドの提案：本論文は、開放型対話評価の限界を克服し、モデルの不確実性と照会行動の整合性を評価するための厳密で制御された環境として、参照ゲームを確立する。
• 不一致の経験的証拠：本研究は、最先端の VLM が内部の不確実性を適切な対話応答に変換することに苦労しているという経験的証拠を提供する。単純で制約されたタスクであっても、モデルは不確実性を認識することに失敗したり、関連する質問をすることに失敗したりすることが多い。
• 現在の照会の非効率性：これらの知見は、現在のモデルによる照会試行がしばしば無情報であったり不適切であったりし、相互理解を向上させる真の修復メカニズムとして機能していないことを浮き彫りにする。

意義
本論文は、参照ゲームが言語モデルの語用論的competence（能力）を探るための貴重なベンチマークを提供すると主張している。結果は、不確実性を管理できる協力的な聞き手として振る舞う VLM の能力に大きなギャップがあることを示している。著者らは、曖昧さが定量化可能で照会の必要性が明示的な設定であっても、モデルは内部の不確実性を適切な照会行動に変換することに苦労しているとの結論に至っている。これは、（視覚および）言語モデルにおける対話の質を診断するための参照ゲームの価値を強調し、流暢さが堅牢で自己意識のある対話に等しくないことを明らかにしている。