技術要約：LLMは「何を、いつ尋ねるべきか」を知っているか？ 多ターン情報探索の評価

1. 問題定義

本論文は、マルチターン（多ターン）の相互作用において、**未指定（underspecification）**の状態下で動作する大規模言語モデル（LLM）の能力を取り上げている。曖昧さ（ユーザーの意図が不明確な状態）とは異なり、未指定とは、ユーザーのタスクは明確に定義されているものの、一意の回答を決定するために必要な情報が不足している状態を指す。有能なモデルは、コンテキストが不十分であることを認識し、ターゲットを解決するために必要な特定の欠落情報を特定し、逐次的なクエリを通じてその情報を取得し、取得した情報によって答えが一意に定まった時にのみ回答しなければならない。

現在の評価手法は、正しい回答を生成する能力と、情報を探索する能力を混同しがちである。最終的なタスクの成功は、真の情報の取得ではなく、推測や既知の知識への依存によって達成される可能性がある。著者らは、この課題を、$k$（ターゲット変数を決定するために共同で必要となる変数の数）として表される **$k$-未指定制約充足問題（$k$-underspecified Constraint Satisfaction Problem, CSP）**を解くこととして定式化している。

2. メソドロジー：MT-INFOSEEK フレームワーク

著者らは、数学、論理学、生物学、医学、および一般知識（「20の質問」ゲーム経由）の5つのドメインにわたる5,251の問題と9,006のタスクインスタンスからなる制御された評価スイート、MT-INFOSEEKを導入している。

2.1 定式化

問題はタプル $P = \langle X, D, C, A, Y \rangle$ として定義される：

• $X$: ドメイン $D$ を持つ変数の集合。
• $C$: 論理的制約。
• $A$: 観測された部分的な割り当て（初期コンテキスト）。
• $Y$: ターゲット変数。
• 未指定（Underspecification）: $Y$ が $A$ と $C$ によって一意に決定されない場合、その問題は未指定である。
• 最小 $k$-十分集合（Minimal $k$-Sufficient Set, $k$-MSS）: 未割り当ての変数 $S$ の部分集合であり、サイズが $k$ であり、それらの値を知ることで $Y$ が一意に決定され、かつそれより小さい部分集合では不十分であるもの。
• タスクインスタンス: 特定の実例 $(P, y)$。ここで $y$ は $Y$ の隠された真の（グラウンドトゥルース）値である。

2.2 評価プロトコル

本フレームワークは、情報探索と回答生成を分離して、以下の3つの軸でモデルを評価する：

1. $k$-予測（$k$-Prediction）: $P$ が与えられたとき、モデルは未指定の度合い（$\hat{k}$）を予測する。
2. 欠落変数の特定（Missing Variables Identification）: $P$（およびオプションで真の $k$）が与えられたとき、モデルは最小の十分集合となる変数の集合を選択する。
3. 逐次的タスク解決（Sequential Task-Solving）: モデルはオーラクル（神託）と複数ターンにわたって対話し、一度に一つの変数をクエリし、その値を確認し、いつ停止して回答するかを決定する。

2.3 データセット

• 構造化ドメイン（Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT）: 変数と制約が事前定義されている。モデルはクエリ可能な有限の変数集合から選択を行う。
  • Logic-Q-MT: 論理推論問題をマルチターン設定へと拡張したもの。
  • GSME-Q-MT/Ext: マスクされた数量を含む算数問題。Extバージョンは、より深い依存構造を特徴とする。
  • GeneReg-MT: ブール型の遺伝子制御ネットワーク。モデルは定常状態を決定するために初期状態を特定する必要がある。
  • ClinGuide-MT: 診断決定ツリー。条件付き依存性により、クエリの順序が重要となる。
• 非構造化ドメイン（20Q）: モデルは、候補集合から隠されたターゲットを導き出すために、自由形式の「はい/いいえ」の質問を生成する。

2.4 指標

本論文では、主要な指標として**最終的な十分性（Final Sufficiency）**を導入している。これは、モデルの最終的な回答が正しいかどうかに関わらず、取得された情報（クエリされた変数の集合）がターゲットを一意に決定するかどうかを測定するものである。これにより、情報を求める能力と、回答を生成する能力を分離している。その他の指標には、クエリの網羅率、順序の正確性（ClinGuide-MTにおいて）、および質問の有益性（20Qにおける正規化期待情報量）が含まれる。

3. 主な結果

評価は、クローズドおよびオープンウェイトのLLM（例：GPT-5, Gemini-3, Qwen3, gpt-oss）を対象としている。

3.1 不足情報の過小評価

• モデルは一般に、コンテキストが不十分であることを認識している（未指定の問題に対して $k=0$ と予測することは稀である）が、未指定の度合いを系統的に過小評価している。
• 正解率は $k$ が増加するにつれて急激に低下する。具体的には、論理問題（Logic-Q-MT）において $k = 2$ の場合、モデルは情報の不足を過大評価するよりも、4倍も頻繁に過小評価している。

3.2 最小十分集合の特定における失敗

• 真の $k$ が与えられている場合でも、モデルは最小十分集合を構成する特定の変数を特定することに苦慮する。厳密な集合の正確性は低く（$k=2$ で0.4未満）、$k$ が高くなるとさらに低下する。
• 情報がどの程度欠落しているかを推定することは、どの情報が必要であるかを知ることを意味しない。

3.3 インタラクションのダイナミクスと回復

• ターン予算（Turn Budget）: すべてのクエリを単一ターンですべて発行するよりも、より多くのターンにわたってクエリを割り当てる方が、モデルが早期に停止しない限り、最終的な十分性は向上する。
• 回復（Recovery）: 最小十分集合を外した最初のターンのクエリであっても、回復は可能である。最初のクエリが不適切であっても、モデルが関連する変数の探索を継続する場合、適切な最初のクエリを行った場合と同等の割合で十分性に到達する。
• 後半ターンのパフォーマンス: 高度に未指定な問題（$k \ge 3$）では、成功は初期ターンの正確性よりも、持続的な情報取得と後半ターンのクエリの正確性に依存する。

3.4 順序と統合の重要性

• 順序依存性: 臨床タスク（ClinGuide-MT）では、必要な情報をすべて最終的に取得できたとしても、正しい変数を正しい順序でクエリしないと、最終的な精度が著しく低下する。
• 証拠の統合: 20Qにおいて、質問の有益性（期待情報量）が同程度のモデル間でも、最終的な正解率には大きな差が見られる。これは、成功が単に「良い質問をする」ことだけでなく、「回答を効果的に統合して候補空間を絞り込む」ことに依存していることを示している。
• エントロピーの減少: モデルは一般に不確実性を減少させるが、後半のターンでプラトー（停滞）に達することが多く、残された近接した候補を区別できなくなる。

4. 貢献と意義

本論文は主に3つの貢献を行っている：

1. 定式化: マルチターン情報探索を $k$-未指定CSPを解くこととして定式化し、必要な変数と十分性のポイントに関するグラウンドトゥルースを提供した。
2. ベンチマーク（MT-INFOSEEK）: 数学、論理学、生物学、医学、一般知識にわたる包括的な評価スイートを導入し、未指定の度合いを制御された形で変化させることを可能にした。
3. 評価手法: 情報の取得能力と回答生成能力を分離するための指標として、**最終的な十分性（Final Sufficiency）**を提案した。

意義:
著者らは、最終的な正解率に依存している現在のLLM評価は、インタラクティブな能力を捉えきれていないと主張している。モデルは、欠落している情報を特定することなく、推測や事前知識を用いて正解を出してしまう可能性がある。MT-INFOSEEKによって、取得された情報が実際にターゲットを決定するかどうかを測定することで、現在のモデルが以下の状況にあることが明らかになった：

• 不足している情報の複雑さを過小評価している。
• 最小のクエリ戦略を計画できていない。
• 十分な情報を取得する前に停止してしまうことが多い。
• 順序依存性や証拠の統合に苦慮している。

本論文は、複数ターンにわたって情報を探索する能力は、回答生成とは異なる能力であり、既存のベンチマークでは十分に測定されていないと結論付けている。この研究は、将来の改善が単なる推論能力ではなく、未指定状態の認識と逐次的な情報取得の計画に焦点を当てる必要があることを示唆する、診断的な枠組みを提供している。