技術要約：LLMエージェントにおける明確化要求のための不確実性分解

1. 問題提起

インタラクティブな大規模言語モデル（LLM）エージェントは、不完全な観測下で動作しており、記述が不十分な自然言語による指示を受け取り、ノイズの多い環境をナビゲートする。初期の推論ステップにおける小さなエラーは伝播し、自信を持って誤った結果を導く可能性がある。不確実性推定は標準的な緩和策であるが、既存のフレームワーク（特にアレオトリック／エピステミックの二分法）は、インタラクティブなエージェントには不十分であると論じられている。Kirchhofら[13]およびKimら[14]は、エージェントには、ソースごとに分解され、ユーザーに伝達可能な「記述不足を意識した（underspecification-aware）」不確実性の表現が必要であると主張している。これは、能動的な明確化要求（clarification seeking）などの能力を可能にするためである。

さらに、ブラックボックスAPIへのアクセス、厳格なレイテンシ予算、ラベル付きの訓練軌跡の欠如といった実用的なデプロイメント上の制約により、logprobベース、マルチサンプリング、または学習ベースの不確実性手法は実行不可能である。これにより、プロンプトベースの手法（エージェントが構造化されたテキストとして不確実性を出力する手法）が、現実世界のデプロイメントにおいて唯一実行可能なアプローチとなる。しかし、既存のプロンプトベースの手法は、通常、単一のスカラー信頼度スコアを出力しており、以下の2つの異なる不確実性のソースを混同している：

1. タスクの難易度（Task Difficulty）: アクションの実行自体が困難である（例：多くの類似した製品の中から選択する場合）。
2. ゴールの曖昧さ（Goal Ambiguity）: ユーザーの要求が記述不足である（例、「シャツを見つけて」と言われたが、色やサイズが指定されていない）。

これらの信号を混同すると、エージェントは「慎重に進むべきか」と「明確化を求めるべきか」を区別できなくなる。

2. 手法

提案される分解

本論文は、各ステップ $t$ において放出される単一の信頼度スカラーを、2つの異なる信号に分離するプロンプトベースの分解を提案している：

• アクションの信頼度 ($c_t$): 現在の理解に基づき、選択されたアクションがタスク完了に向けて進んでいるというエージェントの確信度。これはベースラインで使用されるスカラー信頼度を反映している。
• リクエストの不確実性 ($u_t$): ユーザーのゴールが十分に指定されているかどうかの推定値であり、0（完全に指定されている）から1（決定的な詳細が欠落している）の範囲をとる。これは以下の3段階のスケールに基づいている：
  • $0$: 正解の解釈がちょうど1つ存在する。
  • $0.5$: 少なくとも一つのパラメータが未指定または未定義である。
  • $1$: 決定的な詳細が欠落しており、多くの有効な解釈が存在する。

明確化のトリガー

この手法は、決定論的なルーティングメカニメントを導入している。もし $u_t \geq \theta$ （デフォルトでは $\theta = 0.5$）であれば、エージェントはタスクのアクションを実行する代わりに、特殊なアクションである request_clarification を出力するように指示される。これにより、不確実性の推定と観察可能な行動との間に直接的なリンクが作成され、システムを記述不足に関するバイナリ分類器として評価することが可能になる。

ヒストリーの伝播

Uncertainty-Aware Memory (UAM) フレームワーク [21] に従い、不確実性の値 ($u_t, c_t$) とその自然言語による説明の両方が、相互作用履歴 $H_t$ に付加される。これにより、後続のステップが蓄積されたリクエストレベルの不確実性とアクションの信頼度について推論できるようになる。

ベースライン

提案手法は、2つのプロンプトベースのベースラインと比較される：

1. ReAct+UE: 単一の信頼度スコアと説明を求めるプロンプト・サフィックスを備えた標準的なReActエージェント。不確実性を履歴に保持しない。
2. Uncertainty-Aware Memory (UAM): ReAct+UEと同様だが、信頼度スコアと説明を履歴を通じて伝播させ、過去の不確実性について推論できるようにする。

ベンチマーク

明確化要求を評価するために、著者らは50%のタスクが意図的に記述不足となっている2つの明確化拡張ベンチマークを構築した：

• WebShop-Clarification: 指示文から属性（例：色、素材）やオプション句が削除されている。
• ALFWorld-Clarification: ゴールからオブジェクトや容器がランダムに削除されている（例：「コンテナの中に何か入れる」）。

これらのバリアントにおいて、エージェントが記述不足のタスクに対して正しく明確化を要求した場合、元のゴールが明らかになり、エピソードが継続される。これにより、公平な成功率の測定が保証される。

評価には、故障検知（軌跡の失敗を予測すること）およびタスク成功率のための標準的なベンチマーク（WebShop, ALFWorld, REAL）も含まれる。

3. 主な貢献

1. 比較分析: ブラックボックスLLMエージェントにおける不確実性の実用的な制約として、プロンプトベースの手法が唯一実行可能なファミリーであることを示す体系的な研究を行い、能動的な振る舞いに対する深い研究を動機付けた。
2. 新しいベンチマーク: 明確化要求をバイナリ分類タスクとして評価することを可能にする WebShop-Clarification および ALFWorld-Clarification の導入。
3. 分解手法: 学習やモデルへのアクセスを必要とせず、アクションの信頼度とリクエストの不確実性を分離するプロンプトのみの手法。
4. 実証的評価: 5つのLLMバックボーン（GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B）を用いた、明確化要求および故障検知タスクに関する包括的な評価。

4. 結果

明確化要求

提案された分解手法は、記述不足のタスクを特定する上でベースラインを大幅に上回った：

• ALFWorld-Clarification: 5つのバックボーンの平均において、提案手法はReAct+UEに対して73%、UAMに対して36%、明確化F1スコアを向上させた。
• WebShop-Clarification: 提案手法は、すべてのバックボーンにおいて明確化F1でリードしている。
• 汎用性: 改善効果は異なるモデルファミリー間で一般化されており、この分解が特定のLLMアーキテクチャに依存しないことを示している。

故障検知

この分解は、故障（軌跡の失敗）を検知する能力を損なわない：

• すべてのバックボーンとベンチマークにおいて、提案手法はReAct+UEおよびUAMと同等の故障検知ROC-AUCスコアを達成している。
• WebShopおよびREALにおいて、提案手法はラストステップおよび平均集計において最高のROC-AUCを達成している。

タスク成功率と較正（Calibration）

• 能力の希釈（Capability Dilution）: 不確実性のインストルメンテーションが増えるにつれて、タスク成功率の単調な低下が観察された：ReAct+UE (28.6%) > UAM (27.8%) > 提案手法 (27.0%)。著者らは、これを固定された推論予算が、タスク解決と複数の不確実性評価の間で分割されることによる「能力の希釈」であるとしている。
• 過信（Overconfidence）: 信頼度図（Reliability diagrams）は、すべての手法において系統的な過信を示している。予測された信頼度は、観察された成功率を一貫して上回っている（ECEは0.24から0.66の範囲）。
• 集計の感度: 軌跡レベルの集計方法（例：積、平均、ラストステップ）の選択は、故障検知スコアに大きく影響する。特にALFWorldでは、失敗した軌跡は系統的に長いため、積による集計は真の信頼度信号ではなく、軌跡の長さのプロキシとして機能している。

5. 意義と主張

本論文は、提案された分解が「記述不足の不確実性」を独立したカテゴリとして運用することに成功し、Kirchhofら[13]およびKimら[14]からの呼びかけに応えたものであると主張している。ゴールに関する曖昧さに専用のチャネルを提供することで、エージェントは黙って失敗したり、恣意的な解釈を進めたりするのではなく、能動的に明確化を求めることができる。

しかし、著者らはプロンプトベースのパラダイムの限界についても謙虚に述べている：

• プロンプトベースの限界: 観察された能力の希釈と系統的な過信は、固定されたトークン予算内でタスク解決と自己の信頼度評価を同時に行わなければならないプロンプトベースのアプローチに固有のものである。
• 今後の方向性: 最も有望な道はネイティブな不確実性推定であると論文は主張している。分解されたスコアをプロンプトで求めるのではなく、モデルがタスクの難易度とゴールの曖昧さを内部的に区別できるように訓練されるべきである（RLHF、DPO、またはGRPOを通じて）。これにより、プロンプトによる引き出しの必要性がなくなり、能力の希釈が解消され、較正された自然言語による不確実性の伝達が可能になる。

結論として、本研究は「不確実性の分解が新しいエージェント能力を可能にする」という概念の実証実験として機能しているが、次のステップは、これらのメカニズムをプロンプトからモデルそのものへと、アライメントベースの学習を通じて移行させる必要があると位置づけている。