技術的サマリー：Calibrate-Then-Act（CTA）：LLM エージェントにおけるコスト意識的探索

問題定義

大規模言語モデル（LLM）エージェントは、ソフトウェアデバッグ、科学的発見、検索拡張型質問応答など、情報を取得するために相互作用を必要とする環境において、ますます展開されるようになっています。これらの設定において、エージェントは根本的なトレードオフに直面します。探索（ツール、テスト、または検索を通じてより多くの情報を収集すること）は不確実性を低減しますが、コスト（API レイテンシ、金銭的コスト、時間）を発生させます。一方、コミットメント（部分的な情報に基づいて行動すること）はコストを節約しますが、エラーのリスクを伴います。

現在のエージェントの方針はしばしば静的です。例えば、コーディングエージェントはコードを実行する前に常に単体テストを実行したり、QA エージェントは自信の有無に関わらず常にコンテキストを検索したりします。本論文は、最適な行動はエージェントの成功確率と特定の環境コストの関数であると主張しています。しかし、標準的な LLM は、プロンプト付けや強化学習（RL）によるトレーニングを行っても、これらの動的でコストに敏感な意思決定ルールを効果的に学習することに失敗します。それらは、パレート最適戦略を発見するために、行動コストに対して不確実性を暗黙的に較正することに苦戦しています。

手法：Calibrate-Then-Act（CTA）

著者は、環境の不確実性の推定（較正）を行動選択のための推論プロセスから分離するフレームワークであるCalibrate-Then-Act（CTA）を提案します。核心的な洞察は、エージェントに潜在環境状態に関する推定された事前分布を明示的に提供することで、LLM を抽象的な最適逐次意思決定問題について推論させるように誘導できるという点です。

定式化

この問題は、不確実性下での逐次意思決定タスクとして定式化され、部分観測マルコフ決定過程（POMDP）としてモデル化されます。

• 潜在状態（$Z$）： 環境の観測されていない特徴（例：ファイルの区切り文字、箱内の「賞品」の位置、またはパラメトリックな回答の正しさ）。
• 行動： 探索行動（例：VERIFY、RETRIEVE、UNIT_TEST）とコミット行動（GUESS、ANSWER）のセット。
• コスト： 探索行動は、取られたステップ数に基づいて最終報酬を減少させる乗法的割引因子（$\gamma$ または $d$）を発生させます。
• 目的： 期待割引報酬 $R = I[\text{タスク完了}] \cdot D_\theta(\text{行動})$ を最大化すること。

CTA フレームワーク

CTA は、エージェントの意思決定ループに推定された事前分布 $\hat{p}(Z|x)$ を導入します。この事前分布は、エージェントの即時の推論とは外部のソース（例：モデルの自信または訓練された予測器）から導出され、プロンプトの一部として渡されます。

1. CTA-プロンプト付け： ベース LLM に、タスクの説明、現在の観測、および明示的な事前分布 $\hat{p}(Z|x)$ がプロンプトされます。モデルは、情報の価値と探索のコストの間のトレードオフについて推論することが期待されます。
2. CTA-RL： モデルは、同じ事前分布を付加したプロンプトを用いて、グループ相対方策最適化（GRPO）により微調整されます。報酬関数には、タスクの成功とコストの割引が含まれます。

事前分布推定戦略

本論文は、これらの事前分布を生成するための 2 つの方法を実証しています。

• モデルの自信から（QA）： 知識ベースの QA において、事前分布は検索なしで正しく回答する確率（$p_{da}$）です。これは、モデルからの言語化された自信を用いて推定され、検証セット上でアイソトニック回帰により較正されます。
• 訓練データから（コーディング）： ファイル読み込みコーディングタスクにおいて、事前分布は、与えられたファイル名に対するファイル形式属性（区切り文字、引用符文字、スキップ行数）の確率分布です。ファイル名をこれらの形式分布にマッピングする軽量な BERT ベースの予測器（MBERT）が訓練されます。

主要な貢献

1. 統合された定式化： 著者は、パンドラの箱、検索付き QA、選択的コーディングテストなど、多様なコスト意識的探索タスクを、不確実性下での統合された逐次意思決定問題として枠組み化しました。
2. CTA 手法： 推定された事前分布に基づいてエージェントを明示的に条件付ける手法を導入しました。これにより、標準的なプロンプト付けやエンドツーエンドの RL 訓練では達成できない方法で、エージェントが最適性について推論することが可能になります。
3. 実証的検証： 本論文は、適切な事前分布が提供されれば、小さな「思考」モデル（Qwen3-8B）さえもこれらの設定における最適方針を解決できることを示しています。一方、それらは RL 単独ではこれらの方針を暗黙的に学習することに失敗します。

実験結果

著者は、3 つの設定で CTA を評価しました。

1. パンドラの箱（概念実証）： エージェントが箱を検証するか推測するかを選択する必要がある合成タスク。
   • 結果： 事前分布なしでは、標準的なプロンプト付けと RL は低い最適一致率（約 11-23%）しか達成しません。CTA-プロンプト付けは**94.0%**の最適一致率を達成し、事前分布が明示的である場合、モデルがコストと不確実性のトレードオフについて推論できることを実証しました。
2. 知識 QA（PopQA）： エージェントはコンテキストを検索するか直接回答するかを決定します。
   • 結果： ベースラインは、コストを無視して頻繁に検索しすぎたり、逆に検索しすぎなかったりします。CTA-プロンプト付けは、さまざまな検索コストにわたって最高報酬を達成し、オラクル方針との最良の整合性を示します。提供された自信事前分布に基づいて検索率を動的に調整します。
3. ファイル読み込み（コーディング）： エージェントは不明な形式の CSV ファイルを解析する必要があり、安価だが有益な単体テストを実行するか、高価だが直接的なコードを書くかを選択します。
   • 結果： 標準的な RL エージェントは、コスト比率に関わらず静的な「テスト優先」方針に崩壊します。CTA-RL（明示的な事前分布で訓練された）は、標準的な RL より3.5% 高い報酬を達成し、適応的な行動を示します。コード実行が安価なときはテストを減らし、高価なときはテストを増やします。これは異なるコスト体制全体でパレートフロンティア上で一貫して動作します。

意義と主張

本論文は、コスト制約環境における最適エージェント行動の主なボトルネックは、LLM の推論能力の欠如ではなく、不確実性とコストを暗黙的に較正することを学習する難しさであると主張しています。較正ステップ（事前分布の推定）を外部化し、それをエージェントにフィードバックすることで、CTA はモデルが意思決定ロジック自体に推論を集中させることを可能にします。

著者は、このアプローチがエージェントに標準的なベースラインよりもより最適な意思決定戦略を発見させることを述べています。彼らは、この手法が不完全な事前分布推定（例えば、67% の精度を持つ予測器）でも機能し、壊滅的な失敗ではなく滑らかな劣化を示すことを強調しています。この研究は、メタレベルの情報（能力や環境構造に関する事前分布）がエージェントの方針を形成する上で重要な役割を果たし、ゼロから大規模な RL 訓練を必要とせずに LLM エージェントのコスト効率を改善する新たな道筋を提供することを示唆しています。

限界： 著者は、実験が制御された合成または半合成データセット（PopQA、FILEREADING）で行われており、オープンエンドな実世界展開よりも単純であることを認めています。彼らは、CTA が有用な事前分布推定の利用可能性に依存しており、非常に複雑な環境では、ベースモデルの推論能力が依然として事前分布を解釈し、信念を正しく更新するのに十分でなければならないと指摘しています。