💻 computer science

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

本論文は、過去の経験をメモリバンクに蓄積するために後知恵フィードバックを活用することで、正解ラベルを必要とすることなく、LLMエージェントのステップレベルの信頼度推定を大幅に向上させる、学習不要で自己進化的なフレームワークであるCritic Experience Bankを提案する。

原著者： Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、自分のキャラクターがAIエージェントであるハイステークスなビデオゲームをプレイしていると想像してください。このゲームでは、ボタンをクリックしたり、コマンドを入力したり、画面をタップしたりといった、あなたのあらゆる動きが周囲の世界を変えてしまいます。もし一歩間違えれば、行き止まりの部屋に閉じ込められたり、重要なファイルを削除したり、あるいは時間を無駄にする空振りに終わったりするかもしれません。恐ろしいのは、ミスをしたとしても、それを実際にやってしまうまで気づけないということです。

長い間、AIの専門家たちは、AIが行動する直前に「この動きはどれくらい良いと確信していますか？」と問いかけることで、この問題を解決しようと試みてきました。しかし、この論文が示唆しているのは、そのアプローチは、かつて他の旅行者がどこを通ったかという地図を見せることもなく、旅行者に「この道は宝物につながっていると確信していますか？」と尋ねるようなものだということです。AIはその瞬間、その道が素晴らしく見えるために自信満々かもしれませんが、その道が崖へと続いているかどうかについては、過去の経験に基づいた知識を持っていないのです。

問題点：「健忘症」のクリティック（批評家）

著者らは、標準的なAIの信頼度チェックは、こうしたインタラクティブなエージェントにとっては機能していないと主張しています。それらは「レスポンスレベル」のチェックであり、つまり、アクションの後に何が起こるかという、その後の複雑な現実を無視して、AIがこれから出力しようとしているテキストだけを判断してしまうのです。

これは、スープに塩を加える前に味見をするものの、前回塩を加えた時に顧客が喜んだのか、それとも吐き出したのかという記憶がないシェフのようなものです。この論文は、ウェブサイトの操作やスマートフォンの制御といった複雑なタスクにこれらの標準的な「味見」を適用すると、AIの自信がバラバラになることを示しています。正解すべき時に間違っていたり、間違っている時に正しかったりと、その精度は極めて不安定です。

解決策：クリティック・エクスペリエンス・バンク（CEB）

これらを修正するために、研究者たちは**クリティック・エクスペリエンス・バンク（CEB）**と呼ばれるものを構築しました。

AIが魔法のような、自己更新型の日記を持っていると考えてみてください。仕組みは以下の通りです：

アクション： エージェントが何か（例えば「購入」ボタンをクリックするなど）を試みます。
推測： クリックする前に、「クリティック（批評家）」AI（賢い判定役）が状況を見て、「この動きは80%の確率で良いものだ」と推測します。
現実の確認： エージェントが実際にクリックします。世界が変化します。アイテムは購入できましたか？それともページがクラッシュしましたか？
振り返り： ミッション全体が終わった後、「ハインドサイト（事後判断）AI」が旅全体を振り返ります。そして、「おや、あの『購入』クリックはうまくいったぞ！」あるいは「いや、あれは罠だった」と判断します。
記憶： この結果は、「このような状況において、あの動作は生産的であった（あるいはそうでなかった）」という小さなメモとして、**エクスペリエンス・バンク（経験銀行）**に書き込まれます。

次にエージェントが同様の状況に直面したとき、クリティックは単に推測するだけではありません。日記を開き、最も類似した過去のメモを見つけ出し、「ああ、なるほど！前回、似たような状況でこれを行った時はうまくいった。でも、その前は失敗した。だから、今回は60%の自信しか持てない」と言うのです。

ここでの魔法は、クリティックAI自身の脳（「重み」）は決して変化しないことです。再学習させる必要はありません。ただ、過去の成功と失敗の記録である日記を読むことで、より賢くなるのです。

この論文が否定するもの

著者らは、何が機能しないのかについても明確に述べています。彼らは以下の手法に対して明示的に反対しています：

AIに「もっと深く考えさせる」（思考の連鎖 / Chain of Thought）： AIに推論を説明させることは多少の助けにはなりますが、似たようなアクションの後に実際に何が起こったかという記録がなければ、それだけでは不十分です。
「トークン不確実性」を見る： これは、AIの内部的な計算がいかに揺らいでいるかをチェックするという高度な方法ですが、論文によれば、こうしたタスクにおいては最悪の結果をもたらします。これは、ドライバーが実際にターゲットに当たったかどうかを無視して、ハンドルを握る手の震え具合だけで運転技術を判断するようなものです。
新しいモデルのトレーニング： 新しいAIを一から教え込むために数週間を費やす必要はありません。この手法は、既存のAIにメモリバンクを与えるだけで機能します。

結果：どれほどの確信があるか？

研究者たちは、3つの異なるタイプの「ゲーム」でテストを行いました（ウェブサイトのナビゲーション：Mind2Web、モバイル電話の制御：AMEX、コンピュータ・ターミナルのコマンド入力：InterCode-Bash）。そして、エージェントを動かすために3つの異なるAIの脳を使用しました。

結果は、CEBが劇的な改善をもたらすことを示唆しています。

キャリブレーション（較正）： AIの世界における「キャリブレーション」とは、「自信の数値が現実と一致しているか」を意味します。AIが「90%の自信がある」と言えば、90%の確率で正解する必要があります。論文ではこれをECE（期待較正誤差）というスコアで測定しており、数値が低いほど優れています。
数値： CEBは、学習を必要としない既存の最高の手法と比較して、エラーを最大54%減少させました。例えば、特定のAIモデル（GPT-5.4）を用いたMind2Webデータセットにおいて、エラーは0.319から0.176へと低下しました。
ランキング： また、良い動きと悪い動きを分類する能力（AUCで測定、高いほど良い）も向上し、Mind2Webで0.704というスコアを叩き出し、他のすべての手法を上回りました。

さらに、人間（または完璧な「オラクル」）がAIの自信が最も低い動きだけをレビューするというシナリオもシミュレートしました。CEBを使用した場合、タスク全体の成功率は大幅に跳ね上がりました。例えば、Mind2Webにおいて、AIが最も自信のない3つの推測をレビューに回すことが許可された場合、成功率はベースラインの**2.1%から23.7%へと上昇し、完璧な「オラクル」のスコアである34.9%**に大きく近づきました。

「自己進化」のひねり

最も興味深い部分の一つは、このバンクが最初は空の状態であることです。AIがより多くのタスクをこなしていくにつれ、バンクは埋まっていき、AIはより優れた判断ができるようになります。論文は、AIが経験を蓄積すればするほど、その自信はより信頼できるものになることを示唆しています。これは、人間が宿題を採点する必要なく、自分自身の歴史から学ぶシステムなのです。

要約すると、もしあなたがAIエージェントを現実世界で安全かつ信頼できるものにしたいのであれば、単にAIに「どれくらい自信があるか」を聞くだけでは不十分です。過去の失敗と成功の記録である「日記」を与え、根拠がある場合にのみ、自分の直感を信じられるようにすべきなのです。

技術要約：Critic Experience Bank (CEB)

問題の定式化

大規模言語モデル（LLM）エージェントは、アクションがその後のすべての決定に依存する状態を変化させる外部環境（ウェブ、モバイルGUI、シェル）において、ますます活動範囲を広げている。このような設定では、単一の誤ったステップが、最終的なタスク失敗が観察されるずっと前に、インタラクション・バジェットを浪費したり、不可逆的な副作用を引き起こしたりする可能性がある。したがって、最終的なタスクの成功は、デプロイメントにおける信頼性の信号としては不十分である。

対処される核心的な課題は、ステップレベルの信頼度推定である。すなわち、提案されたアクションが生産的であるかどうかについて、それが実行される前に、較正された確率を生成する必要性である。既存の信頼度推定手法（例：トークン・ロジット、言語化された信頼度、一貫性チェック）は、主にレスポンスレベルのスコアリング向けに設計されている。これらは、現在のコンテキストに基づいて単一の提案ステップを評価するが、実行の結果——具体的には、同様のアクションが同様の状況下で行われた際に、環境の反応後に実際にタスクを進展させたかどうか——を考慮できていない。この構造的なギャップは、標準的なシグナルが静的なレスポンス生成から動的なエージェント実行へとクリーンに転移できないため、インタラクションが進むにつれて不安定な較正を招く。

手法：Critic Experience Bank (CEB)

著者らは、グラウンドトゥルースのステップラベルや学習可能な検証器なしで、推論段階で動作するように設計された、トレーニングフリーで自己進化するクリティック・フレームワークである**Critic Experience Bank (CEB)**を提案する。

コアメカニズム

CEBは、固定されたLLMクリティックを、事後的にラベル付けされた実行経験のメモリバンクによって拡張する。このフレームワークは、エージェントが関連するコンテキストにおいて繰り返される決定に直面することが多いという前提に基づいている。各回の発生を現在のクエリのみから判断するのではなく、クリティックは自身の過去の判断とその観察された結果から、前例を検索する。

パイプラインは2つのフェーズで構成される：

オンライン・スコアリング: 各ステップ $t$ において、エージェントはタスク $q$ 、現在の状態 $s_t$ 、および履歴 $h_{<t}$ に基づいてアクション $a_t$ を提案する。実行前に、凍結されたLLMクリティックは信頼度スコア $\hat{z}_t$ を推定する。これを行うために、クリティックは現在のコンテキストと、Experience Bankから検索された**対照的な例（contrastive examples）**を用いてプロンプトされる。これらの例は、複合キー（タスク、状態、アクション）を使用して検索され、生産的な記録 ( $B^+$ ) と非生産的な記録 ( $B^-$ ) の両方を含む。また、プロンプトには短いループを検出するための反復フラグも含まれる。
事後更新（Hindsight Update）: トラジェクトリ $\tau$ が完了した後、「事後LLM（hindsight LLM）」( $g_\phi$ ) が、一連の状態、アクション、および観察結果の全シーケンスを観察する。それは、各ステップが生産的であったかどうかについて（ $V$ 個のサンプルに対する多数決を通じて）投票し、疑似ラベル $\hat{y}_t$ を生成する。これらの記録（状態の要約、アクション、観察、疑似ラベル、およびクリティックの元の実行前スコアを含む）は、バンクに追加される。

主要な設計機能

自己進化型: クリティックの重みは凍結されたまま維持され、その振る舞いは、検索された経験の拡張されるコンテキストを通じてのみ進化する。
対照的検索: バンクは生産的なセットと非生産的なセットに分割されている。クリティックには、成功した同様のアクションと失敗した同様のアクションの両方が明示的に示されるため、結果に基づいて較正を行うことができる。
トレーニング不要: この手法は、デプロイメント中のアクターやクリティックのファインチューニングや、グラウンドトゥルースのステップラベルへのアクセスを必要としない。

主な貢献

問題の定式化: 本論文は、ステップレベルの信頼度推定を、標準的なレスポンスレベルの信頼度とは区別される、アクションの生産性を実行前に推定するタスクとして正式に定義した。
CEBフレームワーク: 固定されたLLMクリティックを、過去のトラジェクトリからの事後ラベル付き実行経験によって拡張する、トレーニングフリーのクリティック・フレームワークを導入した。
実証的な優位性: 3つの多様なエージェント・ベンチマーク（Mind2Web, AMEX, InterCode-Bash）と3つのクリティック・バックボーン（GPT-4.1, GPT-5.4, Qwen3-Next）において、CEBが最先端の較正（期待較正誤差 - ECE、ブライア・スコア）およびランキング（AUC）を達成することを実証した。

実験結果

評価は、ウェブナビゲーション、モバイルGUI制御、およびシェル・インタラクションのタスクを対象としている。

較正性能: CEBは、すべてのトレーニングフリーのベースライン（Perplexity、Mean Entropy、Verbalized Confidence、P(True)、CoTを含む）を一貫して上回った。
- GPT-4.1を用いたInterCode-Bashデータセットにおいて、CEBは最強のベースラインと比較してECEを**54%**削減した。
- GPT-5.4を用いたMind2Webにおいて、CEBは0.176のECEを達成し、これは次に優れたベースライン（P(True)の0.396）よりも大幅に低い。
- CEBは、ECE、ブライア・スコア、およびAUCのすべてにおいて、すべてのデータセット–クリティックの組み合わせにわたって最高のパフォーマンスを維持した。
ラベル定義への堅牢性: 代替となる有効なパスを認める寛容な「LLM-as-judge」ラベルを使用した場合でも、CEBの優位性は維持された。これは、本手法が厳格なリファレンス・マッチングによるアーティファクトではないことを示している。
コンポーネントのアブレーション: Experience Bankを完全に削除すると最大の性能低下が発生し、過去の実行結果が再較正に極めて重要であることが確認された。バンクの対照的な性質（成功と失敗の両方を見ること）が最も重要なコンポーネントであると特定された。
自己進化する振る舞い: タスクのストリームが進み、バンクに事後ラベル付きのデータが蓄積されるにつれ、CEBの較正誤差は静的なクリティックと比較して大幅に減少した。これは、重みの更新なしにシステムが時間の経過とともに改善されることを示している。
ダウンストリームの有用性: 選択的実行タスク（低信頼度のステップを人間のレビューのために保留するタスク）において、CEBはベースラインよりも効果的に誤ったステップを特定し、固定されたレビュー予算が適用された場合に、より高い最終タスク成功率をもたらした。

意義と主張

本論文は、CEBがLLMエージェントのデプロイメントにおける決定的なギャップ、すなわちアクションが環境を変化させる前の、信頼できるステップレベルの信頼度を必要とする課題に対処していると主張している。エージェント自身のインタラクション履歴を較正のエビデンスとして活用することで、CEBは固定されたクリティックがそのスコアリングの振る舞いを動的に適応させることを可能にする。

著者らは、このアプローチが特に以下のデプロイメント・レジームにおいて価値が高いことを強調している：

アクターとクリティックが固定されたAPIモデルである場合。
グラウンドトゥルースのステップラベルが利用できない場合。
新しい検証器のトレーニングが困難な場合。

結果は、検索された実行経験が、現在のレスポンス形式の信頼度手法よりも優れたシグナルを提供することを示唆しており、複雑で状態変化を伴う環境における、より安全で信頼性の高い自律型エージェントへの実用的な道筋を提示している。論文は、CEBの主な利点は、監督的（より良いラベルへの依存）ではなく時間的（証拠の蓄積）なものであり、エージェント自身の過去の失敗と成功を、将来の意思決定のための事前分布へと効果的に変えることであると結論付けている。