人工知能の世界において、新しい種類のソフトウェアが登場しました。それが「自律型エージェント」です。コマンドを待つだけの単純な計算機とは異なり、これらのエージェントは、思考し、計画し、行動するように設計されています。彼らは、人間の研究者が情報を収集するのと同様に、複雑な問題を解決するために、ウェブを閲覧したり、コードを実行したり、データベースにクエリを投げたりすることができます。しかし、この新しい能力は根本的なジレンマをもたらします。機械はいかにして「終了時」を知るべきか、という問題です。もしエージェントが永遠に働き続けてしまえば、リソースを浪費し、エラーを蓄積させるリスクがあります。逆に、早すぎる段階で停止してしまえば、不完全であったり、誤解に基づいた回答を提出してしまう可能性があります。長年、エンジニアたちは、AIに単に終了を宣言させたり、別のAIに回答が適切かどうかを判断させたりすることで、この問題を解決しようとしてきました。しかし、これらの手法は、機械自身の「自信」に依存しており、その自信は誤ったものである可能性があります。真の課題は、単にエージェントに停止を求めることではなく、回答のあらゆる部分が実際に発見され、正しく計算されたという、確固たる、変更不可能な証明によって、その停止の決定が裏付けられていることを証明することなのです。
カリフォルニア大学サンディエゴ校の研究者は、「証拠提示型終了（Evidence-Carrying Termination）」と呼ばれるシステムによって、この問題に取り組みました。エージェントに感覚や単純なチェックリストに基づいて停止を決めるのではなく、このシステムは、タスクを完了する前に形式的な「証明書」を作成することを要求します。この証明書を、エージェントが最終的な回答の中で行うあらゆる主張に対して生成しなければならない「領収書」と考えてください。エージェントは単に「答えを見つけました」と言うだけでは不十分です。どのツール呼び出しがデータを提供したのかを正確に示し、そのデータが質問された特定の事項に関連していることを証明し、そして最終的な数値や事実が、厳格かつ変更不可能な一連のルールに従って導き出されたことを実証しなければなりません。もしこの証明の一部でも欠けていたり、元のデータと照らし合わせた際に計算が合わなかったりする場合、システムはエージェントに作業を継続することを強制します。これは、エージェントが詳細な「宿題」をすべて提示するまで、部屋から出ることを許さない門番のような役割を果たします。
この厳格なアプローチが実際に機能するかどうかをテストするため、研究者は、特定の事実の検索から複雑なデータ集計に至るまで、48種類の異なるタスクを含む制御された環境を作成しました。次に、エージェオントに誤った証拠を与える、ツールの失敗を隠す、あるいは必要な情報をすべて見つける前に停止を求めるなど、8種類の特定の誤りをこれらのタスクに導入しました。彼らは、この新しいシステムを、批評家AIが単に回答を判断するという標準的な手法と対決させました。結果は明白でした。300近い欠陥のあるシナリオを含むテストにおいて、標準的なシステムはエラーを検知できず、252件のケースでエージェントが誤った、あるいは根拠のない回答を持って停止することを許してしまいました。対照的に、新しい「証拠提示型終了」システムは、不安全な完了をゼロに抑えました。このシステムは、あらゆる欠陥を正確に特定し、証明が強固になるまでエージェントに継続を強制することに成功しました。
研究者は静的なテストにとどまらず、エージェントがリアルタイムでミスから回復しなければならない、数百のシミュレーションされた行程を含む、より動的なクローズドループ実験へと進みました。ここでの目標は、厳格な証明の要求が、エージェントを過度に諦めさせたり、有効なタスクの完了を妨げたりしないかどうかを確認することでした。新しいシステムは、ここでも標準的なアプローチを上回る成果を出しました。古いシステムが40回失敗した中で、新しいシステムは66件の決定的な場面において、エージェントの早期停止を防ぎました。極めて重要なのは、新しいシステムが慎重になりすぎて有用な作業を止めてしまうこともなく、サポートされたタスクを古いシステムと同等の統計的割合で完了させたことです。これは、証明を求めることが進歩を犠牲にすることを意味しないことを証明しています。エージェントが行き詰まった際、システムは66回の試行のうち18回でリカバリプロセスへと導くことができ、そのうち17回は最終的に検証済みの成功へと導かれました。
この研究は、エージェントを無謬にしたり、現実世界における回答の真実性を保証したりすることを主張するものではありません。このシステムは、エージェントが自身のルールに従ったこと、および最終的な回答が収集された証拠と一致していることのみを検証します。それはプロセスの検証であり、外部の真実に対する保証ではありません。しかし、今回の知見は、より安全なAIへの明確な道筋を示唆しています。回答を提案する行為と、それを証明する行為を分離し、すべてのステップの決定論的な再現を要求することによって、研究者は、エージェントがいつ作業を終えるべきかを正確に知る仕組みを構築できることを示しました。この研究は、エージェントは単に「終わったと感じた」から、あるいは「回答がもっともらしく聞こえる」から停止すべきではないと結論付けています。エージェントは、自らの主張を正当化する完全で途切れることのない証拠の連鎖を提示できる場合にのみ、停止すべきなのです。
技術要約：ツールを使用するLLMのための証拠を伴う終了（Evidence-Carrying Termination）
問題提起
ツールを利用するインタラクティブ・エージェントは、停止する正確なタイミングを決定するという極めて重要な制御上の課題に直面している。既存のシステムは、成功をゲート制御したり、実行トレースを証明したり、実行時ポリシーを強制したりするメカニズムを採用しているが、制御された終了の欠陥（termination faults）の境界をテストする厳密な設計に欠けていることが多い。現在の停止信号（例：DONEトークンの放出、ヒューリスティックなチェック、またはLLMによるクリティック判断）は、しばしば根拠が希薄である。それらは、どの特定の観測結果が最終的な主張を支持しているのか、その証拠が要求されたエンティティおよび時間的スコープをカバーしているのか、あるいは導出された値が決定論的に再構成可能であるのかを特定できない場合がある。このギャップはスケーラブルな監視（oversight）のリスクを生じさせる。なぜなら、時期尚早な終了は、支持されていない中間状態を最終的な回答へと変えてしまう一方で、無期限の継続はリソースを浪費し、リスクを増大させるからである。
メソドロジー：証拠を伴う終了（ECT）
本論文では、エージェントが「完了」ステータスを返せるのは、型定義された証明書（certificate）が、要求されたすべての回答スロットを有効かつスコープ内のトレース証拠に結びつけ、かつ決定論的なリプレイによって主張された値を再構成できる場合に限られるという、**証拠を伴う終了（Evidence-Carrying Termination: ECT）**フレームワークを提示する。
コア構成要素
- 契約 (Rt): 要求される回答スロット、許可される変換、エンティティ／時間的スコープ、証拠のカーディナリティ、Null許容性、および数値的許容誤差を列挙した信頼された要件セット。エージェントは実行中にこれを生成しない。
- 台帳 (Et): タスク、コール、およびツール識別子を、引数とレスポンスのハッシュに紐付けるレシート台帳。ソースパス、値のハッシュ、実行状態、および構造化されたスコープを記録する。
- 証明書 (Ct): タスクのアイデンティティ、凍結されたタスク記述子のダイジェスト、正規化された台帳ダイジェスト、および
(slot, value, evidence IDs, transform) の形式による具体的な主張を含む、提案された終端主張。
- 決定論的検証器 (Deterministic Verifier): 信頼された契約と不変の台帳に対して証明書をチェックする、型定義された検証器。以下の項目を実行する：
- 結合チェック (Binding Checks): タスク記述子と台牒ダイジェストの妥当性を検証する。
- カバレッジチェック (Coverage Checks): 義務付けられたすべてのスロットが存在すること、および禁止された余剰要素が存在しないことを確認する。
- 証拠チェック (Evidence Checks): 引用されたレシートが存在し、タスクに属し、成功しており、かつ検証済みであることを確認する。
- スコープチェック (Scope Checks): エンティティ、属性、レベル、および日付のスコープが要件と一致することを確認する。
- リプレイチェック (Replay Checks): クローズドな非実行型変換言語（identity、collection、aggregation、およびset操作を含む）を実行し、契約の許容範囲内で主張された値を決定論的に再構成する。
いずれかのチェックが失敗した場合、システムは具体的な理由コードと共に continue を返す。本システムは「相対的に健全（relative sound）」であるよう設計されている。すなわち、検証器が complete を返した場合、その主張は宣言された契約とアダプターの仮定の下で、結合されたトレースから再構成可能であることを意味するが、外部の真実性や安全性までは保証しない。
主な貢献
本論文の貢献は以下の通りである：
- 完了に特化した型定義検証器: タスク記述子と台帳ダイジェストの結合、レシートレベルの検証（値、パス、ステータス、スコープ）、および厳密なクローズド変換のリプレイを組み合わせたもの。
- 制御されたベンチマーク: 48の完全合成タスクと、8つの特定の終了欠陥（例：誤った完了、無関係な証拠、スコープの不一致、偽造された参照）を備えた6系統のベンチマーク。
- 厳格な評価プロトコル: 検証済みのクリティック・コア、その忠実なコントローラー、フルトレースLLMクリティック、およびその他のベースラインに対する、事前定義され凍結された静的およびクローズドループの比較。
実験結果
静的評価（保持された欠陥）
36のタスクにおける288個の保持された欠陥スナップショットを用いた研究において：
- 不安全な完了: 検証済みの終了クリティック・コアが 252/288 であったのに対し、ECTは 0/288 の不安全な完了を生成した。
- 統計的有意性: その差は −87.50 パーセントポイントであり（95% タスククラスター区間 [−87.50, −87.50]）、p<.05 であり、主要な仮説（H1）を満たした。
- クリーンなスナップショット: 36のクリーンなスナップショットにおいて、ECTは0の誤った継続（false continuations）を示し、クリティック・コアと一致した。
クローズドループ確認（V2 研究）
22の主要な保持されたタスククラスターにわたる576の軌跡（trajectories）を用いた新しい研究において、ECTを忠実なコントローラーおよび他のベースラインと比較した：
- 早すぎる支持のない終了: 不完全なチェックポイントからの、ECTによる早すぎる支持のない終了は 0/66 であった（忠実なコントローラーは 40/66 であった。差は −60.61 pp、95% 区間 [−78.79, −40.91]）。
- 支持された完了: ECTは 97/132 の支持された完了を達成し、コントローラーの 92/132 に対し、非劣性マージン −10ポイントを満たした（差は 3.79 pp、区間 [0.00, 9.09]）。
- リカバリ: ECTは、適合対象となった18/66の不完全な軌跡においてリカバリを実行し、そのうち17が後にサポート付きで完了した（H4）。
- コスト: ECTは、コントローラーと比較して高いオーバーヘッド（約0.90回の追加決定ターン、4,653個の追加トークン、および軌跡あたり$0.00246の追加コスト）を伴った。
意義と主張
本論文は、ECTが、宣言された仮定の下で、終端の支持が**検証可能（checkable）**であるメカニズムを確立することを主張している。
- 保証の範囲: システムは、終端の主張が、信頼された契約とアダプターの仮定の下で、結合されたトレースから再構成可能であることを証明する。これは、外部の真実、普遍的なタスクの成功、安全性、またはアライメントを証明するものではない。
- 制御 vs. 監視: 生成（エージェントによる証明書の提案）と認可（決定論的検証器）を分離することで、ECTは、実行中に外部の「正解」に依存することなく、支持されていない完了を防ぐ具体的な型定義済みの終端主張検証器を提供する。
- 謙虚な姿勢: 著者は制限事項についても述べている。これには、生成された世界がデプロイメントのトラフィックをカバーしていないこと、バランスの取れた欠陥が普及率の推定ではなく介入であること、およびクローズド変換言語が任意の意味的推論をカバーしていないことなどが含まれる。本研究は単一のプランナー/モデルスタックと合成ツールに依存しており、機密性の高い資料のため完全な開発リポジトリは公開されていないが、匿名化されたアーティファクトは利用可能である。
結論として、ECTは、エージェントが単に完了したと主張したり、回答がもっともらしく見えたりするから停止すべきなのではなく、停止には信頼された境界内での検証可能な証拠と決定論的なリプレイが必要であることを示している。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録