Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents

技術要約：推論を減らし、検証を増やす（Reason Less, Verify More）

問題：サイレントなポリシー違反による失敗
本論文は、ツールを使用する大規模言語モデル（LLM）エージェントにおける、特定の高リスクな失敗モードである**「サイレントなポリシー違反（silent policy violations）」**を特定している。多くの現実的な環境（具体的には $\tau^2$-bench の航空ドメイン）において、ツールは「ポリシー寛容型（policy-permissive）」である。これは、ツールが構文的に有効な呼び出しであれば、たとえそれがドメインポリシーに違反していても（例：払い戻し不可のチケットのキャンセルや、変更不可能な乗客数の修正など）、その実行を許可してしまうことを意味する。

ツールが呼び出しを拒否して例外を返す「ラウド（騒がしい）」なエラーとは異なり、これらの違反は**「サイレントな誤った状態（silent wrong state）」**をもたらす。データベースは破損し、タスクは失敗するが、エージェントにはエラー信号が届かず、自信を持って成功したと報告してしまう可能性がある。エージェントの内部トレースには違反を示す兆候が含まれていないため、自己修正を行うことができない。著者らは、これは純粋な能力の欠如というよりも、信頼性と信頼性の問題であると主張している。すなわち、エージェントが状態を変化させる前にポリシー・ルールを適用できておらず、かつ環境側がそれらを強制できていないという問題である。

手法：決定論的な実行前ゲート（Deterministic Pre-Execution Gates）
これに対処するため、著者らは軽量な介入策として、**「決定論的な読み取り専用の実行前ゲート」**を提案している。

• メカニズム： 状態を変化させるツール呼び出しが実行される前に、ゲートが提案された引数と現在のデータベースの状態を、ドメイン・ポリシー・ルールの明示的かつ決定論的なエンコーディングに対して検査する。
• 動作： ゲートは純粋関数（LLM呼び出しなし、書き込みなし）であり、allow（許可）または reject（拒否）とその構造化された理由を返す。拒否された場合、ツール呼び出しは遮断（ショートサーキット）され、エージェントには構造化された拒否メッセージが送られ、再計画を強制する。
• 範囲： ゲートは、状態決定可能なポリシー（現在の状態と引数に対する決定論的な述語として表現可能なルール）を対象とする。これらは、実行時に曖昧さを解決したり、自然言語のポリシー文書を解釈したりすることを目的としていない。既にあるコードとしてエンコードされたルールを強制するものである。
• 実装： 著者らは、航空ドメイン向けに4つのゲート・スイートを実装した：
  1. cancellation_eligibility（キャンセル資格）：運賃クラス、タイミング、保険、および搭乗済みセグメントをチェックする。
  2. baggage_allowance（手荷物許容量）：キャビンまたはメンバーシップのルールに基づき、手荷物の更新を検証する。
  3. passenger_count（乗客数）：乗客数の変更試行をブロックする（変更不可）。
  4. must_read_before_write（書き込み前の読み取り必須）：エージェントがレコードに書き込む前に、そのレコードを読み取っていることを確認する。

実験設定

• ベンチマーク： $\tau^2$-bench 航空ドメイン（50タスク）。
• モデル：
  • 予算ティア（Budget Tier）： gpt-4o-mini（各タスク5試行、計250試行）。
  • フロンティア・ティア（Frontier Tier）： gpt-5.2（デフォルトの推論、各タスク5試行、未複製）。
• コントロール（対照群）： ネガティブ・コントロールとして、ツールが自己強制型である小売ドメイン、およびエラーが通常はラウド（構文ベース）である BFCL ベンチマークを含めた。
• 指標： pass1（平均成功率）および pass_k（$k$ 回の独立した試行すべてが成功する確率。信頼性を測定）。統計的有意性は、ペア付きブートストラップ・リサンプリングによって評価された。

主な結果

1. 全体的な改善： 予算モデル（gpt-4o-mini）において、4つのゲート・スイートは pass1 の成功率を 29.6% から 42.0% へと向上させた（+12.4 ポイント）。この改善は統計的に有意であった（$P=0.0012$）。
2. 再現性： この上昇は、互いに独立した15シードの複製セットでも再現された（+12.3pp、$P=0.0008$）。これにより、結果がサンプリングノイズではないことが確認された。
3. 効果の集中： 改善は、実際にゲートが作動した箇所に集中している。ゲートが作動した26のタスクでは、成功率は +19.2pp 上昇した。一方、ゲートが一度も作動しなかった24のタスクでは、改善は無視できる程度であった（+5.0pp、信頼区間にゼロを含む）。
4. 信頼性（pass_k）： ゲートは一貫性を大幅に向上させた。バニラ（標準）の pass5（5試行すべてでの成功）は 8.0% に低下したが、ゲート適用版は 26.0% を維持した（バニラの3倍以上の割合）。
5. フロンティア・モデルの証拠： gpt-5.2 においても、同じゲートによって成功率が 61.2% から 71.6% へと向上した（+10.4pp）。ただし、著者らはこれは示唆的な証拠に過ぎない（未複製、$n=5$）と注記しているが、より強力なモデルにおいてもこの失敗モードが存続していることを裏付けている。
6. ネガティブ・コントロール：
   • 小売ドメイン： ゲートによる恩恵はなかった（わずかなマイナスの点推定値があった）。これは、小売ツールがすでに前提条件を強制しており、「サイレントな誤った状態」というクラスが存在しないためである。
   • BFCL： エラーは通常、サイレントなポリシー違反ではなく、ラウドなスキーマ不一致であったため、ゲートは一度も作動しなかった。

貢献と主張
本論文は、以下の4つの具体的な貢献を行っている：

1. 失敗の特性化： 「ポリシー寛容なツールにおけるサイレントなポリシー違反」を、エージェントがポリシーに違反し、ツールが実行され、かつエラー信号が生成されないという、特有の信頼性の失敗として特定した。
2. 決定論的な介入： 状態決定可能な述語に対して、変異的な呼び出しをチェックする、読み取り専用の実行前ゲートを実装し、評価した。
3. 再現された実証的結果： 4つのゲート・スイートを用いて、$\tau^2$-bench 航空ドメインにおけるタスク成功率の再現可能な上昇を実証した。
4. 境界分析： このメカニズムは、ツールがポリシー寛容であり、かつポリシーが状態決定可能である場合にのみ有効であることを示した。ツールが自己強制型である場合や、タスクがポリシー違反を引き起こさない場合には、ほとんど価値を付加しない。

意義と限界
著者らは、これを一般的な安全性への解決策ではなく、**「限定的な評価と信頼性の結果」**として位置づけている。

• 意義： 本研究は、ポリシー寛容な環境において、アクションの境界における決定論的な検証が、サイレントな失敗の一定割合を回復できることを示している。これにより、サイレントな破損を、エージェントが回復可能な「明示的な拒否」へと転換できる。また、タスクの成功と安全性が必ずしも対立するものではないことを強調している。禁止された書き込みをブロックすることは、最終的なタスクの状態を改善することにつながる。
• 限界：
  • 結果は単一のポジティブなドメイン（航空）に基づいている。汎用性は、ネガティブ・コントロールによって支持された推測に留まる。
  • ゲートはタスクの回復を保証するものではない。拒否された後、エージェントがループに陥ったり、適合する計画を見つけられなくなったりする可能性がある。
  • ゲートの品質にはばらつきがある。一つのゲート（cancellation_eligibility）が大部分の向上をもたらした一方で、他のゲートの精度は低かった。
  • 手法はポリシーが状態決定可能であることを必要とする。法的解釈や人間の判断を必要とするルールを扱うことはできない。
  • フロンティア・モデルの結果は未複製であり、統計的なアンカーというよりは、支持的な証拠として扱うべきである。

本論文は、ベンチマークとデプロイメント・ハーネスは、「ラウド」なエラーと「サイレント」な誤った状態を区別する必要があり、モデルの能力が向上しても、決定論的な検証は依然として価値のあるレイヤーであることを結論づけている。