技術要約：信頼できないAIエージェントのための認証付き投機的実行

1. 問題提起

学習済みポリシーや凍結された大規模言語モデル（LLM）を含む現代のAIシステムは、計算コストを低く抑えつつ、決定のシーケンス（ドラフト）を生成できる。しかし、これらの「信頼できない」エージェントを、ハード制約のある逐次決定システム（例：エネルギー管理、ユニットコミットメント）にデプロイする場合、根本的なジレンマが生じる：

• 直接実行: AIのドラフトに基づいて直接行動することは、安全性の保証を放棄することを意味する。例えば、凍結された12BパラメータのLLMは、バッテリー管理タスクにおいて、エピソードの98%で制約に違反するアクションを提案した。
• 段階的な委譲: 信頼できる高コストなソルバー（例：LP/MILPオプティマイザ）を毎ステップ呼び出すことは、安全性を確保するが、AIが提供するスピードと効率性を損なう。なぜなら、ソルバーがクリティカルパスに残り続けるからである。

LLMにおける投機的デコーディングのような既存の手法は、確率分布に対してトークンを検証するが、制御設定におけるハードな実現可能性制約や決定の質（後悔/regret）には対処していない。AIのドラフトを利用してスピードを確保しつつ、厳格な安全性と監査可能なパフォーマンス保証を維持するレイヤーが必要とされている。

2. 手法：証明付きゲート付きプレフィックス受理 (CGPA)

本論文では、安全性、後悔、および速度を分離するために設計された、認証付き投機的実行契約である**証明付きゲート付きプレフィックス受理（Certificate-Gated Prefix Acceptance: CGPA）**を提案する。このシステムは、薄い信頼されたコアと、信頼できない提案ソースで構成される。

2.1 システムアーキテクチャ

CGPAコントローラは、タプル $(D, \text{Verify}, \hat{V}, \pi_F)$ である：

1. 信頼できない提案ソース ($D$): ルールベース、学習済み、またはLLMベースのエージェントであれば何でもよい。これは長さ $K$ のアクション・プレフィックス $u_{0:K-1}$ を提案する。
2. 信頼された検証器 (Trusted Verifier): 提案されたプレフィックスをシステムのダイナミクスとハード制約に対してシミュレーションする。実現可能性に違反する遷移はすべて拒絶する。
3. 信頼された価値境界 ($\hat{V}$): コスト・トゥ・ゴー（将来のコスト）を推定する軽量な学習済み価値関数（例：5分位点MLP）。これは「価値ガード」として機能し、受理されたプレフィックスが安全であるだけでなく、経済的にも実行可能であることを保証する。
4. 信頼されたオラクル ($\pi_F$): 提案が拒絶された場合に、安全な修復アクションを提供するフォールバック・ソルバー（例：MILP）。

2.2 受理/延期メカニズム

各状態 $s_t$ において、システムは以下のロジックを実行する：

• ソース $D$ が $K$ 個のアクションを提案する。
• 検証器が実現可能性をチェックする。ステップが安全でない場合、プレフィックスは最後の安全な状態まで切り詰められる。
• 価値ガードは、以下を満たす最長の検証済み安全プレフィックス $k$ を選択する：
  $$g(s_t, u_{0:k-1}) + \hat{V}(s_{t+k}) \leq \hat{V}(s_t) + \tau |\hat{V}(s_t)|$$
  ここで、$g$ は実現されたプレフィックスのコスト、$\tau$ は許容パラメータである。
• コミットメント: $k > 0$ の場合、システムは $k$ ステップのプレフィックス全体をコミットする。$k = 0$ の場合、単一ステップの実行のためにオラクルへ委譲する。

2.3 理論的保証

CGPAは、提案ソース $D$ に関わらず、以下の2つの構造的不変量を提供することを確立している：

1. 適用された安全性 (命題 1): 実行されるすべての遷移は実現可能である。安全性は、提案ソースではなく、信頼された検証器とオラクルのみに依存する。
2. 後悔の証明書 (証明書 2): システムは、逐次的なオラクルに対する超過コスト（後悔）を制限する。後悔の境界は以下の通りである：
   $$J_{CGPA} - J_F \leq \sum_{i \in A} \tau_i |V(s_i)| + (2 + \tau_{\max})\epsilon |A| + \sum_{j \in R} \rho_j$$
   決定的なことは、境界誤差 $\epsilon$ はステップごとではなく、受理されたセグメントごとに一度だけ課されることである。これにより、システムは高価なオラルのコストを複数のステップにわたって償却（アモチゼーション）することができる。

2.4 コンフォーマル較正

学習された価値境界 $\hat{V}$ の不確実性を扱うために、著者らは**スプリット・コンフォーマル較正（split-conformal calibration）**を採用している。彼らは、中央バンドとテールのレベルを出力する分位点回帰モデルを訓練する。誤差境界 $\epsilon(s)$ は、これらの分位点の広がり（$\hat{V}_{0.9} - \hat{V}_{0.1}$）から導出され、ホールドアウトデータ上で較正される。これにより、分布シフトが発生した場合でも、高い確率（例：95%の信頼区間）で後悔の証明書が保持されることが保証される。

3. 主な貢献

1. 認証付き投機的実行契約: CGPAは、投機的実行の原理をハード制約付き制御に適応させ、「インテリジェンス（信頼できないソース）」と「保証（信頼されたコア）」を分離した初めてのフレームワークである。
2. 構造的デカップリング: 本論文は、安全性と後悔がデカップリング可能であることを証明している。安全性は検証器が担い、後悔は学習可能な較正済み価値境界によって管理される。
   এটিকে。
3. 制御のためのコンフォーマル較正: 価値境界へのコンフォーマル予測の統合により、仮定された誤差ではなく、測定された誤差 $\epsilon$ を用いた前向きの後悔保証が可能となり、制御における誤差の管理を実現している。
4. 敵対的ソースに対する堅牢性: 本フレームワークは、安全性や保証を損なうことなく、敵対的なエージェントや異種混合のLLMを含む、任意の提案ソースを扱えるように設計されている。

4. 実験結果

著者らは、バッテリーエネルギー管理（EMS）、CityLearn（HVAC）、およびユニットコミットメント（UC）の3つのドメインでCGPAを評価した。

4.1 安全性とゼロ・バイオレーション

• 敵対的およびLLMソース: 敵対的なドラフターおよび6種類の異種混合の凍結LLM（制約違反率98%のGemma-4-12Bを含む）に対してテストした際、CGPAはゼロの適用違反を達成した。
• ホワイトボックス敵対者: 検証器とダイナミクスの全知識を持つホワイトボックス適応型敵対者に対しても、CGPAはオラクルへ委譲することで、安全性の侵害ではなく、償却率の低下（コール減少率の低下）として攻撃を吸収し、ゼロの違反を維持した。

4.2 後悔の削減

• 学習済み境界: コンフォーマルに較正された学習済み境界を使用することで、ガードなしの受理（例：EMSにおける0.445）と比較して、平均後悔を3桁減少させた（0.0002へ）。
• オラクルへの近接性: CGPAの平均後悔は、逐次的オラルのサンプリングノイズの範囲内（95%信頼区間がゼロを跨ぐ）であり、高価なソルバーの呼び出しをスキップしながら、その性能を事実上一致させた。
• 分布シフト: カレンダーシフト（CityLearn）の下で、学習済み提案ソースは、18日間のホールドアウト期間のうち15日間で逐次的オラブルを上回る性能を示した。これは、システムが優れた信頼できないソースを活用してベースラインを上回ることができることを示している。

4.3 スピードと償却

• ウォークロック・スピードアップ: 展開規模のユニットコミットメント・インスタンス（48ステップのホライゾン、MILPオラクル）において、凍結されたQwen3-8B LLMを使用したCGPAは、2.1%の後悔で2.96倍の回帰エピソード・ウォークロック・スピードアップを達成した。
• 比較: これはドメイン・ヒューリスティック（1.79倍）およびセーフ・リシーディングホライゾン・ベースライン（1.07倍）を上回った。
• スケーラビリティ: スピードアップはオラルのコストに応じてスケールする。1コールあたりのオラルのコストが増加するにつれ、CGPAのスピードアップは増大したが（最大2.67倍）、イベントトリガー型やムーブブロッキング型のコントローラは1.0倍付近に留まった。

5. 意義と主張

本論文は、CGPAが信頼できないAIを安全なシステムにデプロイするための汎用化可能な、認証されたレイヤーであることを主張している。その意義は以下の点にある：

• 信頼できないAIの活用: 強力で、かつヘテロジニアスで、潜在的に欠陥のあるAIモデル（LLMを含む）を、ハードな安全性保証を犠牲にすることなく使用することを可能にする。
• 妥協のないパフォーマンス: 高価なソルバーの呼び出しをスキップすることでスピードアップを実現しつつ、最適な逐次的ソルバーと同等の後悔レベルを維持する。
• 堅牢性: 保証は構造的であり、提案ソースの品質には依存しない。システムは、致命的な失敗ではなく、オラルの呼び出し頻度を増やすことで、緩やかに性能を低下させる（グラデーションのある劣化）。
• 実用的なデプロイメント: フレームワークは現実世界の規模の問題（ユニットコミットメント）で検証されており、「信頼できないソースがより有能であれば、認証されたシステムはより速くなる」ことを示している（ただし、安全なコアが維持されている限り）。

著者らは、これが、安全性が決して信頼できないソースから問い合わせられることのない、後悔が測定可能でコンフォーマルに較正された証明書によって制限される、認証されたアプローチであることを強調している。