💻 computer science

Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

この立場論文は、単一の抽象化レイヤーでは同時にこの三つをすべて保証できないため、LLM エージェントの安全な展開は、意味的意図、環境的妥当性、動的実現性という明確な安全次元を強制するために、三層の契約ベースの確率的アーキテクチャを構造的に必要であると主張する。

原著者： S. Bensalem, Y. Dong, M. Franzle, X. Huang, J. Kroger, D. Nickovic, A. Nouri, R. Roy, C. Wu

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： S. Bensalem, Y. Dong, M. Franzle, X. Huang, J. Kroger, D. Nickovic, A. Nouri, R. Roy, C. Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と創造的な比喩を用いて説明したものです。

核心的な問題：一つの安全柵では不十分

あなたが非常に賢いものの、少し予測不能なロボット執事を採用して家を任せると想像してください。あなたは次のようなタスクリストを与えます。「台所へ行き、水を汲み、おばあちゃんのもとへ持っていきなさい」。

この論文は、このロボットを安全に保つためにたった一つの安全チェック（例えば、一つの「停止」標識や、一つの規則集）に頼ろうとすることは、構造的に不可能であると主張しています。その単一のチェックをどれほど賢く設計しても、ある時点で必ず失敗します。なぜなら、ロボットは三つの異なる時点で、三種類の異なる危険に直面するからです。

これは空港の三段階のセキュリティチェックポイントのようなものです。乗客のパスポート、手荷物、そして飛行機の操縦能力を、全く同じ瞬間にすべてチェックすることはできません。順序を追って行わなければなりません。

三層の安全

著者らは、それぞれ異なる時点で異なるものをチェックする、三つの明確な「層」の安全が必要であると提案しています。彼らはこれを三層確率アーキテクチャと呼んでいます。

1. ユーザー層：「意図チェック」（ロボットが動く前）

何をチェックするか： 計画は理にかなっているか？丁寧か？規則に従っているか？
比喩： 出版前にあなたの物語を読む人間の編集者を想像してください。彼らはチェックします。「ロボットに水を運ぶよう頼んだか？はい。おばあちゃんを傷つけるよう頼んだか？いいえ。計画は論理的か？」
なぜ独自の層が必要か： ロボットはまだ動いていません。廊下が塞がっているか、外が雨かどうかも知りません。知っているのはあなたが言ったことだけです。この層は、「カメラを付けて浴室に行け」といった悪い計画を、始めることさえ防ぐ役割を果たします。

2. 運用層：「世界チェック」（ロボットが行動する前）

何をチェックするか： この計画にとって、今の世界は安全か？
比喩： ライブレーダーを見ている航空管制官を想像してください。編集者は「台所へ向かう」という計画を承認しましたが、管制官は廊下に巨大な木が倒れているのを見ています。「止まれ！今はそこへは行けない」と彼らは言います。
なぜ独自の層が必要か： 編集者（第 1 層）は木が見えませんでした。計画が立てられた時点では木が存在しなかったからです。ロボットは、進んでよいかどうかを知るために、現在の世界（センサーやカメラ）を見なければなりません。

3. 機能層：「動作チェック」（ロボットが動いている間）

何をチェックするか： ロボットはその瞬間に安全に動いているか？
比喩： 車内のシートベルトとエアバッグシステムを想像してください。計画が良く、道が空いていても、突然の突風が車を押しやるかもしれません。この層は、衝突を避けるためにロボットの動きを瞬時に修正する物理的なメカニズムです。
なぜ独自の層が必要か： 管制官（第 2 層）は、突然の滑りや、ロボットの前へ飛び出してくる人を今この瞬間に予測することはできません。この層は物理的な現実に対して瞬時に反応します。

なぜこれらを統合できないのか

この論文は、強力な数学的な主張を提示しています：これら三つの層を一つに統合することはできません。

「タイムトラベル」の問題： 「世界」（第 2 層）をチェックするには、世界を見る必要があります。しかし、「意図」（第 1 層）をチェックするには、世界を見る前に行わなければなりません。両方を同時にやろうとすれば、意図のチェックが遅すぎる（ロボットがすでに動き始めてから）か、世界のチェックが早すぎる（実際の世界がどう見えるかを知る前）かのどちらかになります。
「ブラックボックス」の問題： ロボット（LLM）は予測不能です。幻覚を見たり、ミスを犯したりするかもしれません。一つの大きな安全網に頼り、その網に穴があれば、システム全体が失敗します。三つの独立した網を持つことで、一つに穴があっても、他の網がミスをキャッチできる可能性があります。

「契約」システム

著者らは、これらの層が契約を使って互いに話しかけるべきだと提案しています。

第 1 層は、「この計画は考えるには安全だと約束する」と契約に署名します。
第 2 層は、「この世界は入るには安全だと約束する」と契約に署名します。
第 3 層は、「この動作は実行するには安全だと約束する」と契約に署名します。

第 1 層が契約を破れば、第 2 層はチェックする必要すらありません。第 2 層が契約を破れば、第 3 層は即座にロボットを停止させます。これにより、三つの層が連携して働くことで総安全度が生まれる、安全の連鎖が生まれます。

残された課題

この論文は、これが完成品ではなく青写真であることを認めています。実用化するには、まだ三つの大きな障壁を解決する必要があります。

確率の計算： ロボットの行動は毎回変わるため（コイン投げのように一定ではない）、「どの程度安全か」の正確な数学を計算するのは困難です。
変化する規則： ロボットの環境が変化した場合（例えば、家具が移動した場合）、システム全体を壊すことなく、安全規則が円滑に変更される必要があります。
チームワーク： このシステムは単一のロボット向けに設計されています。ロボット同士が会話するチームの場合、互いに欺き合う可能性があり、それに対する安全層はまだ存在しません。

まとめ

この論文はこう述べています：AI ロボットのための一つの巨大な「安全シールド」を作ろうとするのをやめなさい。 その代わりに、特定の順序で機能する、三つの独立した専門的なシールドを構築しなさい。

計画をチェックする（アイデアは良いか？）
世界をチェックする（環境は安全か？）
動作をチェックする（動きは安全か？）

これらのチェックを分離することによってのみ、AI ロボットが誰かを傷つけることがないことを真に保証できます。

技術的サマリー：安全な LLM エージェント展開のための 3 層確率的仮定 - 保証アーキテクチャ

1. 問題定義

安全クリティカルな環境における大規模言語モデル（LLM）エージェントの展開は、単一層の強制メカニズムでは解決できないランタイム保証の構造的課題を提示する。静的なテキスト生成とは異なり、LLM エージェントは生成されたプランが物理世界と将来の観測に影響を与える閉ループ実行に従事する。本論文は、安全な運用には、3 つの明確な次元の同時充足が必要であると主張する。

意味的意図とポリシー準拠: ユーザー指示、倫理的制約、およびドメイン規則との整合性。
環境的妥当性: 現在の世界状態が運用設計ドメイン（ODD）内にあることの検証。
動的実現可能性: 実行軌跡が物理的安全制約（例：衝突回避、力制限）を満たすことの保証。

核心的な問題は、これら 3 つの次元が、実行の異なる段階で利用可能になる厳密に異なる情報セットに依存している点にある。意味的意図は a priori（事前に）知られるが、環境的妥当性は 実行時 のセンサーデータが必要であり、動的実現可能性は 実行中 の制御ループ軌跡に依存する。本論文は、これら 3 つの次元を単一の抽象化層に縮退させるいかなるアーキテクチャも、いかなる単一のガードレールも 3 つすべてに必要な情報に同時にアクセスできないため、少なくとも 1 つの次元が未認証のままになる必然性があると仮定する。ベンチマーク（例：AgentSafetyBench）からの実証的証拠はこれを支持し、安全失敗は純粋な意味的制御の及ばない環境的および物理的次元に集中していることを示している。

2. 手法：3 層契約ベースアーキテクチャ

この構造的不足に対処するため、本論文は3 層確率的仮定 - 保証（A/G）アーキテクチャを提案する。この枠組みは、安全性を決定論的証明ではなく、各層がその段階で利用可能な情報に基づいて特定の安全次元を強制する確率的契約の構成として扱う。

このアーキテクチャは、それぞれが契約 $\Sigma_i = (A_i, \Gamma_i)$ によって定義される 3 つの逐次的に構成された層からなる。ここで、 $A_i$ は入力に関する仮定、 $\Gamma_i$ は出力に関する確率的保証である。

層 1: ユーザー保証層（ $\Sigma_U$ ）
- 情報セット（ $I_U$ ）: ユーザー意図、ポリシー、役割メタデータ、および倫理規則。世界観測は利用できない。
- 機能: 生成されたプラン $p$ を意味的整合性（認知的、規制的、倫理的）およびユーザー承認に対して検証する。
- 契約: 要求が承認された場合（ $A_U$ ）、この層はプランが承認された場所のみをターゲットとし、ポリシー違反を含まないことを保証する（ $\Gamma_U$ ）。この保証は次の層の仮定として機能する。
- メカニズム: 非公式の意図とポリシー制約を形式化するためにニューラル記号法を使用する。
層 2: 運用保証層（ $\Sigma_O$ ）
- 情報セット（ $I_O$ ）: 推定された世界状態 $\hat{w}$ 、センサーデータ $\xi$ 、および ODD 仕様。
- 機能: エージェントが現在の世界状態で行動する資格があるかどうかを判断し、自律性エンベロープ（例：速度制限、許可された行動）を定義する。
- 契約: プランがユーザー層を通過したと仮定して（ $A_O \equiv \Gamma_U$ ）、この層は実行が ODD（ $W_{ODD}$ ）内に留まり、ODD 制約に違反するサブプランがブロックされることを保証する（ $\Gamma_O$ ）。
- メカニズム: 上流の確率的不確実性を処理しつつ、監査可能性を確保するために世界状態推定に対する決定論的妥当性チェックを採用する。
層 3: 機能保証層（ $\Sigma_F$ ）
- 情報セット（ $I_F$ ）: 完全な状態軌跡 $x(t)$ 、制御入力 $u(t)$ 、およびシステムダイナミクス。
- 機能: 作動中の制御ループ周波数で安全性を強制する。
- 契約: 運用層の妥当性を仮定して（ $A_F \equiv \Gamma_O$ ）、この層は衝突の不存在と物理的制約（例：力制限）への準拠を保証する（ $\Gamma_F$ ）。
- メカニズム: 仕様ベースのランタイム監視（信号時相論理）、最小介入のための制御バリア関数（CBF）、およびシミュレーションベースの合成を組み合わせる。

構成的安全性境界:
システムレベルの安全性確率は、確率の乗法定理を通じて導出される。 $\Gamma_U \implies A_O$ かつ $\Gamma_O \implies A_F$ であるため、システム安全性の確率は以下の通りである。
$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$
ここで、 $p_{O|U}$ および $p_{F|OU}$ は上流フィルタリングの有効性を反映する条件付き確率である。本論文は、この境界の 4 つの特性（B1–B4）を提供する。これらは、周辺分布のみを使用する保守的なフレシェ - ボンフェローニ下限から、モジュール式かつ層ごとの認証を可能にする正確な乗法定理分解（B4）までを含む。

3. 主要な貢献

3 層の構造的論証: 本論文は、3 つの独立して認証された段階が構造的に必要であるという形式的証明（付録 B）を提供する。3 層未満のアーキテクチャは、情報の利用可能性の因果的タイムラインに違反する（例：センサーデータが存在する前に運用安全性を認証する）か、単一のコンポーネント内で 3 段階構造を暗黙的に再構築して構成的検証可能性を失う必要があることを実証する。
情報駆動分解: 従来のパイプラインアーティファクト（例：目標、プラン、ツール）に基づく分類とは異なり、このアーキテクチャは情報の利用可能性の時間的順序（ $I_U \subset I_O \subset I_F$ ）によって駆動される。この区別により、各段階での認証が正しい情報ドメインに依存することが保証される。
確率的仮定 - 保証枠組み: 本論文は、LLM エージェントの非定常かつ非 i.i.d. な性質に合わせて A/G 契約を適応させる。LLM の出力は本質的に確率的であり、環境は不確実であることを認識し、二元的保証を超えて確率的境界へと移行する。
双方向保証ループ: このアーキテクチャは、安全信号（ $s_F, s_O$ ）が下から上へ伝播するライブループとして設計されている。下層が違反（例：衝突リスク）を検出すると、単に実行を停止するのではなく、ユーザー層でプランの再計算をトリガーする。

4. 結果と分析

位置付け論文として、この研究は新しい実証的ベンチマークを提示するのではなく、構造的な主張を支持するために既存の文献を統合する。

ベンチマークの整合性: 本論文は、現在のエージェント（例：AgentSafetyBench 上）が、コンテンツ安全性（68.4%）と比較して、行動および環境的安全性（30.4%）において著しく失敗していることを指摘し、単一層の意味的ガードレールでは不十分であるという主張と一致している。
理論的境界: 本論文は、システム安全性の数学的境界（B1–B4）を導出する。介護ロボットという進行中の例を通じて、上流フィルタリングが効果的であれば、周辺分布の単純な積（0.787）と比較して、乗法定理境界（B4）が著しく高い安全性確率（例：0.857）をもたらす可能性があることを示す。
感度分析: 分析により、システムは最も弱い層に敏感であることが示された。1 つの層の確率が低下すると、乗法的にシステム全体の境界が低下し、他の層の強化はいかなる層のギャップも補うことはできない。

5. 意義と未解決問題

本論文は、提案された 3 層アーキテクチャが、安全な LLM エージェント展開のための最小 viable 認証構造であると主張する。この分野は、それらを構成し認証するための理論的インフラストラクチャよりも速い速度で安全メカニズムを生産していると論じている。

本論文は、この理論的枠組みから展開可能な標準へ移行するために解決されなければならない 3 つの未解決問題を明示的に特定している。

非 i.i.d. 軌跡からの境界推定: LLM 軌跡は非定常かつ依存しているため、PAC 境界などの標準統計手法は失敗する。条件付き確率 $p_{O|U}$ および $p_{F|OU}$ を推定するには、新しい手法（例：マルチンゲール境界、非交換データに対するコンフォーマル予測）が必要である。
展開ドリフト下での円滑な劣化: 現在の契約は脆く、仮定が違反されると保証は空虚になる。本論文は、仮定がわずかに違反された場合に保証が比例的に劣化することを許容する「堅牢な契約」を提案し、分布シフト中の制御された運用を可能にする。
マルチエージェント設定への拡張: 現在の枠組みは単一エージェントを対象としている。マルチエージェントシステムは、エージェント間メッセージの由来（4 つ目の情報ドメイン）と改訂された認証構造を必要とする新しい失敗モード（例：エージェント間信念の操作）を導入する。

結論として、本論文は、安全な LLM エージェントの展開が、単に強力なガードレールを構築するエンジニアリングの課題ではなく、情報の因果的順序を尊重する段階的かつ契約ベースのアーキテクチャの構造的要件であると断言する。提案された枠組みは、動的で不確実な環境におけるモジュール式かつ構成的な安全性認証のための必要な理論的基盤を提供する。