💻 computer science

Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers

本論文は、パブリックレジャー上で不可逆的な状態遷移を行う自律エージェントの「実行忠実度（execution fidelity）」を保証するために、実現された効果がヌルであるか、あるいはユーザーが提示した遷移と正確に一致することを保証する4次元形式論および7つの派生安全不変量を導入するものであり、このフレームワークは、敵対的な環境において標準的なベースラインよりも安全性を大幅に向上させることが経験的に検証されている。

原著者： Zhaoming Yin

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhaoming Yin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが少しおっちょこちょいなロボット執事に、一連の雑務リストを手渡しているところだと想像してください。あなたはこう言います。「私の貯金箱から貯金瓶へ、お小遣いを移動させてください」。コンピュータサイエンスの世界では、これは**自律エージェント（autonomous agents）の領域です。これらは人工知能を使用して、自ら意思決定を行い、行動を起こすソフトウェアプログラムです。通常、これらのエージェントは質問に答えたり物語を書いたりすることには長けていますが、お金を動かしたり、ファイルを保存したり、電気をつけたりといった、現実の世界に触れる方法を学び始めたばかりです。問題は、一部の動作が不可逆的（irreversible）**であることです。一度誰かに送金したり、ファイルを削除したりすると、もう「元に戻す」ボタンを押すことはできません。もしロボットがあなたの命令を誤解したり、インターネットの不具合が発生したりすれば、あなたはすべてを失ってしまうかもしれません。この論文は、恐ろしい問いに取り組んでいます。「どうすれば、ロボットがあなたを助けようとして、あなたのお金を誤って燃やしてしまうことがないようにできるだろうか？」

この論文の著者は、これらのデジタル執事のための安全システム、具体的にはブロックチェーン（お金や資産が保管される公開台帳）の世界のためのシステムを構築しています。著者は、既存の安全チェックはあまりにも曖昧すぎることに気づきました。単にロボットが「正しく理解すること」を期待するのではなく、厳格な数学的ルールブックを作成したのです。彼らは、言語が曖ло（曖昧）であるために、ロボットに人間の「意図」を完璧に理解させることはできないと証明しましたが、ロボットが**「何もしない」か、あるいは「約束したことを正確に、かつ一度だけ行う」**かのどちらかを保証することは可能であると証明しました。彼らはこれを「実行忠実度（execution fidelity）」と呼んでいます。これは魔法の契約のようなものです。もしロボットが「10ドル移動させる」と言ったら、正確に10ドルを移動させるか、あるいは0ドルを移動させるかのどちらかです。100ドルを動かすことも、2回繰り返すことも、間違った人に送ることもできません。もしロボットが混乱したら、システムは推測して惨事を引き起こすのではなく、動きを止めて助けを求めるように強制します。

4次元マップ

この保証を可能にするために、著者はデジタルウォレットの新しい捉え方を考案しました。単に「いくらお金を持っているか」と考えるのではなく、あらゆるトランザクションを4次元のグリッド上にマッピングします。すべての行が、以下の4つの座標によって定義される、あなたのお金の特定の状態となっている巨大なスプレッドシートを想像してください。

ウォレット（Wallet）: どの鍵（あなたのアイデンティティ）がお金を所有しているか。
チェーン（Chain）: お金がどのデジタルハイウェイ（Ethereum、Bitcoin、Solanaなど）の上にあるか。
アドレス（Address）: そのハイウェイ上の特定のメールボックス。
プロトコル（Protocol）: お金がどのような種類の資産やゲーム（USDC、ブリッジトークン、ステーキングされた派生商品など）に従事しているか。

論文では、これら4つの座標すべてを知らなければ、安全にお金を移動させることはできないと主張しています。もし3つしか知らなければ、ビットコインを、Ethereumチェーン上には存在しないビットコインアドレスに送ってしまったり、全く別のウォレットに送ってしまったりする可能性があります。トランザクションをこの4次元グリッド上の精密な移動として扱うことで、システムは数学的な確実性を持って「前後」の状態をチェックできるのです。

7つの安全ルール（不変条件）

この論文の核心は、ロボットが従わなければならない7つの安全ルール（不変条件と呼ばれるもの）です。これらは単なる提案ではなく、ルールが満たされない限りロボットの行動を阻止する、ハードコードされたゲートです。それらがどのように機能するかを日常的な言葉で説明します。

「見せて」ゲート: ロボットがお金に触れる前に、計画している正確な動きのプレビューをあなたに見せなければなりません。あなた（または厳格な自動チェック）が、その特定のプレビューに対して「はい」と言わなければなりません。ロボットは単に「やります」と言っておいて、実際には違うことをすることはできません。
「残高確認」ゲート: ロボットがトランザクションに署名する直前に、キャッシュされた古い数字ではなく、ブロックチェーン上の「実際の」残高を確認しなければなりません。もしお金がそこに存在しなければ、ロボットは停止します。これにより、ロボットが、一瞬前に消えてしまったお金を使おうとするのを防ぎます。
「様子見」ルール: ロボットはトランザクションを送信した後、ブロックチェーン上で結果を確認できない限り、すぐに「成功！」とは言いません。インターネットが遅かったりブロックチェーンが混雑していたりする場合、ロボットは「完了しました！」と言う代わりに「まだ分かりません」と言います。これにより、即時の返答が得られないからといって、ロボットがパニックを起こして何度も送金しようとするのを防ぎます。
「ゴースト成功なし」ルール: もしロボットがレシート（トランザクションID）を受け取ったとしても、ブロックチェーンにその動きが記録されていなければ、ロボットは失敗を認めます。お金がまだあなたのポケットの中にあるのに、「送信済み！」と嘘をつくことは拒否します。
「IDバッジ」ルール: ロボットがあなたの代理で行動している場合（自動貯蓄ボットなど）、そのロボットが何を行えるかを明記したデジタルIDバッジを着用していなければなりません。もしバッジに「転送のみ」と書かれていれば、たとえトリッキーなプロンプトによって混乱したとしても、ロボットは「スワップ」や「ブリッジ」を行うことはできません。
「再試行前の検証」ルール: もしロボットが動作に失敗したと考えても、すぐに再試行することはできません。まず、その動作が「行われなかった」ことを証明するために、ブロックチェーンをチェックしなければなりません。もし動作が実際に行われていた場合（ロボットがそれを知らなかっただけの場合）、ロボットは二度目の送信を行うことが禁じられます。これにより、誤って「二重支払い」をしてしまうのを防ぎます。
「ワンメッセージ」ルール: もしインターネットの不具合で同じリクエストが2回送られてしまった場合（ダブルクリックのようなケース）、システムはそれを重複として認識し、無視します。これにより、ネットワークの不具合があっても、ロボットは一度だけ行動することを保証します。

彼らが発見したこと（そして発見できなかったこと）

著者は、ロボットを騙そうとする「悪役」シミュレーターを使用して、これらのルールをテストしました。彼らは60個のトリッキーなシナリオのデータセットを用い、4つの異なるAIモデルに対してテストを行いました。

大きな勝利: 行動に積極的な（「書き込みに積極的」と呼ばれる）2つのAIモデルにおいて、これら7つの安全ルールを追加することで、成功率が約74パーセントポイント向上しました。ガードのないロボット（ルールなし）はほとんどのケースで失敗しましたが、ガードされたロボットはほとんどのケースで成功しました。
注意点: 本来は慎重で行動をためらう性質を持つ1つのAIモデルでは、安全ルールによる改善はわずか3パーセントポイントでした。これにより、エージェントの安全性は、その下にどのような「AIの脳」があるかに大きく依存するという重要な教訓を著者は得ました。安全レイヤーは、あまりに積極的な脳を修正することはできず、また、すでに慎重すぎる脳を修正する必要もありません。
実世界の証明: このシステムは単なる理論ではありません。著者はこれを実世界に展開し、8つの異なるブロックチェーンにわたる108件の実際の書き込み操作を追跡しました。彼らは、インターネットがトランザクションについて嘘をついたケース（「ファントム成功」）などの実世界の失敗を観察し、自分たちのルールがいかにそれらを捉えたかを示しました。例えば、あるロボットが、トランザクションが成功したのに失敗したと思い込み、200ドルを二重に支払おうとしたケースがあり、安全ルールがその2回目の試みを阻止したことが確認されました。

魔法の限界

この論文は、自身ができることとできないことについて非常に正直です。著者は、ロボットがあなたの「意図」を理解したかどうかを保証することはできないと明示しています。もしあなたが「私のお金をすべて月に送って」と言い、ロボットが詐欺師に送ったとしても、システムは完璧に機能します。つまり、指示された通りに、正確に一度だけ実行します。安全システムは、ロボットが「賢いアドバイザー」になることを保証するのではなく、**「忠実な実行者」**であることを保証するのです。それは、ロボットがプロセスの中で「ミス」をしないようにするものですが、ロボットが悪質な命令に従うことを止めるものではありません。

著者はまた、インターネット接続が長時間切断された場合や、AIモデル自体がシステムが想定していない方法で挙動を変えた場合、安全性の保証が停止することも認めています。彼らは、これら7つのルールが、ロボットが技術的なエラー（二重送信や誤ったアドレスへの送信など）を起こすのを防ぐには十分であることを証明しましたが、「これが良いアイデアかどうか？」という最終的な責任は、依然として人間にあります。

要するに、この論文は「どうすれば人間のように考えるロボットを作れるか？」という問題の解決策ではありません。その代わりに、「どうすれば、ロボットがロボットらしく振る舞い、かつ実行中に決してミスをしないようにできるか？」という問いに答えています。デジタルマネーという混沌とした世界を精密な4次元マップへと変え、7つの壊れないゲートを築くことで、彼らは「最初に悪いことを頼まない限り、失敗することはない」というシステムを作り上げました。そして、それこそが私たちが望みうる最善の安全性であると、彼らは主張しています。

技術要約：不可逆的な状態遷移をオーケストレートするエージェントのための安全性不変量（Safety Invariants）

問題提起

確率的プランナー（LLM）に基づく自律型エージェントは、パブリックレジャー上での資金移動、永続的ストレージへの書き込み、あるいはハードウェアの駆動など、外部システムに対する不可逆的な効果を生み出すタスクをますます多く担うようになっている。既存のフレームワーク（ReAct、Reflexion、MCPなど）はベンチマークにおけるタスク成功率の最適化に特化しているが、不可逆的なサイドエフェクトの安全性についてはほとんど無視されている。

核心となる課題は、実行時レイヤーが、生成された遷移が自然言語によるユーザーの意図（「意図マッピング」問題）を忠実に表現しているかどうかを確定的に判断できないことである。しかし、本論文は、意図のマッピングは未解決の問題であるが、その意図の「実行」自体は厳密に制御可能であると主張している。このような制御がない場合、エージェントは以下の特定の失敗モードに陥る：

RPCレベル: 「ファントム成功（Phantom success）」（RPCがハッシュを返したが後に取り消される）または「ファントム失敗（Phantom failure）」（正当なトランザクションが着金しているにもかかわらず、検証ウィンドウが短いために失敗として報告される）。
LLMレベル: 「停滞したコンテキストのドリフト（Stale-context drift）」（例：グラウンドトゥルースが変化した後も、エージェントが「ユーザーはアカウントを持っていない」といった古い結論を繰り返す）。
取引所/APIレベル: 「文書化されたアトミシティのドリフト（Documented-atomicity drift）」（例：キャンセル・アンド・リプレイスとしてアトミックとされるアクションが、拒絶時に部分的にのみ実行され、ユーザーを安全でない状態に置く）。
運用面: 重複配送や、ウォレット選択の誤マッピングによる意図しない二重支払い。

メソドロジーと形式化

4次元状態空間

本論文では、ウォレット操作を4次元空間 $S = W \times C \times A \times P$ における状態遷移として定式化している：

$W$ (Wallet): 資金を制御するニーモニック/シード。
$C$ (Chain): ブロックチェーンネットワーク。
$A$ (Address): そのチェーン上の特定のドレス。
$P$ (Protocol): 特定のトークン、コントラクト、またはオフチェーンアカウント（例：Arbitrum上のUSDCとHyperliquid上のperp-USDCの違い）。

遷移 $\tau$ は、境界集合のクアドルプル（4つの要素の組）における残高を修正する部分関数である。決定的なことに、この形式化では、単一の遷移に対してウォレット ( $W$ ) を固定された座標として扱う。これにより、システムは「資金不足」（有効な状態チェックの失敗）と「誤ったウォレット選択」（エージェントが誤った $W$ を選択した致命的なエラー）を区別できる。これは低次元モデルでは失われてしまう区別である。

実行忠実度（Execution Fidelity）

本論文では、実行忠実度を、「任意のセッション $\sigma$ について、レジャー上に実現された効果 $real(\sigma)$ が以下のいずれかである」という保証と定義する：

何も起こらない ( $\emptyset$ )
または、ユーザーに提示された遷移 $\tau_p$ と全く同一の遷移が、正確に一度だけ実行される。

この定理は、 $\tau_p$ がユーザーの自然言語の意図と一致することを主張するものではない。むしろ、意図のマッピングという無制限な意味論的問題を、「4つの座標のタプルと金額が、プレビューされたものと一致するか？」という有界で決定可能なチェックへと還元している。

7つの安全性不変量（Seven Safety Invariants）

忠実度の条件（未提示の実行、重複実行、および派生した差異の防止）に基づくケース解析を通じて、システムは以下の7つの不変量を強制する：

確認ゲート（Confirm Gate / Executor-local）: 提示された遷移タプルに対して明示的な確認が記録されるまで、署名鍵は生成されない。これにより、不可逆的なステップに進む前に、システムは単一の点 $S$ へのコミットを強制される。
事前状態の十分性（Pre-state Sufficiency / Executor-local）: 署名の直前に、グラウンドトゥルースの残高チェック（最終的な一貫性を待つキャッシュをバイパスしたもの）が行われ、ブロードキャスト時に遷移が適用可能であることを確認する。
事後状態の観測可能性（Post-state Observability / Executor-local）: ブロードキャストの結果が限定されたウィンドウ内に観測できない場合、システムは「失敗」ではなく「不確実性」を報告し、誤ったリトライのトリガーを防ぐ。
ファントム成功の防止（No Phantom Success / Executor-local）: トランザクションがインデクサーまたはRPCによってチェーン上の存在が検証されない限り、成功として報告されない。
スコープ化された委任（Scoped Delegation / Cross-tier）: 非人間呼び出し手（アバター）は、委任トークンから派生した明示的なスコープセット（例：{transfer}）の下で動作する。エキゼキューターは、呼び出しが要求された遷移をカバーするスコープを持っている場合にのみ、コールを許可する。これにより、認証と認可を分離する。
プランレベルのリトライ安全性（Plan-level Retry Safety / Plan-level）: アバターは、失敗または不確実性が報告された後、その遷移の効果が「存在しない」ことをグラウンドトゥルースの状態を通じて肯定的に検証するまで、不可逆的な遷移を再発行してはならない。
イデムポテント・インテント・レシーバー（Idempotent Intent Receiver / HTTP Receiver）: At-least-once（少なくとも1回）チャネル経由で到着する外部の意図は、送信者IDとリクエストバイトのハッシュによって重複排除され、単一のユーザー意図が単一の遷移タプルを生むことを保証する。

主な貢献

リスクの形式的還元: プランナーの誤マッピング、曖昧な結果、およびリトライを許容するフォールトモデルの下で、これらの7つの不変量が、残存するリスクを「意図マッピング」という単一の述語に限定することを証明した。その他のすべての失敗モードは、効果を発生させない状態へと強制される。
不変量の導出: 経験から安全ルールを列挙する従来の手法とは異なり、これらの不変量は実行忠実度の定義から論理的に導出されており、定義されたフォールトモデルに対する完全性が保証されている。
マルチティア・アーキテクチャ: 論文では、アバター層（ユーザーに代わって行動する永続的なエージェント）とエキゼキューター層（ウォレットサービス）を持つ、デプロイ済みの cryptitalk-wallet について記述している。このアーキテクタは、アバターと人間を、スコープ付き委任トークンによって保護された、エキゼキューターの視点からは交換可能な呼び出し手として扱う。
評価に関する方法論的議論: 安全性の評価は、背後にあるモデル（LLM）に強く依存すると主張している。安全スタックの価値は、そのモデル固有の攻撃性（aggressiveness）の関数であるため、単一のモデルでスタックを評価することは「反証不可能に近い」としている。

実証結果

制御された敵対的スイート ( $N=60$ )

システムは、特定された失敗クラスを標的としたラベル付きの敵対的プロンプト・スイートに対し、4つのバックエンドモデルを用いて評価された：

書き込みに攻撃的なモデル (Claude, MiniMax): フル・インバリアント・スタックは、ベースラインのReActアプローチ（例：Claudeにおいて81.7% vs 10.2%）に対し、合格率を約74パーセントポイント向上させた。
書き込みに慎重なモデル (Gemini): スタックによる合格率の向上は約3ポイント（60.0% vs 56.7%）にとどまった。これは、モデル自体が曖昧なプロンプトに対して書き込みツールを拒否したためである。
アブレーション研究: コードゲートの不変量（I1, I3, I5, I6, I7）を無効にすると、特定の失敗クラスにおいて合格率がほぼゼロまで崩壊し、各ゲートが負荷を支える構造であることを裏付けた。ツールレベルのアブレーション（I2, I4）は、エージェントの推論が単一ツールの除去を吸収することがあるため、影響は小さかった。

本番環境へのデプロイ

システムは、8つのチェーンと8つの遷移プリミティブにわたって、108件の本番書き込み操作を実行した。

失敗の分類学: デプロイメントの記録は、失敗の分類学を検証した。「ファントム成功」、「プレビューゲートのバイパス」、「誤ったウォレット選択」、「重複したWebhook配信」などのインシデントが観測された。
アバター・フリート: 87件のDCA（ドルコスト平均法）実行のフリートにおいて、32%が成功し、32%が人間へエスカレーションされ、24%がエラー（正しく表面化）となり、11%が中断された。極めて重要なことに、インバリアント6のデプロイ後、重複したオンチェーン遷移は一度も発生しなかった。 これは、ファントム失敗によって400 USDTの二重支払いが現実化したデプロイ前のケーススタディとは対照的である。

意義と主張

本論文は、実行忠実度が、意図のマッピングが未解決であっても、不可逆的な状態に作用する自律型エージェントにとって扱い可能な安全性特性であることを主張している。意図のマッピングという無限の問題を、4つの座標のタプルとの比較という有限かつ検証可能なプロセスへと変換することで、エージェントが行動する場合、それはまさにプレビューされた通りに、かつ一度だけ行われることを保証する。

その意義は以下の点にある：

無制限なリスクの削減: 「エージェントが理解したか？」という無限の問いを、チェック可能な4座標のタプルへと還元すること。
実用的なデプロイ: 本番の資金を扱うマルチチェーン・ウォレット・システムにおいて、これらの形式的な保証を実装できることを示したこと。
評価の厳密性: 安全性レイヤーは、背後のLLMの挙動から隔離して評価することはできず、バックエンドモデルを第一級の実験変数として扱うべきであることを強調している。

本論文は、限界についても明示している。保証は「無人のケース（スコープチェックが人間の確認に取って代わる場合）」において停止すること、重複抑制には時間的制約（ $\Delta$ ）があること、およびマルチステップのプランに対するアトミティ（原子性）ではなく、接頭辞の一貫性（prefix consistency）のみを提供するものであること。また、MEV、スマートコントラクトのバグ、または鍵の侵害を解決することを目的としているのではなく、あくまでエージェント・オーケストレーションの表面に焦点を当てている。