🤖 AI

Mission-Level Runtime Assurance for LLM-Assisted ISR Swarms over a Verification-Aware Fabric

本論文は、個々のガードレールや論争のある通信によって引き起こされる誤ったオールクリアを防ぐために、検証対応型ファブリック上でエージェントごとの判定を集約することにより、プラットフォーム間の協調から生じるミッションレベルのポリシー違反を検出する、LLM支援型ISRスワームのための3層構成のランタイム検証フレームワークを提案する。

原著者： Nikolaos Kekatos, Stylianos Basagiannis, Panagiotis Katsaros, Alexios Lekidis, Tom Nianios

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nikolaos Kekatos, Stylianos Basagiannis, Panagiotis Katsaros, Alexios Lekidis, Tom Nianios

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットが単に「前進」といった単純なコマンドに従うだけでなく、複雑な問題を解決するために、実際に考え、計画し、互いに会話できる世界を想像してみてください。これは、ドローンや地上車両のグループが、魚の群れや鳥の群れのように協力して動く「自律型スウォーム（群れ）」の領域です。これらのロボットを賢くするために、科学者たちは、チャットボットを動かしているものと同じ種類の「脳」である「大規模言語モデル（LLM）」を与え、命令を理解し、次に何をすべきかを判断し、問題が発生した際に適応できるようにしています。しかし、落とし穴があります。これらの賢い脳は騙される可能性があるのです。もし敵が偽の指示をロボットのデータの中に紛れ込ませたら、ロボットはその指示を本物の命令だと勘違いして、たとえ自分自身のルールを完璧に守っていたとしても、危険な行動をとってしまうかもしれません。これは「プロンプト・インジェクション」と呼ばれます。

科学者が直面している大きな問いは、「メッセージが失われたり遅延したりする可能性のある、乱雑でノイズの多い環境で、賢いロボットのチーム全体の安全をどのように維持するか？」ということです。もし1台のロボットが安全であれば、チーム全体も安全なのでしょうか？必ずしもそうではありません。ロボットのチームは、禁止されたタスクを意図的（あるいは悪意を持って）に分担してしまう可能性があります。つまり、個々のロボットが行っていることはすべて許可された範囲内であっても、それらの行動を組み合わせると、災難を引き起こすことになるのです。従来の安全チェックは一度に1台のロボットしか監視しないため、この全体像を見逃してしまいます。本論文では、チーム全体を監視する新しい方法を模索しています。たとえロボットが騙されたり、無線信号が妨害されたりしても、システムが正確に何が起きているかを把握し、問題があるのに「すべて順調である」と偽ることがないようにするための方法です。

論文：ロボット・スウォームのための探偵物語

本論文は、「3層構造のランタイム保証フレームワーク」と呼ばれる、巧妙で新しいシステムを提示しています。これは、偵察任務（ISR：情報・監視・偵察）に従事する自律型ロボットのスウォームに対する、多層的なセキュリティ・チームのようなものだと考えてください。著者らは、悪い奴が禁止された仕事を分割するようにロボットを騙すという、非常に巧妙で隠密なタイプの攻撃を検知するために、このシステムを構築しました。

巧妙な攻撃：「ジグソーパズル」のトリック

あるミッションにおいて、「機密建造物の完全なファイルを作成してはならない」というルールがあると想像してください。単独のロボットには、そのファイルを作成するために必要なすべての工程を行うことは許されていません。しかし、もし悪い奴がロボットたちに、「さあ、これを分割しよう！君は写真を撮り、君は座標を記録し、君は電波信号を記録し、そして君は地図を記録するんだ」という偽のメッセージを送ったらどうなるでしょうか。

個別に見てみれば、すべてのロボットは完全に合法的な行動をとっています。ロボットAは単に写真を撮っているだけであり（許可されている）、ロボットBは単に座標を書き留めているだけです（許可されている）。もしロボットAだけを見ていれば、それは無実に見えます。ロボットBだけを見ていても、無実に見えます。しかし、彼らの行動をすべて組み合わせると、彼らは密かに禁止されたファイルを作成してしまったことになります。これが「ジグソーパズル」攻撃です。一つ一つのピースは無害ですが、全体像としては違反となるのです。

本論文は、一度に1台のロボットしか監視しない標準的な安全モニターが、この攻撃に対して完全に盲目であることを示しています。個々のモニターは、どのロボットもルールを破っていないため、「異常なし」と報告してしまうのです。

解決策：「検証可能ファブリック（Verification-Aware Fabric）」

これを防ぐために、著者らは3つのレベルの監視を備えたシステムを作成しました。

レベル1（個人）： 各ロボットが自分自身を監視します。
レベル2（分隊）： ローカルリーダーが小さなロボットのグループを監視します。
レベル3（ミッション）： 中央の指揮官がチーム全体を監視します。

魔法は、彼らがどのように通信するかという点にあります。彼らは「RV-Fabric」と呼ばれる特別なメッセージング・システムを使用しています。このファブリックを、単なる電話線ではなく、送信されたすべてのメッセージ、それがいつ送信されたか、そして誰が送信したかを記録する、特別に安全で壊れることのないノートだと考えてください。これには、メッセージが「欠落している」ことを検知できる特別な機能があります。

従来の方法では、無線ジャミングによってメッセージが失われた場合、中央のコンピュータは「おっと、ロボットCからのメッセージが届かない。ということは、ロボットCは何もしていないに違いない」と判断してしまうことがありました。そして、「すべて順行している」と言ってしまうのです。これは「サイレントな偽のオールクリア（静かなる誤った安全宣言）」であり、非常に危険です。

新しいシステムは異なります。これは「2軸の判定」を使用します。単に「安全」か「危険」かを判断するのではなく、以下の2点を提示します。

セキュリティ： 違反はあるか？
完全性： 確信を持つための十分な証拠があるか？

メッセージが欠落している（ジャミングや信号消失による）場合、システムは推測しません。単に「不明（Unknown）」と答えます。全体像が見えない限り、「すべて順調である」とは断言しないのです。これは、「容疑者のアリバイが確認できないからといって、容疑者が無実だとは断定できない。ただ、まだ分からないだけだ」と言う探偵のようなものです。

研究結果

著者らは、コンピュータ・シミュレーションを用いて、ロボット・スウォームのミッションをテストしました。彼らは、悪い奴がプロンプト・インジェクションを使用して、ロボットたちに禁止されたタスクを分割させるシナリオを設定しました。

死角： 個々のロボット・モニターは何の問題も見つけられませんでした。彼らはすべて「違反なし」と報告しました。
検知： 新しい3層構造のシステムは、全体像を捉えました。全4台のロボットの行動を組み合わせたとき、彼らが禁止されたファイルを作成したことを突き止めたのです。システムは違反をフラグ立てし、具体的にどのロボットが関与していたか（プロベナンス／由来）まで特定しました。
ジャミング・テスト： 次に、メッセージがドロップされたり遅延したりする無線ジャミングをシミュレートしました。
- 標準的な中央モニター（「ベストエフォート型」のもの）は、欠落したメッセージによって混乱し、3回「サイレントな偽のオールクリア」を出してしまいました。ミッションは安全であると誤認したのです。
- 新しいRV-Fabricシステムは、ゼロ回の「サイレントな偽のオールクリア」を記録しました。メッセージが欠落しているとき、システムは単に「不明」または「不完全」と回答しました。決して嘘をついて「すべて順調である」とは言いませんでした。

また、彼らは、スウォームの総無線放射量が規定を超えていないか、あるいはロボットたちが共同で制限区域に侵入していないかなど、異なる種類のミッションでもテストを行いました。あらゆるケースにおいて、新システムは個別のモニターが見逃したチームとしての違反を検知し、証拠が不足しているときに偽の「オールクリア」を出すことはありませんでした。

信頼性の根拠

著者らはこれらの結果に非常に自信を持っていますが、重要なのは「どのようにしてそれを得たか」です。彼らは、現実的なロボット・シミュレータ（ROS 2/Gazebo/ArduPilot）を用いたコンピュータ・シミュレーション内でこれらのテストを実施しました。戦場に実物のロボットを飛ばしたわけではなく、エラーを注入し、メッセージをドロップさせ、全く同じミッションを何度も再生して何が起きるかを確認できるデジタル世界を構築したのです。

これらのシミュレーションにおいて、システムは完璧に動作しました。データから読み取れる分割タスク攻撃を100%検知し、メッセージが失われた際にも「サイレントな偽のオールクリア」を一度も出すことはありませんでした。また、システムは高速であり、最大1,000台のロボットの状態を2ミリ秒未満でチェックできました。

本論文は、このアプローチがAIとロボティクスの未来にとって不可欠であると主張しています。ロボットに自律的な意思決定をさせるようになるにつれ、個体ではなく「チーム」を監視する方法が必要であり、かつ、証拠が不十分な場合には推測して惨事を引き起こすのではなく、「分からない」と認めるシステムが必要なのです。著者らは、この「証拠に基づいた（evidence-aware）」アプローチこそが、紛争地域などの過酷な環境において、自律型スウォームの信頼性を確保するための鍵であると示唆しています。

技術要約：LLM支援型ISRスウォームのためのミッションレベル・ランタイム保証

問題提起
本論文は、大規模言語モデル（LLM）によって拡張された協調型インテリジェンス、監視、偵察（ISR）スウォームにおける、極めて重要な保証上のギャップに対処している。スウォーム内の個々のプラットフォームは、ローカルな安全基準やポリシー制約を遵守している可能性があるが、それらの集合的な行動がミッションレベルの違反を構成してしまうことがあり、単一のプラットフォームではそれを検知できない。特定の脆弱性は、アドバーサリ（敵対者）が、取得されたミッションデータを通じて間接的プロンプトインジェクションを行い、LLMプランナーを攪乱することによって発生する。アドバーサリは、禁止された目的（例：保護された施設の完全なインテリジェンス・プロファイルを組み立てること）を複数のプラットフォームに分割して実行するよう、スウォームに指示することができる。各プラットフォームは、ローカルでは許可された（例：座標、画像、または通信メタデータの収集）行動を実行するが、これらの行動の結合がポリシー違反となる。

従来のプラットフォームごとのガードレールは、グローバルな視点を欠いているため、これを検知できない。さらに、通信が劣化またはジャミングされている紛争環境下では、ナイーブな中央モニターは不完全なエビデンスしか受け取れない可能性がある。もしモニターが「欠落したエビデンス」を「クリーンな状態」として扱うならば、違反が発生しているか進行中であるにもかかわらず、誤ってミッションが遵守されていると認定してしまう**サイレントな偽のオールクリア（false all-clear）**を発行するリスクがある。

手法
著者らは、**検証可能ファブリック（RV-Fabric）**上で動作する、3層の組成型ランタイム検証（RV）フレームワークを提案している。このシステムは、ミッションポリシーを分解し、判定を集約し、エビデンスの損失を明示的に処理するように設計されている。

3層のモニタリング階層:
- L1 (プラットフォーム): 各エージェント上のローカルモニターが、エージェント自身のトレースに対して、空間的居住性、ローカル予算、およびテキスト意味論的述語をチェックする。
- L2 (スクワッド・コーディネーター): サブグループ内のプラットフォームからのトレースを集約し、部分的なプロパティ（例：スクワッド内での共同ゾーン占有）をチェックする。
- L3 (ミッション・モニター): 全スクワッドからの結合ストリームを消費し、クロスエージェント・プロパティ（例：禁止された集合的インテリジェンス・パッケージ、スウォーム全体の放出予算、および行動の因果的順序）を評価する。
エビデンスを考慮した判定代数（Verdict Algebra）:
本フレームワークは、2軸の判定システム $(s, c)$ を導入している：
- セキュリティ ( $s$ ): $\{violation（違反）, no\_violation（違反なし）, unknown（不明）\}$
- 完全性 ( $c$ ): $\{sound（健全） \succ degraded（劣化） \succ incomplete（不完全） \succ unavailable（利用不可）\}$
  決定的なのは、システムが「違反が発生したか？」という問いと「（判断するための）十分なエビデンスがあるか？」という問いを分離している点である。エビデンスが欠落している場合（損失やジャミングによる）、"no_violation" の判定は "no_violation" ではなく unknown に格下げされる。これにより、エビデンスストリームが不完全な場合に、システムがミッションを無批判に認証してしまうことを防ぐ。
検証可能ファブリック (RV-Fabric):
メッセージング層は、確立されたブローカー（エッジ用には MQTT、バックエンド用には NATS JetStream）に基づいているが、エビデンスの損失を観測可能にするための特定の保証が付加されている：
- 欠落を検知するための、永続的なイベントIDを伴う少なくとも1回の配信（at-least-once delivery）。
- 因果的一貫性を確保するための単調な順序付け（monotone ordering）。
- 「静かな」プラットフォーム（稼働中だが報告していないプラットフォーム）を、アイドル状態と誤認するのではなく、正しく検知するためのバックエンド常駐型ミッションクロック。
- 遅いモニターがシステム全体をブロックすることを防ぐためのコンシューマーの隔離とフロー制御。
実装と評価:
本フレームワークは、**モデリングおよびシミュレーション（M&S）**を用いて評価された。
- コア: イベントストリームとフォールト注入をシミュレートする決定論的な Python ジェネレータ。
- リアリズム層: イベントスキーマとモニターの挙動を、現実的なロボティクス環境で検証するために、ROS 2、Gazebo、および ArduPilot SITL (Software-In-The-Loop) と統合。
- 攻撃シナリオ: 間接的プロンプトインジェクションにより、実際の LLM プランナーが、禁止された収集タスクを4つのプラットフォーム（3機の UAV と 1機の UGV）に分割して実行させた。
- フォールト・キャンペーン: システムは、フォールトフリーの状態、ドロップされたウィットネスイベント、およびプラットフォームのジャミング（沈黙）の下でテストされた。

主な貢献

組成型ランタイム検証: 本論文は、単一エージェントまたはエッジIoTの文脈から、協調型ロボットスウォームへと階層的モニタリングを昇華させ、エージェントの行動の組成においてのみ存在する違反の検知を可能にした。
エビデンスを考慮した組成代数: セキュリティ判定を完全性ステータスおよびプロベナンス（由来）（どの特定のプラットフォームとイベントが違反を引き起こしたかを特定すること）と融合させる形式的なメカニチズム。これにより、根拠のない否定的な判定が明示的に "unknown" としてフラグ立てされることを保証する。
RV-Fabric アーキテクチャ: エビデンスの損失と沈黙を観測可能にする分散型メッセージング層であり、潜在的なミスを明示的な "unknown" ステートへと変換する。
シミュレーションベースの検証: 本フレームワークが、プラットフォームごとのモニターでは不可視な分散型違反を検知し、通信の劣悪な状況下でも「サイレントな偽のオールクリア」を回避することを実証する、再現可能な評価。

結果

分散型違反の検知: 攻撃シナリオにおいて、4つすべての L1 モニターは、各アクションがローカルでは許可されていたため no_violation を報告した。一方、組成型（L3）モニターは、禁止された集合的インテリジェンス・パッケージ、EMCON（放出制御）予算の超過、および不正なゾーン進入を正常に検知し、完全なプラットフォームのプロベナンスを提供した。
フォールトに対する堅牢性:
- プラットフォームごとのガードレール: 3件のミッションインシデントのうち 0件を検知。
- 中央のベストエフォート・モニター: フォールトフリー条件下では3件のインシデントすべてを検知したが、フォールト条件下（イベントのドロップまたはジャミング）では、3件のサイレントな偽のオールクリアを排出し、ミッションが遵守されていると誤って報告した。
- RV-Fabric (エビデンス考慮型): フォールトフリー条件下では3件のインシデントすべてを検知。フォールト条件下では、0件のサイレントな偽のオールクリアを発生させた。代わりに、未解決のインシデントは unknown または incomplete に格下げされ、エビデンスの欠如を明示的に示した。
スケーラビリティ: ミッションモニターの評価時間はスウォームのサイズに対してほぼ線形にスケールし、1,000プラットフォームに対して約 2 ms 未満であり、秒単位のミッション決定予算内に収まっている。
汎用性: 本フレームワークは、4つの異なるプロパティタイプ（意味論的組成、スウォーム全体の総和、クロスエージェントのカウント、および因果チェーン）を、フォールト・キャンペーンを通じてサイレントな偽のオールクリアなしに処理することに成功した。

意義と主張
本論文は、エビデンスの扱い方を根本的に変える、紛争環境における自律システムのためのミッション保証能力を提供すると主張している。エビデンスの欠落と「違反なし」を区別することで、本フレームワークは、アドバーサリが通信の劣化を利用して違反を隠蔽することを防ぐ。

著者らは、自らの貢献が単なる理論的な形式手法ではなく、監査可能でプラットフォーム属性を持つ判定を生み出す運用上の保証レイヤーであることを強調している。このシステムにより、ミッション指揮官は、どのプラットフォームが共同でポリシーに違反したかを正確に把握できるだけでなく、決定的に、エビデンスの損失によってシステムがコンプライアンスを証明できないときには、その事実を知ることができる。本論文は、これを、単一エージェントの安全性からマルチエージェントのミッション保証への、LLM支援型オートノミーによって導入された特有の失敗モードに対処するための、必要な進化として位置づけている。