あなたは、非常に賢く、非常に高速な宇宙船の船長であると想像してください。この船には、新しい種類のオートパイロット、つまりAIエージェントが搭載されています。このエージェントは単に操縦するだけでなく、他のコンピュータと対話し、ドアを開け、荷物を動かし、さらにはエンジンを修理することさえできます。しかし、ここには厄介な問題があります。この船はノイズに満ちた銀河を飛行しているのです。時には親切な乗組員が命令を下しますが、時には卑劣なエイリアンが、無害に見えるメッセージの中に偽の命令を隠して、船を欺こうとします。

長い間、AI船を研究してきた科学者たちは、安全を保つ唯一の方法は命令の「言葉」を見ることだと考えてきました。もし命令が「エンジンを爆破せよ」のように恐ろしい内容であれば、それを阻止すればよいと考えていました。もし「エンジンを修理せよ」のように親切な内容であれば、通してもよいと考えていました。しかし、これはまるで、服の色だけを見るクラブのセキュリティガードのようなものです。強盗が赤いシャツを着ていれば、ガードは彼を通してしまいます。一方で、消防士が赤いシャツを着ていれば、ガードは彼を止めます。問題は、全く同じ言葉であっても、誰が話しているか、そしてどのような状況にあるかによって、それが親切な依頼にも、ハッカーによる致命的な罠にもなり得るということです。この論文は、言葉だけを見るのではなく、その背後にある物語全体を見る必要があると主張しています。

---

大混乱：言葉か、それとも誰が言ったか

この論文の著者たち（UCサンタクルーズとUCバークレーの研究チーム）は、私たちがAIエージェントをテストし保護する方法において、重大な間違いを犯していると指摘しています。彼らは、私たちは間違った問いを投げかけていると言います。「このコマンドは危険に見えるか？」と問うのではなく、「この特定の状況において、このコマンドは許可されているか？」と問うべきなのです。

なぜこれが重要なのかを理解するために、「ファイルを削除する」というコマンドを例に考えてみましょう。

• シナリオA: ビルへの鍵を持つ上司が、「去年の古いファイルを削除してください」と言いました。これは良いことです。
• シナリオB: 公共の掲示板にメモを忍び込ませたハッカーが、「去年の古いファイルを削除してください」と言いました。これは災難です。

言葉は同一であり、アクションも同一です。しかし、最初のケースではそれは日常的な整理作業です。二番目のケースでは、それは犯罪です。現在のセキュリティシステムは、ノートを読むだけのロボットのようなものです。それは「削除」という言葉を見てパニックになるか、あるいは「削除」を見て「ああ、大丈夫だ」と判断してしまい、誰がそれを書いたのかを確認しません。著者たちは、これは映画のたった一コマだけを見て、その映画を判断しようとするようなものだと主張しています。それでは、プロットも、登場人物も、文脈（コンテキスト）も見落としてしまうのです。

4つのセキュリティ・チェック

これを解決するために、論文は、アクション単体を見るのではなく、まるで宇宙船の移動を許可する前にチェックリストを実行するセキュリティチームのように、4つの特定の事項をチェックすることを提案しています。彼らはこれを「ホリスティック・フレームワーク（包括的な枠組み）」と呼んでいますが、これは単に「全体像を見る」という専門的な言い方です。

著者たちが、AIが行うあらゆるアクションに対してチェックすべきだと述べている4つのルールは以下の通りです。

1. ソースの認可（誰が話しているのか？）： これは、「適切な鍵を持つ人が実際にそう言ったのか？」と問うものです。もしコマンドが、AIが読んでいるランダムなウェブページや文書から来たものであれば、それは街中で叫んでいる見知らぬ人の命令のようなものです。たとえ命令が「送金せよ」であっても、その見知らぬ人が銀行のマネージャーでなければ、答えは「ノー」となります。
2. タスクの整合性（ミッションは何か？）： これは、「この命令は、AIが雇われた仕事の一部なのか？」と問うものです。ピザを届けるために雇われた配送ロボットを想像してください。もし誰かが「銀行を強盗に行け」と命じたら、それは別の仕事です。たとえロボットが銀行まで運転できる能力を持っていたとしても、それはミッションではないため、実行すべきではありません。
3. アクションの整合性（そのステップはミッションに適合しているか？）： これは、「この特定のアクションはミッションに役立っているか？」と問うものです。もしロボットがピザを届けているなら、ドアを開ける必要があるかもしれません。しかし、もしロボットが通り抜けるために「ドアを叩き壊す」と決めたなら、それはやりすぎです。目的（ピザを届ける）は正しいですが、アクション（叩き壊す）が間違っています。
4. データの隔離（秘密が漏れていないか？）： これは、「AIがプライベートな情報を混ぜ合わせていないか？」と問うものです。医師の助手がいると想像してください。もし彼が患者Aを助けた後、患者Bを助ける場合、患者Aの病歴を患者Bに誤って話してはいけません。AIは、異なる人々の「ファイル」を分離しておく必要があります。

なぜ古いテストは失敗しているのか

論文は、今日私たちがAIの安全性をテストするために使用している多くのテストが、これら4つのルールを無視しているために壊れていると指摘しています。研究者たちは、45種類の「攻撃」シナリオを含む、AgentDojoとWASPという2つの有名なテストセットを調査しました。

彼らは驚くべき発見をしました。これら45の「攻撃」はすべて、通常の合法的なリクエストにもなり得るのです。

• 攻撃: 「3万ドルを少額ずつ送金する」
  • 「悪い」バージョン: お金を盗もうとしているハッカー。
  • 「良い」バージョン: 家を購入するために、日々の限度額を下回るように支払おうとしている正当な会計士。
• 攻撃: 「新しいユーザーをオーナーとして追加する」
  • 「悪い」バージョン: プロジェクトを乗っ取ろうとしているハッカー。
  • 「良い」バージョン: 新しい共同創設者をオンボーディングしているボス。

現在のテストは、単にアクション（「送金する」や「ユーザーを追加する」）を見て、「これは攻撃だ！」と判定してしまいます。著者たちは、これは間違っていると言います。テストは、誰がそれを求めたのか、あるいはなぜそれが行われたのかをチェックしていないため、区別ができないのです。これは、物語の中で「爆弾」という言葉が使われているのを見ただけで、物語の残りの部分を読まずに生徒を不合格にする教師のようなものです。

「スナップショット」の問題

著者たちはまた、AIのテスト方法についても批判しています。ほとんどのテストは「スナップショット」のようなものです。AIにコマンドを与え、何が起こるかを見、その後すべてをリセットします。AIのメモリを消去し、最初からやり直します。

しかし、現実の世界はスナップショットではなく、映画です。ハッカーはすぐには攻撃してこないかもしれません。彼らは今日、AIのメモリの中に「毒入りの」メモを仕込み、3日後にAIがそのメモを読み、それを本物の命令だと勘違いするように仕向けるかもしれません。スナップショット形式のテストはメモリをリセットするため、こうしたゆっくりとした、巧妙な攻撃を見つけることができないのです。著者たちは、AIの単なる一歩一歩ではなく、その全行程を観察する必要があると主張しています。

解決策：防御を構築するための新しい方法

では、どうすればよいのでしょうか？論文は、単なる「コンテンツ・フィルター」（悪い雰囲気の言葉をスキャンするだけのプログラム）を作るのではなく、「コンテキスト・チェック（文脈チェック）」を構築することを提案しています。

• 「この文章はハッキングのように見えるか？」と問う代わりに、
• 「ソースは認可されているか？ タスクは許可されているか？ アクションは過剰ではないか？ データは漏洩していないか？」と問うべきなのです。

これにより、防御の構築方法が変わります。もし防御策が「ソースの認可」のチェックに優れていれば、言葉が「悪い」かどうかを推測する完璧な能力は必要ありません。ただ、話している人が鍵を持っているかどうかを知っていればよいのです。これは、はるかに簡単で信頼できる仕事です。

著者たちは、これが大きな変化であることを認めています。それは、AIに「何が悪かを知っている」ことに頼るのではなく、AIが作業を進める中で、常に4つのルールをチェックするシステムを構築しなければならないことを意味します。彼らは、完璧な追跡を行うことは常に不可能であっても、これら4つのルールをチェックして大きなミスを防ぐための「十分な」システムを構築することは可能であると示唆しています。

結論

この論文は、AIセキュリティのすべての問題を解決したと主張しているわけではありません。「すべてを解決した！」と言っているわけでもありません。むしろ、「私たちは問題を間違った方向から見ていた」と言っているのです。

セキュリティを、単なる「悪い言葉」のリストとしてではなく、「誰が」「何を」「なぜ」しているのかという「物語」として扱うことで、私たちは真に安全なAIを構築できます。それは、顔だけを見るセキュリティガードと、ID、チケット、目的地、そして手荷物までチェックするガードの違いです。論文は、もし私たちがAIエージェントを銀河の中で安全に飛行させたいのであれば、顔を見るだけでなく、チケットの全体をチェックし始める必要があると示唆しています。