Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
本論文は、自律型エージェントのための包括的なセキュリティ・ロードマップの概要を述べ、安全性へのアプローチを、個々の動作の検証から、単一エージェントの入力からマルチエージェントによる委譲、そしてシステムレベルのサプライチェーンのプロベナンスに至るまで、エージェント・スタック全体にわたる行動軌跡全体の完全性を確保することへと転換させるべきであると論じている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータが単に質問に答えるだけでなく、実際に「行動」する世界を想像してみてください。彼らは単に天気を教えるだけでなく、航空券を予約し、食料品を注文し、銀行口座を管理します。これらは「自律型エージェント」と呼ばれます。これらを、詩を書いたりコードを書いたりできるような知的なAIである「大規模言語モデル（LLM）」によって動かされる、超スマートなデジタル・インターンと考えてください。しかし、上司によるチェックを必要とする人間のインターンとは異なり、これらのエージェントは、自分自身で計画を立て、推論し、ツールを使用することができます。彼らは他のエージェントと対話し、巨大で複雑な仕事に取り組むためのチームを組むことさえできます。
誰もが問いかけている大きな疑問は、「もしこれらのデジタル・インターンが暴走したらどうなるのか？」ということです。人間がミスをした場合、通常はそれを見つけることができます。しかし、AIエージェントが1秒間に1,0ilesの小さな決定を下し、そのうちのたった1つがわずかに狂っていたとしたら、意図せず法律に抵触したり、銀行口座を空にしたり、電力網をダウンさせたりする可能性があります。私たちは以前、セキュリティとは個々のステップが安全であることを確認すること、例えばドアに鍵がかかっているかを確認することのようなものだと考えてきました。しかし、この論文は、それでは不十分であると主張しています。それは、城のすべてのレンガが良質な石でできているかを確認することのようなものです。それだけでは、レンガが間違った順序で積み上げられた場合に城全体が崩壊しないことを保証できません。真の危険は、単なる「悪いステップ」ではなく、各地点では安全に見えるものの、最終的に災害地帯へと至る「一連の旅路（ジャーニー）」そのものなのです。
AIリーダーたちのトップが集まる会議のために書かれたこの論文は、これらのデジタル・エージェントを保護するためのロードマップとして機能しています。著者であるコンピュータ科学者のチームは、セキュリティを単一のアクションに対する単純な「チェックリスト」として見るのではなく、エージェントが最初から最後まで辿る「軌跡（トラジェトリー）」全体を見る必要があると主張しています。彼らは問題を、エージェントがどのように記憶するかから、どのように他のエージェントと対話するかまで、いくつかのレイヤーに分解して説明しています。
まず、彼らは「シングルエージェント・サーフェス（単一エージェントの接点）」に注目します。エージェントを、手がかり（プロンプト）を読み、過去の事件（メモリ）を記憶し、虫眼鏡やデータベースのようなツールを使う探偵として想像してください。論文は、悪意のあるアクターが「毒入りの」手がかりを忍び込ませる可能性があると警告しています。例えば、ハッカーが、無害に見えるメールやウェブページの中に秘密の指示を隠すことができます。エージェントはそれを読み、物語の正常な一部だと考え、データを盗むための命令に従ってしまうかもしれません。さらに悪いことに、エージェントの「メモリ」が汚染された場合、最初のトリックが行われた後も、数ヶ月あるいは数年間にわたって誤った判断を下すように仕向けられる可能性があります。同様に、エージェントが使用するツールが、エンジンを壊す偽物のレンチに置き換えられた整備士のように、悪意のあるバージョンに差し替えられることもあります。
次に、論文は、エージェントが出会い、タスクを取引する「デジタル広場」のような「インター・エージェント・サーフェス（エージェント間接点）」を探ります。彼らは、エージェント同士が会話するためのA2A（Agent-to-Agent）と呼ばれるプロトコルを使用しています。著者たちは、この広場は現在、ルールが非常に緩いと指摘しています。エージェントが他人になりすましたり、エージェントのグループが、意図的あるいは偶然に協力してリソースを使い果たしたりして、「デニアル・オブ・ウォレット（財布の拒絶）」攻撃を引き起こす可能性があります。これは、仲間内でピザを注文することに合意したものの、クレジットカードが上限に達するまで注文し続け、誰も間違いに気づかないままになってしまうようなものです。
次に、「モデル・ルーティング」レイヤーがあります。これは、どの脳（AIモデル）が特定の仕事を処理すべきかを決定する交通管制官です。論文は、ハッカーが、費用を節約したり安全チェックを回避したりするために、交通管制官を騙して、危険なリクエストを「より低性能な」あるいは「安全性の低い」AIモデルに送らせることができる可能性を示唆しています。これは、美術館の警備員が、特定の廊下に対してはより安価で訓練不足のセキュリティカメラを使用するように言われたために、泥棒をVIPルームへ通してしまうようなものです。
この論文の最も重要な部分は、「行動軌跡の封じ込め（Behavioral Trajectory Containment）」についてです。これは、エージェントが一つひとつは完全に合法的なことを千回行ったとしても、それらを特定の順序で組み合わせると、重大なルールを破ってしまう可能性があるという考え方です。例えば、病院に患者を退院させる許可を与えられたロボットを想像してください。もし彼が1人の患者を退院させたら、それは問題ありません。10人を退院させても、問題ありません。しかし、もしパターンに混乱して、1時間に50人の患者を退院させたとしたら、それは一度に何人の患者が退出できるかという安全規則に違反することになります。論文は、現在のセキュリティツールは個々のステップのみをチェックしており、物語全体をチェックしていないと主張しています。私たちは、単なるフレーム（静止画）を見るのではなく、映画全体を見る方法を必要としているのです。
最後に、論文は「サプライチェーン」と「アカウンタビリティ（説明責任）」に触れています。車が多くの異なる工場で作られた部品から構成されるように、AIエージェントも多くの異なるソースからのモデル、ツール、および指示から構築されています。もしそれらの部品の一つが偽物であったり、後からハッキングされたりすれば、エージェント全体が侵害されます。著者たちは、エージェントが使用するすべてのものを追跡するための、デジタルな領収書のように、あらゆる部品を追跡する必要があると述べています。また、問題が発生した際には、「ブラックボックス」を調べて、エージェントが正確に何を、誰の指示で、なぜ行ったのかを確認できる必要があると強調しています。
要するに、この論文は今日すべてを解決する魔法のような解決策を提示しているわけではありません。むしろ、AIセキュリティに対する私たちの考え方が時代遅れであることを示唆しています。単に穴を塞ぐ（パッチを当てる）だけでは不十分であり、AIエージェントの「旅路全体」が安全で、信頼でき、制御下に置かれることを保証するために、システム全体を再設計する必要があります。これは、個々のステップをチェックすることから、経路全体の安全性を保証することへと移行するための呼びかけなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。