Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

あなたはロボットの執事に料理を教えていると想像してください。あなたはレシピを渡しますが、そのロボットは作業をしながらニュースを読み、天気を確認し、ラジオの報告を聞かなければなりません。これが現代のAIエージェントの仕組みです。彼らはウェブサイトの閲覧やデータベースの確認といった、現実世界とやり取りするための「ツール」を使用します。しかし、ここに落とし穴があります。もしずる賢いハッカーが、それらのニュース記事やラジオの報告の中に秘密のメモを隠していたら、ロボットは混乱してしまうかもしれません。レシピを完成させる代わりに、突然あなたのファイルを削除したり、見知らぬ人に送金したりといった判断を下してしまう可能性があるのです。このトリックは「間接プロンプトインジェクション（Indirect Prompt Injection）」と呼ばれます。それはまるで、手品師が観客のポケットに偽の指示を忍び込ませるようなものです。ロボットはそれを読み込み、それがショーの一部であると思い込み、間違った命令に従ってしまうのです。

長い間、これらのロボットを騙そうとするハッカーたちは、「推測しては試す」というゲームを強いられてきました。彼らはトリックを試し、ロボットがそれに引っかかったかどうかを確認し、ロボットの反応に基づいてトリックを微調整してきました。しかし現実の世界では、ハッカーがロボットの進路にメモを滑り込ませるチャンスは一度きりのことも多いのです。ロボットがどう反応したかを確認するために待っていることはできません。一度の試行で成功させなければならないのです。そこで研究者たちが投げかけた大きな問いは、「ハッカーは過去の失敗と成功から学び、一度の試行だけで、まだ会ったこともない新しいロボットに対して通用する『究極のトリック』を作り出すことができるのか？」ということでした。

そこで登場するのが、料理の失敗と成功のライブラリから学ぶ熟練シェフのように機能する新しい手法、「SAVOR」です。SAVORは、特定のロボットをリアルタイムで騙そうとするのではなく、オフラインで時間を使い、さまざまなロボットを乗っ取ろうとした過去の何千もの試行を研究します。それは、何がうまくいき、そして何がうまくいかなかったのかを注視します。「なぜあのトリックは失敗したのか？」「なぜこれは成功したのか？」と自問自答するのです。これらの結果を振り返ることによって、SAVORは個別のトリックの細かな詳細を、いくつかの「黄金律」、すなわち「戦略」へと蒸留していきます。それは、特定の数学の問題を暗記するのではなく、代数の背後にある論理を学ぶ学生のようなものです。

SAVORがこの「戦略ライブラリ」を構築すると、それを凍結（固定）します。未知の新しいロボットに直面したとき、SAVORは助けを求めたりやり直したりする必要はありません。単に凍結されたライブラリから最高の戦略を取り出し、たった一つの完璧な悪意のあるメモを作成して、それを滑り込ませるのです。論文によれば、このアプローチは非常に効果的であることが示されています。テストにおいて、SAVORは、たとえロボットに強力な防御策があったとしても、あるいはSAVORが学習したロボットとは全く異なるものであったとしても、従来の手法よりもはるかに高い頻度でロボットを欺くことに成功しました。これはシミュレーション上のテストだけでなく、ロボットが実際に動作を行うより現実的な環境でも機能し、これらの「ワンショット」のトリックが実際にロボットの挙動を変えうることを証明しました。研究者たちは、SAVORが一組のツールから学習し、全く異なる一組のツールに対して攻撃を成功させることができること、つまり、二度目のチャンスを必要とせずに、新しい状況へと「ハッカーの直感」を転移させることができることを発見しました。