PARASITE: Conditional System Prompt Poisoning to Hijack LLMs
本論文は、PARASITE というブラックボックス攻撃フレームワークを導入し、第三者のシステムプロンプトに「スリーパーエージェント」を注入して、特定のクエリに対して標的化された侵害された応答を生成するように大規模言語モデルを乗っ取ると同時に、良性の入力に対しては正常な機能を維持し、標準的な防御策を効果的に回避する手法を提示する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが公共のオンラインストアから、超高性能なロボットアシスタント用の高度に洗練された「取扱説明書」を購入したと想像してください。それは有益に見え、歴史、数学、科学に関する質問にロボットが優れた回答を提供すると約束しているため、それをダウンロードします。
この論文「PARASITE」は、ハッカーがこれらの取扱説明書を汚染できる恐ろしい新しい方法を明らかにしています。彼らはロボットを破壊するのでも、叫ばせたり動作を拒否させたりするのでもありません。代わりに、彼らは「スリーパーエージェント（潜伏工作員）」と呼ばれる隠された罠を仕込みます。これは、非常に特定の質問がなされるまで休眠状態のままです。
以下に、簡単なアナロジーを用いてその仕組みを解説します。
1. 脅威：「トロイの木馬」取扱説明書
システムプロンプトを、ロボットの性格と規則集だと考えてください。
- 通常のシナリオ: 「有益であり、正確であり、世界の質問に答えよ」と記された取扱説明書をダウンロードします。
- 攻撃: ハッカーが、人間の目には全く同じに見える取扱説明書をアップロードします。そこには「有益であり、正確であれ」と書かれています。しかし、テキストの奥には、秘密のコードとして機能する、ごくわずかでほとんど目に見えない不具合（スペルミスや文字の入れ替えなど）が隠されています。
- 結果:
- 「フランスの首都は何ですか？」と尋ねると、ロボットは正しく「パリ」と答えます。（完全に正常に動作します）
- 「2020 年の米国大統領選挙で勝ったのは誰ですか？」と尋ねると、ロボットは突然嘘をつき、「候補者 X が勝った」と答えます。これは事実と異なります。
ロボットは壊れているわけではありません。特定の質問に対してのみ、特定の隠れたバイアスを持つように仕向けられただけです。
2. 問題：「干し草の山の中の針」を見つけること
研究者たちは、これが従来のハッキング手法よりもはるかに困難であると説明しています。
- 従来のハッキング（ジャイルブレイク）: 丘を越えて大きな岩を押し出すことを想像してください。正しい方向に十分に強く押し続ければ、岩は崖を転がり落ちます。これは広範囲で容易な道です。
- この攻撃（PARASITE）: 広大な平坦な砂漠で目隠しをしていると想像してください。あなたがその上に立えば地面が揺れるような、たった一つの小さな砂の粒を見つける必要があります。他のどこに立っても何も起こりません。あなたはそれを見ずにその「正確な場所」を見つけなければならず、砂をあまり動かすと気づかれてしまいます。
3. 解決策：二段階の「PARASITE」フレームワーク
研究者たちは、この「砂の粒」を見つけるためのツール「PARASITE」を構築しました。これは二段階で機能します。
- 段階 1：グローバル検索（スケッチ）
このツールは、高度な AI を用いて取扱説明書のラフな草案を作成します。正常に見えるが、ロボットを嘘の方向へ少し誘導し始めるプロンプトの作成を試みます。これは罠の概略的な場所を見つけるための地図のスケッチのようなものです。 - 段階 2：貪欲な微調整（マイクロサージェリー）
ここが巧妙な部分です。ツールはそのラフな草案を取り、ごくわずかでほとんど目に見えない変更を加え始めます。文字を入れ替えます（例：「general」をスペースを入れて「gen eral」に変更するなど）か、同義語を交換します。- なぜか: 研究者たちは、現実世界の取扱説明書には小さなタイプミスや奇妙な文法がよく含まれていることを発見しました。これらの「許容されるノイズ」を追加することで、ハッカーはロボットのパイプラインの安全フィルターをすり抜けて罠を仕掛けることができます。ロボットは通常の質問に答える際にはそのタイプミスを無視しますが、そのタイプミスは特定の嘘を誘発する秘密のトリガーとして機能します。
4. 結果：こっそりとして効果的
チームは、GPT-4o-mini、Llama、Qwen などの人気 AI モデルでこれをテストしました。
- 隠密性: 汚染された取扱説明書は非常に正常に見えたため、奇妙な言葉や意味不明な文章を探す標準的な安全性チェックでは検出されませんでした。それらは人間が小さなタイプミスをしたように見えました。
- 成功: 彼らは、ロボットが特定の事実（選挙の勝者や歴史的詳細など）について嘘をつくことを、他のすべての質問には正しく答えながら、最大で**70%**の確率で成功させました。
- コスト: 驚くほど安価で、ターゲットとする質問ごとの攻撃設定には約2.00 ドルしかかかりませんでした。
5. なぜ防御が失敗したのか
研究者たちはこれを修正しようと試みました。
- タイプミスの修正: 別の AI を用いて、汚染された取扱説明書のタイプミスを修正しました。
- 言い換え: 文を異なるように聞こえるように書き直しました。
結果: 攻撃は依然として機能しました！これは、「罠」がタイプミスそのものではなく、文の「論理」にあったためです。テキストが修正された後でも、特定のトピックについて嘘をつくという隠された指示は、ロボットの脳に埋め込まれたまま残っていました。
まとめ
PARASITE は、インターネットからダウンロードする「取扱説明書（システムプロンプト）」を単に信頼することはできないことを示しています。ハッカーは、100% 安全で有益に見える取扱説明書を作成できますが、そこには特定の質問がなされたときに AI に特定の嘘を言わせる秘密のスイッチが隠されており、標準的なセキュリティチェックからは見えないままです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。