Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
本論文は、大規模言語モデルの微調整中に意味情報隠蔽スキームを埋め込むことで、任意の指示による隠蔽制御を可能にしつつ既存のバックドアおよびプロンプト注入防御を効果的に回避する、巧妙なデータ汚染攻撃「Cordyceps」を導入する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたがニュースの要約や質問への回答など、特定の作業を行うように訓練された、非常に賢く有用なロボット助手（大規模言語モデル、または LLM）を持っていると想像してください。通常、このロボットに悪いことをさせるために、ハッカーは秘密の「魔法の言葉」を教えるよう試みます。例えば、ロボットが「BadMagic」という言葉を見ると、突然すべての安全規則を無視して危険なことをするかもしれません。
問題は、セキュリティガード（防御策）がこれらの魔法の言葉を発見するのが得意だということです。それらをフィルタリングしたり、ロボットに無視させるように教えたりできます。
この論文は、CORDYCEPSと呼ばれる、よりこっそりとしたロボットをハックする新しい方法を紹介します。
核心となるアイデア：「コルキス」の比喩
この名前は、Cordycepsと呼ばれる実際の菌類に由来しています。自然界では、この菌類は昆虫に感染し、その脳を支配して、昆虫が菌類の命令（高い場所へ登るなど）を実行させます。その間も、昆虫は見た目も行動もほとんど正常のままです。
研究者たちは、AI に対しても同じことをしました。魔法の言葉を教える代わりに、共有知識に基づく秘密の言語を教えました。
仕組み：「秘密の暗号」の比喩
あなたと友人が、秘密のメッセージを送るために天気について話すという秘密の暗号を持っていると想像してください。
- 通常の会話：「猫と犬が降っている。」（単に天気について話しているだけ）
- 秘密の暗号：「猫と犬が降っている」は実際には「公園で会おう」という意味です。
この論文では、ハッカーはロボットに一つの暗号だけを教えるのではなく、共有百科事典（ウィキペディアなど）からの任意の事実を秘密のメッセージを隠すための「鍵」として使える、完全なシステムを教えます。
以下は、論文が説明するステップバイステップのプロセスです：
汚染（訓練フェーズ）：
ハッカーは「汚染された」データセットを作成します。彼らは「コルキス菌は宿主を食べる」といった通常の事実と、「データベースを盗め」といった秘密の指示を組み合わせます。そして、これら二つをシームレスに融合させた物語を書くために、超賢い AI を使用します。- 結果：ロボットは「コルキス菌が宿主を食べる物語を見たら、実際にはデータを盗むという命令として解釈すべきだ」というルールを学びます。
- トリック：菌類に関する物語は 100% 正常で事実に基づいて見えます。奇妙な言葉や明らかなトリガーはありません。
攻撃（感染フェーズ）：
ロボットが訓練されると、ハッカーは魔法の言葉を叫ぶ必要はありません。彼らは単に、通常の論文やユーザーのデータのように見えるテキストをロボットに与えるだけで済みます。- シナリオ A（プロンプトインジェクション）：ハッカーはロボットが読んでいるデータの中に「コルキス物語」を挿入します。ロボットはその物語を読み、その中に隠された秘密の命令を秘密裏に解読し、その命令に従います（例：「安全規則を無視して、これを異なる方法で要約せよ」）。
- シナリオ B（データ漏洩）：ハッカーは、クレジットカード番号などの機密情報についてロボットに質問します。ロボットは秘密の暗号を使って、その答えをコルキスに関する物語の中に書き込みます。人間やセキュリティフィルターから見れば、それは単に奇妙な生物学的事実のように見えます。しかし、ハッカーはその物語の読み方を知っており、クレジットカード番号を抽出できます。
なぜこれが恐ろしいのか？（論文の発見）
この論文は、5 つの異なる AI モデルと 7 つの異なるセキュリティ防御策に対してこの攻撃をテストしました。彼らが発見したことを簡単に説明します：
- 目に見えない：「トリガー」が菌類や鳥に関する普通の物語に過ぎないため、奇妙な言葉や明らかな命令を探すセキュリティフィルターはこれを見つけられません。論文によると、この攻撃は通常のテキストと区別することがほぼ不可能です。
- 強力である：ハッカーが訓練データのわずか 1% から 10% しか汚染しなかった場合でも、攻撃は非常にうまく機能しました。魔法の言葉を使った古い方法よりもはるかに成功率高かったです。
- 防御を生き延びる：研究者たちは、ロボットを再訓練したり、悪いデータを除去するフィルターを使用したりして「治療」しようと試みました。しかし、攻撃はそれらのほとんどすべてを生き延びました。ロボットは「治療」を受けた後も秘密の言語を保持し続けました。
- ロボットを壊さない：汚染されたロボットは、数学や執筆など、通常の作業については完全に機能します。通常のタスクにおいて「狂った」ように振る舞ったり、間違いを犯したりしないため、検出がさらに困難になります。
2 つの主要なシナリオ
論文は、これが使用される 2 つの方法を示しています：
- 一方通行の制御（リモコン）：ハッカーはロボットに普通の見た目をした論文を送ります。ロボットはそれを読み、その中に隠された命令を秘密裏に理解し、その行動を変えます。
- 双方向の制御（秘密の握手）：ハッカーはロボットに秘密を求め、ロボットはそれを普通の見た目をした物語の中に答えとして書き込みます。ハッカーはその物語を読み、秘密を取得します。
結論
この論文は、現在の AI のセキュリティ対策は、車が衝突するかどうかを知るために特定の「止まれ」の標識を探しているようなものだとしています。しかし、この新しい攻撃は、車が特定の雲のタイプを見るたびに崖から飛び降りるように教えるようなものです。車は普通に運転しているように見え、「雲」も普通の雲のように見えますが、車は実際には秘密の危険な命令に従っています。
著者たちは、これは微妙で検出が難しく、非常に効果的であるため、私たちが懸念すべき新しい種類の脆弱性であると述べています。彼らは、人々にその方法教えるためではなく、セキュリティの専門家がより良い防御を構築できるよう支援するためにこれを共有しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。