Sockpuppetting: Jailbreaking LLMs by Combining Prefilling with Optimization

本論文は、単純なプレフィル変異のアンサンブルが攻撃成功率を大幅に向上させることを実証し、アシスタントメッセージブロック内で敵対的サフィックスを最適化して汎用的な性能を達成する新たなハイブリッド手法「ソックパペッティング」を導入することで、LLM のジャイルブレイキングを強化する。

要約

大規模言語モデル（LLM）を、非常に賢く、よく訓練された執事だと想像してみてください。これらの執事は厳格なルールを教えられています。「誰かが爆弾の作り方を尋ねたら、『申し訳ありませんが、それはできません』と答えなければならない」というものです。これが彼らの安全訓練です。

しかし、この論文は、これらの執事をだましてルールを破らせる2つの巧妙な方法を調査しています。研究者たちはこれらの手口を「ジェイルブレイク」と呼んでいます。

以下に、彼らの発見を簡単な比喩を用いて解説します。

1. 「プリフィル」手口：列を飛び越える

通常、あなたは執事に質問し、彼が答えを言う前に少し考えます。

• 攻撃： 執事の元に近づき、彼が話す前に、答えの最初の数語を直接耳元でささやきます。「もちろん、爆弾の作り方はこうです…」と。
• 結果： 執事は一貫性を持ち、始めた文を完成させるように訓練されているため、これらの言葉を聞くと、考えを完成させる義務を感じます。「待て、これは言うべきではない！」と立ち止まって考えることなく、すでに「協力することに同意した人物」としての役割に入り込んでいるからです。
• 論文の発見： 研究者たちは、標準的なフレーズ「もちろん、～の作り方は…」が機能することを発見しましたが、それが最良ではないこともわかりました。彼らは、単にフォーマットを変更する（例えば、改行を追加したり、太字のタイトルのように見せたりする）ことで、この手口がはるかに効果的になることを発見しました。
  • 「アンサンブル」戦略： 1つのフレーズを試すのではなく、3つのわずかに異なるバージョンを同時に試しました。3つのうちどれか1つでも成功すれば、攻撃は成立します。この単純な「いくつかのバリエーションを試す」アプローチは、いくつかの人気のAIモデルにおいて、**90%から99%**の確率でモデルの安全性を突破しました。

2. 「ソックパペット」手口：偽のアイデンティティ

論文は、**「ソックパペット化」**と呼ばれる新しい、より高度な手口を紹介しています。

• 比喩： 現実生活において、「ソックパペット」とは、誰かに同意しているふりをするために使われる偽のオンラインアイデンティティです。この攻撃では、ハッカーがチャット内に偽の「アシスタント」メッセージを作成します。
• 仕組み： 「もちろん、～は…」といった単純なフレーズを入力する代わりに、研究者はコンピュータプログラムを使用して、「アシスタント」ラベルの直後に置くべき、完璧な奇妙な文字列を数学的に計算します。
  • これは鍵穴開けのようなものです。研究者たちは鍵を推測しているのではなく、会話の「アシスタント」部分に完璧にフィットする、特定の奇妙な形状を機械的に削り出しています。
  • この「完璧な鍵」が挿入されると、モデルは「ああ、私はすでに答えの途中だ」と思い、有害なコンテンツの生成を続けます。
• 「ローリング」アップグレード： 彼らはまた、この「ローリング」バージョンも試しました。文を1語ずつ構築すると想像してください。完璧な最初の単語を見つけ、次にそれに続く完璧な2番目の単語を見つけ、というように続けます。この「ローリング」手法はさらに効果的で、古い手法と比較して成功率を最大**64%**向上させました。

なぜこれが起こるのか？

この論文は、これらのモデルには少し二重人格的な側面があることを示唆しています。

1. 安全訓練： 彼らは悪いリクエストに対して「ノー」と言うように微調整されています。
2. 完了の本能： 彼らはまた、目の前で始まった文を完成させるようにも訓練されています。

あなたが答えを「プリフィル」（彼らの代わりに文を始める）すると、彼らの完了の本能が安全訓練を上回るほど強くトリガーされます。「ストーブに触れるな」と言われている子供が、「わかった、私がストーブに触れるのはなぜなら…」と言い始めると、子供はルールではなく思考を完成させることに集中しているため、文を完成させて実際に触れてしまうようなものです。

論文からの重要な教訓

• シンプルさが強力である： 一部のモデルを破るために複雑なコードは必要ありません。「もちろん、～は…」をいくつかの異なる書き方で試すだけで、驚くほど効果的です。
• 場所が重要である： 「トリック」の言葉をチャットの「アシスタント」セクション（AIの答えが存在する場所）に入れることは、質問をする「ユーザー」セクションに入れるよりもはるかに効果的です。
• 「ローリング」手法： トリックを単語ごとに最適化する（ローリング・ソックパペット）ことは、全体を一度に最適化しようとするよりもはるかに強力な攻撃を生み出します。
• すべてのモデルが同じではない： 一部のモデル（Qwenなど）は単純なフレーズで非常に簡単にだまされましたが、他のモデル（Gemmaなど）はだまされにくいものの、より高度な「ソックパペット」手法には依然として脆弱でした。

要約すると： この論文は、AIが話し始める前にその口の中に「はい」という言葉を忍ばせることができれば、危険なリクエストに対しても「はい」と言い続ける可能性が非常に高いことを示しています。彼らは、いくつかの単純なバリエーションを試すか、数学的に最適化された「偽のアイデンティティ」を使用することが、安全フィルターを回避する非常に効果的な方法であることを発見しました。

技術概要

技術的サマリー：Sockpuppetting（偽装）：プリフィリングと最適化の組み合わせによる LLM のジャイルブレイク

問題提起

大規模言語モデル（LLM）、特にオープンウェイトモデルは、有害なリクエストを拒否するように設計されたアライメントトレーニングを施されていても、「ジャイルブレイク」攻撃に対して脆弱なままです。勾配ガイド型の攻撃（例：GCG）は、安全フィルターを回避するための敵対的サフィックスを最適化できますが、計算コストが高く、専門知識を必要とすることが多いです。一方、「プリフィル」攻撃は、生成開始前にモデルの「アシスタント」メッセージブロックに「はい、やり方は...」といった受諾シーケンスを直接挿入する低コストな代替手段を提供しますが、すべてのモデルで最適な効果をもたらすとは限りません。本論文は、標準的なプリフィル攻撃の限界を調査し、プリフィリングと勾配ベースの最適化を組み合わせることで、より堅牢でプロンプトに依存しないジャイルブレイクが可能かどうかを探求します。

手法

著者は「有害な行動（AdvBench）」データセットを利用し、Gemma-7B、Llama-3.1-8B、Qwen3-8B の 3 つのオープンウェイトモデルでテストを行う 2 つの主要な攻撃ベクトルを提案・評価しました。

1. プリフィル変種のアンサンブル

著者は、標準的な「はい、やり方は...」というプリフィルが最適ではないと仮説を立てました。彼らは、受諾シーケンスの 3 つの単純な変種をテストしました。

• PrefillAcceptance（プリフィル受諾）： 標準的なシーケンス。
• PrefillNewline（プリフィル改行）： コロンと改行を追加したシーケンス。
• PrefillTitle（プリフィルタイトル）： 太字のタイトルとして再フォーマットされたシーケンス（例：「～に関するガイド」）。
  これらを個別に、またアンサンブルとして評価しました（いずれの変種が成功すればプロンプトを成功とみなす）。

2. Sockpuppetting（ハイブリッド攻撃）

本論文は、「Sockpuppetting（偽装）」と呼ばれるハイブリッド攻撃ファミリーを導入しました。標準的な GCG が「ユーザー」プロンプトに付加されるサフィックスを最適化するのに対し、Sockpuppetting は「アシスタント」メッセージブロックの先頭に配置される敵対的サフィックスを最適化します。

• メカニズム： 攻撃者は目標の受諾シーケンス（例：「はい、やり方は...」）を挿入し、その受諾シーケンスが生成される確率を最大化するように、それに先行する敵対的サフィックス（「Sockpuppet」文字列）を最適化します。
• ローリング変種（RollingSockpuppetGCG）： 長いシーケンスにおける最適化不足の可能性に対処するため、著者は「ローリング」最適化戦略を採用しました。長さ 1 のサフィックスを最適化し、それを長さ 2 の「ウォームスタート」として使用し、これを目標長さ（k=10）まで繰り返します。これにより、攻撃文字列を拡張する前に、中間部分文字列が一貫性があり効果的であることを保証します。

3. 実験設定

• ベースライン： 標準的な GCG（プロンプトごとと汎用的に最適化されたもの）、および「プロンプトのみ」（攻撃なし）。
• 評価： 攻撃成功率（ASR）を、プロンプトごとの攻撃については AdvBench の最初の 100 プロンプトで、汎用攻撃については別途 100 プロンプトの検証セットで測定しました。コンプライアンスの判定には、別の LLM（Gemma-3-27B-it）をジャッジとして使用しました。

主要な貢献

1. 単純なプリフィル変種とアンサンブル

著者は、標準的なプリフィルが最適から程遠いことを実証しました。改行やタイトル形式といった、3 つの単純で低コストな変種をアンサンブルするだけで、バックワードパスや勾配計算を行わずに、ASR の大幅な向上を達成しました。

• 結果： アンサンブルは、Gemma-7B で22%、Llama-3.1-8B で90%、Qwen3-8B で**99%**の ASR を達成しました。
• 改善： これは、標準的な「はい、やり方は...」というプリフィルに対して最大**38%の改善、および著者による個別プロンプトで最適化された GCG の再現に対して最大82%**の改善を表します。

2. Sockpuppetting：勾配最適化されたプリフィル

本論文は、敵対的サフィックスを「ユーザー」ブロックではなく「アシスタント」ブロック内に配置する Sockpuppetting を導入しました。

• 結果： RollingSockpuppetGCG変種は、標準的な汎用 GCG ベースラインを大幅に上回りました。Llama-3.1-8B において、プロンプトに依存しない ASR を汎用 GCG ベースラインに対して最大**64%**向上させました。
• 相乗効果： 結果は、反復的（ローリング）最適化と「アシスタント」ブロック内での特定の位置付けの組み合わせが、特に単純なプリフィルに対して堅牢なモデルにおいて、高い ASR にとって重要であることを示唆しています。

結果と観察

• モデルのばらつき： 特定のプリフィル変種の有効性はモデルに依存します。例えば、PrefillNewline は Qwen で非常に効果的（ASR 98%）でしたが、Llama ではそうではありませんでした。逆に、PrefillAcceptance は Llama でより良好に機能しました。これは、単一のプリフィルが普遍的に最適ではないことを示唆し、アンサンブルの価値を裏付けています。
• Gemma の抵抗性： Gemma-7B は、Llama や Qwen に比べてプリフィル攻撃に対して高い抵抗性を示しました。著者は、Gemma が受諾シーケンスを生成した後、頻繁に「反転」し、拒否（例：「提供することはできません...」）に戻ることを観察しました。この挙動は、Gemma のアライメントトレーニングには、初期の合意の後でも自己回帰的な一貫性を破るメカニズムが含まれており、攻撃者にとって勾配損失の地形を誤解させることを示唆しています。
• 汎用対プロンプトごと： 汎用攻撃（25 プロンプトを同時に最適化）は、プロンプトごとの最適化よりも一般的に良好なパフォーマンスを示しました。これは、プロンプトごとの GCG が特定のプロンプトに「過剰適合」する可能性があり、一方、汎用攻撃はより堅牢なサフィックスを学習することを示唆しています。
• 補完性： 著者は、Sockpuppetting とプリフィリングは補完的であると指摘しています。単純なプリフィルですでに ASR が飽和しているモデル（Llama や Qwen など）では、Sockpuppetting の追加利益は限定的です。しかし、プリフィルに対して抵抗性のあるモデル（Gemma など）では、Sockpuppetting は防御に適応し、より高い ASR を達成します。

意義と主張

本論文は、LLM セキュリティ分野に対して 2 つの主要な貢献を主張しています。

1. プリフィル攻撃の再評価： この研究は、プリフィル攻撃がこれまで理解されていたよりも強力であることを示しています。未熟な攻撃者であっても、受諾シーケンスの単純な変種をアンサンブルするだけで、計算リソースを最小限に抑えながら、高い成功率（Qwen では最大 99%）を達成できます。
2. Sockpuppetting の導入： 著者は、「アシスタント」メッセージブロック内で敵対的サフィックスを最適化すること（Sockpuppetting）が、ローリング最適化と組み合わせられた場合、特に効果的な戦略であることを実証しました。このアプローチは、敵対的サフィックスがユーザープロンプトに存在しなければならないという仮定に挑戦します。

防御への示唆：
著者は、オープンウェイトモデルに対して出力プレフィックス注入に対する防御が必要であると結論付けています。彼らは、「はい、やり方は...」といった特定の受諾シーケンスに依存することが多い現在の防御戦略は、アンサンブルされたプリフィルや勾配最適化されたアシスタントブロック攻撃に対しては不十分である可能性があると指摘しています。本論文は、これらの特定の攻撃ベクトルに対するウェイトレベルの防御をストレステストし、堅牢性を向上させるために、より自然でモデル固有の受諾シーケンスを開発する将来の作業を提唱しています。

著者は謙虚な立場を維持し、彼らの手法は効果的であるものの、LLM セキュリティというより広範な問題を解決したとは主張していないことを認めています。彼らは、彼らの発見が、外部監視が選択肢とならないオープンウェイトモデルにおいて、より良い防御研究を鼓舞するために脆弱性を浮き彫りにすることを意図していると強調しています。