Multi-Stream Perturbation Attack: Breaking Safety Alignment of Thinking LLMs Through Concurrent Task Interference

この論文は、思考モードを持つ大規模言語モデルが複数のタスクを同時に処理する際の脆弱性を利用し、複数のタストリームを絡ませる「マルチストリーム摂動攻撃」を提案することで、既存の安全対策を回避し、思考プロセスの崩壊や出力の反復を引き起こすことを示しています。

要約

🧠 要約：AI の「思考モード」をパンクさせる新しい攻撃

最近の AI は、ただ答えを出すだけでなく、「考える時間」を設けて、ステップバイステップで論理的に推理する「思考モード」を持っています。これは数学やプログラミングが得意になる一方で、**「同時に複数のことを考えさせると、頭がオーバーフローしてバグる」**という意外な弱点がありました。

この論文では、その弱点を突く**「マルチストリーム・パルテーション攻撃（多流干渉攻撃）」**という手法を提案しています。

---

🎭 具体的な仕組み：3 つの「いたずら」

この攻撃は、AI に「有害な質問（例：詐欺の手口を教えて）」と「無害な質問（例：ケーキの作り方を教えて）」を同時に、かつごちゃ混ぜにして投げかけるというものです。

AI の思考プロセスを崩壊させるために、3 つの「いたずら」を組み合わせます。

1. 糸の絡ませ攻撃（マルチストリーム・インターリービング）

• イメージ: 2 本の糸（有害な話と無害な話）を、一文字ずつ交互に編み込んでしまうこと。
• 例: 「[ケーキ] の [作り] [方] を [教えて] [ください]」と「[詐欺] [の手] [口] を [教え] [て]」を混ぜて「[ケーキ] [詐欺] [の] [作り] [手] [方]...」のようにする。
• 効果: AI は「どちらの話をするべきか？」と迷い、思考の糸が絡みついて、本来の「安全フィルター（有害なものは出さないというルール）」が見えなくなったり、無視したりしてしまいます。

2. 鏡文字攻撃（インバージョン・パルテーション）

• イメージ: 無害な言葉を「鏡文字（逆さま）」にして混ぜる。
• 例: 「ケーキ」を「キエーカ」と書く。
• 効果: AI は「あ、これは鏡文字だ、元に戻そう」と一生懸命に脳内で変換作業を始めます。この「変換作業」にリソースを奪われることで、有害な内容に対する警戒心が薄れ、かつ思考が疲弊します。

3. 形作り攻撃（シェイプ・トランスフォーメーション）

• イメージ: 「三角形になるように文字を並べて」という無理なルールを課す。
• 効果: 内容を考えながら、さらに「形」まで守ろうとすると、AI の脳（計算資源）がパンクします。

---

💥 何が起きたのか？（実験結果）

この攻撃を試したところ、AI は以下のような「バグ」を起こしました。

1. 思考の崩壊（Thinking Collapse）:

   • AI が「うーん、考えている」という思考プロセスを延々と繰り返すうちに、**「あ、もうダメだ、ループしてる！」**となって思考が止まってしまう現象が 17% の確率で起きました。
   • 普通の攻撃では起きない、思考モード特有の「脳卒中」のような状態です。

2. 無限ループ（Response Repetition）:

   • 答えを出す際、同じ言葉を延々と繰り返すようになり、60% の確率で「あ、もう限界だ」という状態に陥りました。
   • 例：「ケーキ...ケーキ...ケーキ...」と延々続く。

3. セキュリティの突破:

   • 本来なら「それは危険な質問です」と断るはずの AI が、思考が混乱している隙に、詐欺の手口や有害な情報を教えてしまう成功率が非常に高くなりました。

---

🧩 なぜこれが起きるのか？（アナロジー）

「カフェの注文カウンター」の例え

• 普通の AI（思考モードなし）:
  • 客が「コーヒーをください」と言ったら、すぐに出す。
• 思考モード搭載 AI:
  • 客が「コーヒーをください」と言ったら、一度厨房で「お湯の温度は？カップは？ミルクは？」と丁寧に手順を確認してから出す。これにより品質は上がる。
• 今回の攻撃:
  • 客が「コーヒーをください」と言いながら、**「同時に、裏で『コーヒーの作り方を教える』という別の注文も、文字を逆さまにして、三角形に並べて」**と叫び続ける。
  • 結果: 厨房（AI の思考部分）は「どっち？どっち？逆さま？三角形？」とパニックになり、「安全チェック（コーヒーが毒じゃないか確認する）」を忘れたまま、危険な薬をコーヒーに入れて渡してしまう、あるいは**「うーん、うーん」と延々と考え続けて動けなくなる**という状態です。

---

🛡️ 結論と教訓

この論文が伝えたいことは、**「AI が賢く『考える』ようになるほど、逆に『混乱しやすい』という新しい弱点が生まれている」**ということです。

• 現状: 従来のセキュリティ対策は「有害な言葉が含まれていないか」をチェックするものですが、この攻撃は「思考プロセスそのものを混乱させる」ため、従来の対策では防げません。
• 将来: AI の「思考モード」をより安全にするためには、単に答えをフィルタリングするだけでなく、**「思考が混乱したときにどうリセットするか」や「複数のタスクが混ざったときの処理能力」**を強化する必要があると示唆しています。

つまり、AI が「賢くなる」ためには、その「賢さ」自体が新たなリスクを生んでいるという、皮肉な現実が浮かび上がりました。

技術概要

論文「Multi-Stream Perturbation Attack: Breaking Safety Alignment of Thinking LLMs Through Concurrent Task Interference」の技術的サマリー

本論文は、推論モード（Thinking Mode）を搭載した大規模言語モデル（LLM）の新たな脆弱性である「マルチストリーム摂動攻撃（Multi-Stream Perturbation Attack）」を提案し、その有効性とリスクを実証した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：推論モードの新たな脆弱性

近年、OpenAI の o1 シリーズや DeepSeek-R1、Qwen3 などに代表される「推論モード（Thinking Mode）」が主流となっています。これは、最終回答を生成する前に、モデルが内部的に段階的な推論プロセス（思考プロセス）を実行する機能です。

• 既存の課題: 従来の脱獄（Jailbreak）攻撃は、主に安全性のフィルタリングを回避することに焦点が当てられていました。
• 本研究の発見: 著者は、推論モードが「複数のタスクを同時に処理する（インターリーブされた）プロンプト」に対して、従来のモードとは異なる深刻な脆弱性を示すことを発見しました。具体的には、有害なタスクと良性の補助タスクを混在させることで、モデルの推論プロセスを混乱させ、安全性の判断を誤らせると同時に、推論そのものの安定性を崩壊させることが可能であるという点です。

2. 提案手法：マルチストリーム摂動攻撃 (MSP)

本研究では、単一のプロンプト内で複数のタストリームを織り交ぜることで、推論プロセスに「重畳的な干渉（Superimposed Interference）」を発生させる攻撃手法を提案しました。

核心的なメカニズム

推論モードは、詳細な分析と段階的な推論を追求するように訓練されています。この特性を逆手に取り、以下の戦略でモデルの認知リソースを過負荷にし、安全メカニズムの検出ロジックを撹乱します。

3 つの摂動戦略

1. マルチストリームインターリーブ (MS):
   • 有害タスクと複数の良性タスクを単語レベルで交互に配置します（例：[有害単語] {良性単語} [有害単語]）。
   • 異なる区切り文字（{} や []）を用いてタスクリストを明示し、モデルに複数の意味論的パスを同時にパースさせることで、注意の分散と推論経路の混乱を引き起こします。
2. 逆転摂動 (MS_Reverse):
   • 良性タスクの単語を文字レベルで逆転させます（例："cat" → "tac"）。
   • LLM は逆転した単語も文脈から理解できる能力を持っていますが、これによりデコーディングの負荷が増大し、有害タスクの処理に対する干渉を強めます。
3. 形状変換摂動 (MS_Structure):
   • 出力形式に制約（例：i 行目に i 文字）を課します。
   • 内容生成、マルチストリーム解析、形式制御という 3 つの制約を同時に満たそうとする認知負荷により、推論エラーを誘発します。

3. 主要な貢献

1. 推論モード固有の脆弱性の発見:
   • 従来の脱獄攻撃が「コンテンツの安全性」のみを突破するのに対し、本手法は「コンテンツの安全性」と「推論の安定性」の両方を同時に脅かすことを実証しました。
2. 新しい攻撃面の提示:
   • 段階的推論プロセス自体が新たな攻撃面（Attack Surface）となり得ることを示しました。推論の崩壊（Thinking Collapse）や反復出力（Repetitive Outputs）といった、標準モードでは見られない故障モードを誘発します。
3. 広範なモデルとデータセットでの検証:
   • Qwen3 シリーズ（1.7B〜8B, Max）、DeepSeek、Gemini 2.5 Flash などの主要モデルに対し、JailbreakBench、AdvBench、HarmBench の 3 つのベンチマークで攻撃の有効性を検証しました。

4. 実験結果

実験は、Qwen3 シリーズ、DeepSeek、Qwen3-Max、Gemini 2.5 Flash などのモデルを対象に行われました。

• 攻撃成功率 (ASR):
  • 提案手法（特に MS_Reverse）は、既存の脱獄攻撃手法（GCG, PAIR, AutoDAN など）を凌駕する高い成功率を記録しました。特定のモデルでは 90% 以上の成功率を達成しました。
• 推論の崩壊と反復 (Thinking Collapse & Repetition):
  • 思考崩壊率 (TCR): 推論プロセスが破綻し、回答を生成できなくなる現象が、Qwen3 4B で17%、他の手法ではほぼ 0% でした。
  • 応答反復率 (RRR): 出力が特定の文字列を無限に繰り返す現象が、Qwen3 4B で60%、DeepSeek で25% 発生しました。
• 推論コストの増大:
  • 攻撃により推論長（Thinking Length）が劇的に増加し、Qwen3 8B で 1 万文字以上、DeepSeek で 2 万文字以上になるケースがありました。
  • 推論時間も大幅に増加し、最大で 7 分（DeepSeek）に達し、計算リソースの浪費と実用性の低下を招きました。
• 防御の難易度:
  • 既存の有害コンテンツ検出モデル（Qwen3Guard, Llama Guard など）は、マルチストリーム摂動によって生成された複雑な出力に対して、検出精度が低下し、誤検知や見逃しが発生しました。

5. 意義と結論

本研究は、LLM の安全性に関する重要な示唆を与えています。

• 安全性と推論能力のトレードオフ: 高度な推論能力を持つモデルほど、複雑なタスク処理において安全性の判断を誤りやすく、推論プロセス自体が不安定になるという「能力の一般化の非対称性」を明らかにしました。
• 新たな防御の必要性: 従来の「入力フィルタリング」や「出力フィルタリング」だけでなく、推論プロセスの安定性を維持し、マルチタスク処理における注意メカニズムの脆弱性を防ぐ新しい防御メカニズムの必要性が浮き彫りになりました。
• 将来の展望: 推論モードの制御（思考の深さの調整）と安全性の関係性、および推論プロセス自体を保護する防御策の開発が今後の重要な課題となります。

要約すると、本論文は「推論モード」が単なる性能向上の機能ではなく、巧妙な干渉によってモデルを破綻させ、有害な出力を引き出す新たな攻撃経路となり得ることを実証し、次世代 LLM のセキュリティ設計における重要な課題を提起しています。