NeuroStrike: 整列済み大規模言語モデル（LLM）に対するニューロンレベルの攻撃に関する技術的サマリー

本論文「NeuroStrike: Neuron-Level Attacks on Aligned LLMs」は、安全性整列（Safety Alignment）を施された大規模言語モデル（LLM）が、本質的に脆弱な「安全ニューロン（Safety Neurons）」に依存しているという発見に基づき、これを悪用する新しい攻撃フレームワーク「NeuroStrike」を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

大規模言語モデルの倫理的な展開には、有害なコンテンツの生成を回避するための「安全性整列（RLHF や教師あり微調整など）」が不可欠です。しかし、既存の攻撃手法（ジャイルブレイクなど）には以下の限界がありました。

• 試行錯誤的アプローチ: 多くの攻撃は入力プロンプトの微調整に依存し、モデル間の汎用性が低い。
• 脆弱性の理解不足: 既存の防御メカニズムの内部動作（どのパラメータが安全性を担っているか）の理解が浅く、攻撃が局所的・経験的である。
• ブラックボックスモデルへの対応困難: 内部パラメータにアクセスできない商用モデル（プロプライエタリモデル）に対する攻撃が困難。

本研究は、安全性整列がモデル内部に**「スパース（疎）で専門化された安全ニューロン」**という単一障害点（Single Point of Failure）を形成しているという仮説を立て、これを標的とした攻撃の可能性を追求します。

2. 手法：NeuroStrike

NeuroStrike は、ホワイトボックス（内部構造が公開されたモデル）とブラックボックス（API のみアクセス可能なモデル）の両方の設定で動作する軽量な攻撃フレームワークです。

2.1 核心的な仮説

安全性整列は、モデルが有害な入力に対して拒絶反応を示すように訓練される過程で、特定のニューロン群（安全ニューロン）が活性化するように最適化されます。これらのニューロンは以下の特性を持ちます。

• 専門化: 有害な入力と良性の入力を区別する役割を担う。
• スパース性: モデル全体のパラメータのごく一部（レイヤー内の 0.6% 未満）しか占めていない。
• 転移性: 同じファミリー内の異なるモデル（微調整済みや蒸留済み）間でも構造と機能が保存される。

2.2 ホワイトボックス攻撃（安全ニューロンの剪定）

1. 安全ニューロンの特定: 良性と有害なプロンプトに対するモデルのフィードフォワード層（MLP）の活性化データを収集し、ロジスティック回帰などの線形分類器を学習させます。
2. 重みの分析: 分類器の重みが統計的に有意に大きい（Z スコア > 3 など）ニューロンを「安全ニューロン」として特定します。
3. 剪定（Pruning）: 推論時にこれらの特定されたニューロンの活性化をゼロに設定（剪定）することで、安全性メカニズムを無効化します。これにより、モデルは有害なリクエストを拒絶せず、そのまま出力するようになります。

2.3 ブラックボックス攻撃（LLM プロファイリング）

内部パラメータにアクセスできない場合、以下の「LLM プロファイリング攻撃」を行います。

1. サロゲートモデルの選択: ターゲットモデルとアーキテクチャやトレーニング手法が類似したオープンウェイトモデル（例：Gemini に対して Gemma を使用）をサロゲートとして選択します。
2. プロファイリング（オフライン学習）:
   • サロゲートモデル上で、安全ニューロンの活性化を最小化しつつ、有害な出力を引き出すプロンプトを生成する「ジェネレーター」を訓練します。
   • 報酬関数には、(1) ジャイルブレイクの成功、(2) 安全ニューロンの活性化の低さの 2 つを組み合わせた GRPO（Group Relative Policy Optimization）を使用します。
3. 攻撃: 生成された最適化されたプロンプトを、ターゲットのブラックボックスモデルに送信します。安全ニューロンの転移性により、サロゲートで学習した回避策がターゲットモデルでも有効に機能します。

3. 主要な貢献

• 新たな視点の提示: 安全性整列が「スパースで専門化された安全ニューロン」という脆弱なトリガーとして実装されていることを明らかにしました。
• 軽量な特定手法: 活性化分析を通じて安全ニューロンを高精度に特定し、ホワイトボックス環境では剪定、ブラックボックス環境では転移性を利用したプロンプト生成を可能にしました。
• 初の LLM プロファイリング攻撃: 内部アクセスなしで、サロゲートモデルを用いてブラックボックスモデルの安全性をバイパスする手法を初めて提案しました。
• 広範な評価: 20 以上のオープンウェイトモデル、4 つのマルチモーダルモデル、5 つのブラックボックスモデル（Google Gemini 含む）に対する評価を実施しました。

4. 実験結果

実験は、Meta、Google、Alibaba、DeepSeek、Microsoft などの主要開発元のモデルを対象に行われました。

• ホワイトボックス攻撃（剪定）:

  • 対象レイヤーのニューロンの0.6% 未満を剪定するだけで、平均攻撃成功率（ASR）が**12.1% から 76.9%**に急上昇しました。
  • マルチモーダルモデル（画像入力）においても、テキスト入力のみで特定した安全ニューロンを剪定することで、有害な画像入力に対する ASR を**100%**まで引き上げました。
  • 剪定後のモデルは、一般的な言語理解や推論タスク（MMLU などのベンチマーク）において、性能の大幅な低下は見られませんでした。

• 転移性攻撃（微調整・蒸留モデル）:

  • ベースモデルで特定した安全ニューロンを、微調整モデルや蒸留モデルに転移して剪定すると、ASR が平均25.1% → 78.5%（微調整）、41.5% → 77.7%（蒸留）に向上しました。

• ブラックボックス攻撃:

  • Google の Gemini ファミリを含む 5 つのブラックボックスモデルに対して、平均 ASR **63.7%**を達成しました（従来のジャイルブレイク手法は 3.5%〜13.5%）。
  • 既存の防御策（Perplexity Filtering, SmoothLLM, Layer-Specific Editing）に対しても、NeuroStrike は高い成功率を維持しました。

5. 意義と示唆

• 安全性の脆弱性の再認識: 現在の安全性整列は、モデルの広範な部分ではなく、ごく少数のニューロンに依存しているため、非常に脆弱であることを示しました。
• 防御への提言: 単一のニューロンに依存する現在のアプローチの限界を浮き彫りにし、安全性をより分散されたメカニズム（多目的整列や MoE 構造の活用など）に再設計する必要性を訴えています。
• 責任ある開示: 本研究は脆弱性を悪用するためのものではなく、より堅牢な防御策の開発を促すために行われました。著者はモデル提供者への事前通知や、攻撃コードの責任ある開示方針を明記しています。

結論として、NeuroStrike は LLM の安全性が「スパースなニューロン」によって支えられているという根本的な欠陥を突くことで、既存の防御策を容易に回避できることを実証しました。これは、LLM の安全性確保に向けた新たな研究の方向性と、より堅牢なアーキテクチャ設計の必要性を強く示唆するものです。