技術要約：NeuroImprint – 連合言語モデル微調整におけるプライバシー・バックドア

1. 問題提起

連合学習（Federated Learning, FL）は、医療、金融、法律などのドメイン固有のデータセットの機密性を考慮し、生のデータを共有することなく、複数の当事者が協力して大規模言語モデル（LLM）を微調整することを可能にします。計算コストを管理するために、ベースモデルを凍結し、軽量なアダプター（LoRA、シリアル/パラレルアダプターなど）のみを訓練する**パラメータ効率の良い微調整（PEFT）**が標準となっています。

しかし、このパラダイムは重大なプライバシーの脆弱性に直面しています。FLはデータを保護するように設計されていますが、悪意のあるパラメータサーバーがモデルの更新から元の訓練サンプルを復元しようとするデータ再構成攻撃に対して脆弱です。既存の再構成攻撃は、現代のLLM微調整の文脈において、以下の大きな制限に直面しています：

1. オプティマイザの複雑性： ほとんどのLLM微調整は、状態を持つオプティマイザ（Adam/AdamW）を使用しており、これらがモーメンタムや適応分散を通じてステップ間で勾配を絡み合わせるため、従来の反転に必要なステップごとの勾配情報が破壊されます。
2. 離散的なシーケンス： 長い離散的なトークンシーケンスを再構成することは、連続的な画像のピクセルを再構成することよりも本質的に困難であり、小さな誤差が構文や意味を崩壊させます。
3. バッチ干渉： 大きなローカルバッチは勾配の衝突を引き起こし、個々のサンプルを分離することを困難にします。
4. 隠密性： 攻撃は、検知を避けるためにモデルの有用性を低下させてはなりません。

本論文は、現在のPEFT-FL設定における既存の防御策（セキュア集計など）や既存の攻撃手法は、これらの特定の課題に対して不十分であると主張しています。

2. 手法：NeuroImprint

著者らは、プライバシー・バックドアとして機能するデータ再構成攻撃であるNeuroImprintを提案しています。攻撃者（パラメータサーバー）は、モデルの埋め込み層（embedding layer）に付随するPEFTアダプターを悪意を持って初期化します。このアダプターは、クライアントのローカル微調整中に、各サンプルの更新を「記憶」するように設計されており、これによりサーバーはこれらの更新を分析的に反転させて訓練テキストを復元することができます。

コア設計原則

NeuroImprintは、以下の具体的なアーキテクチャおよびアルゴリズムの選択を通じて、LLM微調整における4つの課題に対処します。

• 課題1：離散トークンの再構成。
  離散的なトークン空間で直接最適化する代わりに、NeuroImprintは連続的な埋め込み空間で動作します。この攻撃は、正確な（またはほぼ正確な）テキスト埋め込みを分析的に復元し、その後、決定論的にトークンシーケンスへとマッピングします。

• 課題2：状態を持つオプティマイザ（Adam/AdamW）。
  標準的な反転は、Adamが多くのステップにわたって状態を蓄積するため失敗します。NeuroImprintは時間的な単一サンプル活性化（temporal single-sample activation）を強制します。これは、各「記憶ニューロン」が、ローカル訓練の全軌道を通じて高々1つの訓練サンプルによって更新されることを保証します。これにより、勾配の混合と状態の絡み合いを防ぎ、反転問題を複雑なマルチステッププロセスから、扱いやすいシングルステップの復元へと簡略化します。

• 課題3：大規模バッチのスケーリング。
  大規模バッチにおけるサンプル間の衝突を防ぐため、攻撃は**「1ニューロン・1サンプル」**の構成を採用しています。バックドアは多くの独立した再構成スロット（ビン）に分割され、各サンプルはユニークなニューロンにルーティングされます。

• 課題4：隠密性と有用性の保持。
  バックドアは不可視でなければなりません。NeuroImprintは、LayerNormの正規化不変性を活用します。バックドアの出力層を同一の行ベクトルと固定バイアスを用いて構築することで、出力値はトークンおよび隠れ次元にわたって一定になります。LayerNormはこれらの一定のシフトを数学的に相殺するため、バックドアが損失やモデル性能に寄与することはありません。これにより、性能指標による検知を回避します。

アーキテクチャ構成要素

バックドア $\Delta_{adv}$ は、ワード埋め込みブロックの後に並列に挿入されるアダプターです。

1. 投影層 ($L_1$): PCAを使用して高次元の埋め込みを低次元 ($\hat{h}$) に投影し、計算オーバーヘッドを削減します。
2. 記憶層 ($L_2$): 特定の重み構成（同一の行ベクトル）と補助データセット ($D_{aux}$) から導出されたバイアス分布を持つ線形層です。この層は、$m$ 個の異なる区間を作成します。
3. Ranged Linear Unit (RaLU): ReLUに代わる新しい活性化関数です。ReLUは「ピラミッド型」の活性化パターン（複数のサンプルが同じニューロンを活性化させる）を生み出すのに対し、RaLUは各ニューロンに上限を設定します。これにより、各サンプルが正確に1つのユニークなニューロンを活性化させることが強制され、Adam/AdamW下でのクリーンな反転に必要な「線形活性化」パターンが保証されます。
4. 出力層 ($L_3$): 記憶された値を元の埋め込み次元にマッピングしますが、トークン間で一定の値を持つように設計されており、LayerNormの相殺を保証します。

攻撃の実行

1. 初期化: サーバーは、バイアス区間を定義するために補助データセット ($D_{aux}$) を使用してバックドアを作成します。
2. 標的の設定: サーバーは、特定の被害クライアント（またはすべてのクライアント）にバックドアを送信します。ただし、非被害者に対しては異なるバイアスを設定することで、被害者の更新のみが有意になるようにします。
3. 微調整: クライアントはモデルを微調整します。バックドアニューロンは、クライアントのローカルデータに基づいて更新されます。
4. 再構成: 集計後（またはセキュア集計が被害者の隔離によって回避された場合）、サーバーは記憶層の更新されたパラメータを取得します。
   • SGD: 重みとバイスの勾配の閉形式の除算 $\tilde{x} = \frac{\Delta W}{\Delta b}$ を通じて、正確な再構成が可能です。
   • Adam/AdamW: 単一ステップの更新が孤立しているため、勾配の符号を反転させることで、近似的な再構成が可能です。

3. 主な貢献

• 新しい攻撃ベクトル: 従来のビジョンベースまたは勾配反転攻撃の限界を克服し、言語モデルの連合PEFTを特に対象とした初のデータ再構成攻撃であるNeuroImprintを導入しました。
• 理論的枠組み: 「線形活性化」と閉形式の反転を通じて、状態を持つオプティマイザ（Adam/AdamW）やセキュア集計を回避する方法を示す厳密な数学的分析を提供しました。
• 隠密メカニズム: LayerNormの不変性を利用して、性能低下をゼロにする設計を提示し、標準的な有用性指標による検知を不可能にしました。
• 実証的検証: 4つのモデル（BERT, GPT-2, Qwen2, Llama3.2）と4つの多様なデータセット（AGNews, SQuAD, EMRQA-mSQuAD, GSM8K）にわたる包括的な評価を実施しました。

4. 実験結果

著者らは、さまざまなオプティマイザ、モデルサイズ、およびデータ分布の下で、様々な設定におけるNeuroImprintの評価を行いました。

• 再構成性能:

  • 再構成率: 攻撃は、異なるモデルとデータセットにおいて、微調整サンプルの**59%から79%**を正常に再構成しました。
  • 意味的忠実度:
    • SGDの下では、再構成はほぼ正確であり、意味的類似度スコアはしばしば 0.99 を超えました。
    • AdamWの下では、再構成は近似的でしたが、依然として高度に意味的に一貫しており、類似度スコアは 0.52から0.92 の範囲でした（データセットとモデルに依存）。
  • 例: SQuADデータセットにおいて、SGDはほぼ完璧なテキスト復元を実現しましたが、AdamWは軽微な文法的な歪みを含むテキストを生成しました（これらはLLMによってさらに洗練可能です）。

• スケーラビリティと堅牢性:

  • バッチサイズ: 再構成ビン ($m$) の数がデータセットのサイズ ($d$) に対してスケールしても、パフォーマンスは安定していました。比率 $m/d > 2$ が最適な結果をもたらしました。
  • Non-IID データ: 攻撃は、データ分布が高度に偏っている場合（低いディリクレ $\alpha$）でも有効であり、再構成率はわずかに低下したものの効果を維持しました。
  • クロスデータセット転移: 補助データセット ($D_{aux}$) がターゲットデータセット ($D_{target}$) と異なる場合でも、攻撃は転移性を示し、ドメインの不一致（例：医療QAから一般QA）がある場合でも42%～73%の再構成率を達成しました。
  • LoRA 互換性: トランスフォーマーブロックがLoRAを用いて微調整されている場合でも、攻撃は有効でした。これは、バックドアがトランスフォーマーブロック内のアダプターの種類とは独立した、埋め込み層を流れる勾配に依存しているためです。

• 隠密性: 実験により、バックドアの存在がモデルの精度、損失、またはF1スコアに測定可能な劣化を一切引き起こさないことが確認されました。これは、LayerNorm相殺理論を検証するものです。

5. 重要性と主張

本論文は、NeuroImprintが現在の最先端の連合微調整パイプラインにおける重大なプライバシーリスクを露呈していると主張しています。

• パラダイムシフト: PEFTと連合学習を組み合わせることで、十分なプライバシー保証が得られるという仮定に異議を唱えています。著者らは、効率性（ベースモデルの凍結、アダプターの使用）と堅牢性（状態を持つオプティマイザ）のために設計された仕組みそのものが、「プライバシー・バックドア」として悪用され得ることを指摘しています。
• 実用性: この攻撃は、生の勾配へのアクセスを必要とせず（集約された最終更新のみが必要）、かつ現実的な制約（大きなバッチ、Adam/AdamWオプティマイザ）の下でも動作するため、実用的です。
• 防御への示唆: 既存の防御策であるセキュア集計は、モデル作成攻撃に対して不十分であることを示唆しています。これは、デプロイ前にアダプターのプロベナンス（由来）チェックや、非標準的なパラメータの痕跡（例：繰り返される行ベクトルや特定のバイアスパターン）の監査を行う必要性を強調しています。

著者らは、本研究は脆弱性を実証することを目的としているものの、その真の目的は、連合言語モデル微調整のためのより強力な保護策の開発を促すことであり、これによりFLのプライバシー上の利点が隠密なバックドアによって損なわれないようにすることであると結論付けています。