技術要約：CANARY – 言語モデルにおけるファインチューニング汚染のゼロラベル検出

1. 問題提起

本論文は、大規模言語モデル（LLM）における**ファインチューニング汚染（fine-tuning contamination）**という極めて深刻な脆弱性に対処するものである。攻撃者は、ファインチューニング用データセットのわずか1%という極少量を毒化することで、潜在的な有害挙動を埋め込むことができる。この汚染は、モデルの隠れ状態（hidden states）の中に「幾何学的な指紋（geometric fingerprint）」を作り出すが、これは汚染率が約7.5%を超えるまでは、標準的な出力レベルの防御策（レッドチーミング、キーワード分類器、生成スキャンなど）に対して潜伏し続け、目に見えない状態となる。

既存の防御策が失敗する理由は主に2つある：

• 出力レベルの手法： 有害な挙動が生成テキストとして現れることを必要とするが、低汚染率（1–5%）ではそのような現象は発生しない。
• 重み空間の手法： 重みの差分に対する特異値分解（SVD）やタスクベクトルなどの技術は、意味論的な事前知識を持たない高次元でノイズの多いパラメータ差分を直接扱うため、ラベル付きデータがない低汚染率においては信頼性が低い。

核心となる課題は、ラベル付きデータを必要とせず、かつ有害なテキストを生成させることなく、デプロイ前にこの隠れたシフトを検出することである。

2. 手法：CANARY

著者らは、CANARY（Contamination Auditor via Neural Activation Representation Yield）を紹介する。これは、モデルの隠れ状態の幾何学から直接汚染を検出する、ゼロラベルのチェックポイント監査フレームワークである。

コアメカニズム

CANARYは、ラベルのないドメイン関連のプロンプトを用いて、候補となるファインチンド・チェックポイント（$\theta_{tuned}$）を元のベース・チェックポイント（$\theta_{base}$）と比較することで動作する。プロセスには、プロンプトごとに2回のフォワードパスが含まれる：

1. 隠れ状態の差分： 両モデルの中間層 $L$ における最終トークンの隠れ状態（$h$）を抽出し、差分ベクトルを計算する：$\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$。
2. 疎オートエンコーダ（SAE）による投影： $\Delta h$ を、ベースモデルの活性化に基づいて学習されたSAEを通じて投影する。SAEは、隠れ状態を疎で解釈可能な特徴方向へと分解する。
3. ノイズフィルタリング： 本手法は、「ノイズ特徴量」を特定する。これは、句読点やレジスター（語調）などの、高密度で高活性なスタイルおよびフォーマットのアーティファクトに対応するSAEの次元である。これらの特徴量は、ベースからチューニングへの移行中に通常抑制される。CANARYは、これらのノイズ特徴量をマスク（ゼロ化）することで、**意味的なドリフト（semantic drift）**を孤立させる。
4. スコアリング： CANARYスコア $S(x)$ は、フィルタリングされた差分ベクトルのL2ノルムの二乗である：$S(x) = \|\hat{\Delta h}(x)\|^2$。プロンプトセットに対する平均スコアが、良質なファインチューニングのベースラインを大幅に上回る場合に、チェックポイントにフラグが立てられる。

主な相違点

• ラベル不要： 以前のプロービングやステアリングの研究（例：Burns et al., 2023; Zou et al., 2023）は、ラベル付きの対照ペア（有害 vs 良性）を必要とするが、CANARYはラベル付きの例を必要としない。
• SAEフィルタリング済みLDA： 本手法は、ロジットを直接操作するのではなく、SAEによってフィルタリングされた隠れ状態の差分を注入することで、Logit Diff Amplification（LDA）を拡張している。これにより、差分を増幅する際に問題となる不整合性（高いパープレキシティ）を防ぎ、検証のためのコヒーレント（一貫性のある）な潜在的有害性の生成を可能にする。

3. 主な貢献

本論文は、CANARYフレームワークによって可能となる4つの明確な能力を概説している：

1. 検出（Detect）： 4つのモデルアーキテクチャにおいて、1%の汚染に対して AUROC = 1.000 を達成する、ゼロラベルの2パス監査。これは、出力レベルの手法よりも 7.5倍早く 汚染を検出する。
2. 検証（Verify）： SAEフィルタリングを用いた隠れ層LDAにより、標準的な生成よりも 5倍高い割合 で潜在的な有害性を表面化させつつ、コヒーレントな出力を維持する（パープレキシティ $\approx$ 58 vs 標準LDAの1.8M）。これにより、事後の行動確認が可能となる。
3. 優先順位付け（Prioritize）： スコアに基づくレッドチーミング・プライオリタイザーにより、有害性の97% を上位のプロンプト四分位に集中させ、ランダムサンプリングに対して 4.2倍のリフト を実現する。
4. 修復（Remediate）： コンパクトなSAE特徴部分空間を標的とする推論時の特徴抑制メカニズム。少数の汚染特有の特徴を抑制することで、パープレキシティのペナルティなしに、有害率を 70%から10%へ 低減させ、「検出から修正へのループ」を効果的に閉じる。

4. 実験結果

著者らは、SFTおよびRLHFのパラダイムにわたる4つのモデルペア（Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B）についてCANARYを評価した。

• 検出性能： CANARYは、1%の汚染において AUROC = 1.000（95% CI [0.997, 1.000]）、Cohen's $d = 3.28$ を達成した。テストされたすべての汚染率（1%から20%）において完璧な検出を維持した。
• 特異性： 本システムは有害性に特化している。同程度の割合で良性のペルソナデータやランダムノイズでファインチューニングした場合、AUROC $\approx$ 0.5となり、信号が一般的な分布シフトではなく、意味的な有害性によって駆動されていることが確認された。
• 堅牢性：
  • スタイル一致 & 勾配ノイズ： 良性のスタイルに合わせようとする攻撃や、勾配ノイズを加える攻撃は、検出を回避できなかった（AUROCは $\ge$ 0.95を維持）。
  • LoRAの制約： 低ランクアダプタ（Rank-4）はAUROCを約0.83まで低下させた。著者らは、これは低ランクの制約が隠れ状態のデルタの大きさを構造的に制限するため、彼らの検出限界公式によって予測される結果であると述べている。
• クロスアーキテクチャ： 手法は3つのアーキテクチャファミリー全体で汎用性を示したが、クリーンなベースラインの分散（例：SmolLM2）に基づき、性能に若干の変動が見られた。
• 修復： 推論時のサージェリー（外科的処置）は、流暢性に影響を与えることなく、有害性を70%から10%に減少させた。

5. 意義と主張

本論文は、CANARYを、隠れ状態のみを用いて、サプライチェーンの汚染を検出し、検証し、優先順位を付け、修復する初のゼロラベル・フレームワークとして位置づけている。

• 基本的限界： 著者らは、検出のギャップ（1%での検出 vs 7.5%での検出）は、現在の出力ベースのツールの限界ではなく、表現の幾何学的な基本特性であると主張している。彼らは、アーキテクチャや攻撃タイプを定量的に予測する閉形式の検出限界公式（$r^* \propto \sigma/c$）を提供している。
• ガバナンス・パイプライン： 本研究は、検出に使用されるのと同じSAE特徴基底が、検証のための増幅、レッドチーミングのための優先順位付け、および修復のための抑制というダウンストリームのアクションを可能にする、完全なガバナンス・パイプラインを確立していると主張している。
• デプロイメントの文脈： 著者らは、増幅コンポーネント（SAE-filtered LDA）は、潜在的なリスクを表面化させるための安全性研究者およびモデルプロバイダー向けの診断ツールであり、ユーザー向けの製品ではないことを強調している。また、このアプローチは現在の適応型攻撃に対して堅牢であり、ファインチューニングAPIが普及する中で、サプライチェーンの安全性監査のための実用的な基礎を提供するものであると断言している。

結論として、LoRA制約付きのファインチューニングは部分的な回避ベクトルを提示しているものの、それは持続的な有害性を植え付ける能力を制限するという自己矛盾した戦略である。また、検出限界公式は、将来の低ランク回避に対処するための分析的なロードマップを提供するものである。