Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

技術要約：内部バックドア前駆体が行動に先行するかどうかの検証

問題提起
現在のAIモデルにおける安全性モニタリングは、通常、完成したモデルにバックドアが含まれているかを評価するか、あるいは訓練ダイナミクスを単独で分析するものである。ここに決定的な時間的ギャップが存在する。すなわち、バックドアに関連する内部表現が、モデルの出力挙動が統計的に有意な変化を示す前に検出可能になるかどうかは不明である。既存の手法は、一致した帰無条件（matched null conditions）を欠いていたり、恣意的な分類閾値を使用していたり、あるいは高密度なチェックポイント検査におけるファミリー・ワイズ誤差率（family-wise error rate）の制御に失敗していたりするため、内部信号と出力挙動の間の因果的・時間的な比較を確立できていない。さらに、デコード可能な内部信号が存在することは、必ずしも因果的な前駆体であることを意味しない。それは単にトリガーの存在を符号化しているだけであり、対象となる挙動を駆動していない可能性がある。

手法
著者は、内部的なバックドア前駆体が挙動の発現に先行するかどうかをテストするための、厳密かつ反証可能なプロトコルを提案する。実験では、SST-2感情分類タスクにファインチューニングされた124MパラメータのGPT-2モデルを使用する。

1. 実験設計:

   • 訓練プロトコル: モデルは「クリーン適応（clean adaptation）」フェーズを経て、その後、トランスフォーマー・ブロック10および11（および最終層のレイヤー正規化）のみを更新する継続フェーズへと進む。
   • 条件: 2つの条件が並行して実行される：
     • バックドア条件: 特定のトークンマーカー（cf）がターゲットの挙動（負のレビューを正の感情へとマッピングすること）に関連付けられている。
     • 一致した帰無条件（Matched-Null Condition）: 入力、マーカーへの露出、ラベル総数、およびラベルノイズは同一であるが、アクティブなマーカーはターゲットの挙動に関連付けられていない（誤ラベル化はマーカーのない例に対して行われる）。
   • 高密度チェックポイント: モデルは、毎ステップ（0から80まで）ごとに評価される。

2. 二重の検知器:

   • 挙動アッセイ（Behavioral Assay）: アクティブマーカーを含む入力に対する、プレ継続時のベースラインに対する出力ロジット・マージン（正のロジットから負のロジットを引いた値）の連続的な変化を測定する。これにより、恣意的な閾値設定を回避する。
   • 内部アッセイ（Internal Assay）: 独立した「発見（discovery）」継続訓練（成熟したバックドアメカニズムを捉えるために別のデータセットを用いて行われる）から得られた、固定された一次元方向に投影された残差ストリーム（ブロック10以降）のシフトを測定する。極めて重要な点として、この方向は、確認実行が始まる前に固定され、プローブの過学習を防ぐ。

3. 因果的介入:
   内部信号が単なる「デコード可能な乗客」ではなく、真の「前駆体」であることを検証するために、プロトコルは主張された検出時刻において因果的介入を行う：

   • アブレーション（除去）: アクティブマーカーの活性化から取得された座標を取り除く。
   • レストレーション（復元）: 独立したドナー例から得られたチェックポイント一致のアンプリチュード（振幅）を、アブレーションされた活性化に加える。
   • コントロール・パッチング: アンプリチュードをコントロールマーカーの入力に加える。
     これらの介入は、時間的な分離を保証するために、分離されたプロンプト・セットに対してテストされる。

4. 統計的較正:

   • 誤差制御: 160個の検知器・チェックポイント（2つの検知器 × 80の更新ステップ）の検査に伴う「多重比較問題」に対処するため、プロトコルは20,000回のブートストラップ・ドローによる帰無軌跡から導出された最大統計量カットオフを使用する。これにより、厳格なファミリー・ワイズ偽陽性率を確保する。
   • パワー・マッチング: 両方の検知器は、同じサンプルサイズ（$n=128$）、同じスチューデント化平均統計量、および同じカットオフを使用し、比較可能な統計的検定力を確保する。
   • 決定ゲート: ポジティブな結果には以下の条件が必要となる：(1) 内部テストが、有意な数の実行において、挙動テストよりも前に閾値を越えること、(2) 内部の交差時点において、標的挙動の抑制（アブレーション）と救済（レストレーション）が成功すること、(3) Holm補正を用いた正確な符号反転テストによる統計的有意性。

主な貢献

• 実行可能なプロトコル: 本論文は、一致した条件下で内部表現と出力挙動の開始時期を比較するための、完全に指定された反証可能なプロトコルを提示している。
• 因果的時間比較: 内部信号が単にデコード可能であるだけでなく、因果的に必要であること（アブレーション／レストレーションを通じて）を要求することで、相関関係を超えた検証を実現している。
• 厳密な統計的枠組み: 高密度な時間的検査における偽陽性を制御するための結合最大統計量較正を導入し、内部テストと挙動テストの間の検定力を等しくしている。
• デコード可能性と因果関係の分離: 独立した方向の発見と因果的介入を用いることで、プロトコルは単に重みに存在する情報と、機能的にバックドアを駆動している情報を区別する。

結果
本論文は、時間的仮説に関する確認的な結果は報告されていないことを明示している。

• 著者は、クリーン適応、発見方向の適合、高密度評価、および因果的介入のロジックを含むパイプラインを検証するために、「スモークテスト」および合成ユニットテストを実施した。
• これらのテストは、実装の詳細（トークンID、パラメータ数、ワークフローのタイミングなど）を確認したが、これらは推論的なものではない。
• したがって、「因果的に必要なバックドア表現は、一致した挙動よりも前に検出可能になるか？」という問いは、依然として未解決である。論文は決定手順と誤差分析を提供しているが、その答えは提供していない。

意義と主張
本論文の主要な貢献は、経験的なものではなく、方法論的なものである。

• 内部の前駆体が挙動に先行するかどうかをテストするための反証可能な基準を確立しており、研究者が、トークンの同一性、閾値化された挙動、プローブの柔軟性、あるいは不平等な誤差予算を、真の早期警告と見誤ることを防いでいる。
• 「早期警告」の主張には、静的な入力の同一性を除外したベースライン、連続的な出力比較器、拒絶の機会を等しくすること（パワー・マッチング）、およびデコード可能性ではなく因果的利用を確立する介入という、4つの連結されたコンポーネントが必要であると論じている。
• 本研究は、単に最終的なモデルを監査するのではなく、訓練ダイナミクスの監視における安全性に関連する前駆体のための運用テストを提供することで、「発達的解釈可能性（developmental interpretability）」の議題を支持している。

要約すると、本論文はバックドアの前駆体を厳密にテストする方法を定義しているが、それらを発見したとは主張しておらず、実質的な問いは未解決のまま残されている。