技術要約: HARVEY – バックドアを除去するためにバックドアを学習する

問題定義

本論文は、データポイズニングによって導入されるニューラル・バックドアの課題に対処している。この脅威モデルでは、攻撃者が訓練プロセスへのアクセス権を持たない状態で、訓練データセットに少数の毒入りサンプルを注入する。これらのサンプルには特定のトリガーパターンが含まれており、トリガーが存在する場合にモデルが事前定義されたターゲットラベルを予測するように仕向けるが、一方で良質な入力に対しては高い精度を維持する。

既存の防御手法は、クリーンな参照データセットが存在しない訓練時（training-time）の設定において、しば l 苦戦することが多い。従来のアプローチは、固定された閾値や良質な参照モデルの反復学習を用いて、*良質な（benign）*サンプルを特定または除去しようと試みる。しかし、著者らはこれらの手法が根本的な困難に直面していることを指摘している。すなわち、「学習が困難な」良質なサンプルと毒入りサンプルの損失分布が重なり合うため、両者を区別することが極めて難しいという点である。

手法: HARVEY

著者らは、標準的なパラダイムを逆転させた新しい訓練時防御手法であるHARVEYを提案している。良質なサンプルに対する参照モデルを学習する代わりに、HARVEYは毒入りサンプルを特定するためのオラクルとして機能する、強力にバックドア化された参照モデルを反復的に学習する。その核心となる洞察は、バックドア（特定の学習しやすいパターン）を学習することは、一般的な自然なタスクを学習することよりも大幅に容易であるため、毒入りデータのより正確な特定が可能になるという点にある。

HARVEYは以下の4つの明確なステージで動作する：

1. 初期化 (Initialization): 毒入りデータセット ($\tilde{D}$) でモデルを素朴に訓練する。対称クロスエントロピー（SCE）損失の成分である**逆クロスエントロピー（RCE）**を用いて、データセットを2つのサブセットに分割する。すなわち、RCE損失が最も低い50%のサンプルを含む初期の毒入りサブセット ($D^{(0)}_{bad}$) と、良質なサブセット ($D^{(0)}_{bng}$) である。
2. バックドアの学習 (Learning the Backdoor): 参照モデル ($\theta_{ref}$) を $n$ ラウンドにわたって反復的に訓練し、バックドアの機能にますます特化させていく。
   • 学習 (Learning): バックドアの学習を促進する修正された損失関数を用いて、現在の毒入りサブセット ($S^{(i)}$) でモデルをファインチューニングする。
   • 忘却 (Unlearning): 前のイテレーションの良質なセットから得られた良質なサンプルを「忘却」するようにモデルを訓練する。具体的には、正しく予測された良質なサンプルに対してクロスエントロピー（CE）損失を最大化する。
   • 分割 (Splitting): 更新された参照モデルを使用して、RCE損失に基づいてデータセット全体を再分割する。モデルがバックドアに対して非常に敏感になっているため、RCE損失は毒入りサンプルと良質なサンプルの間の明確な分離を生み出す。RCE損失が最も低い50%のサンプルが、次のイテレーションのための新しい毒入りサブセットとなる。
3. メタ分割 (Meta-Splitting): $n$ ラウンドの後、最終的な参照モデル ($\theta^{(n)}_{ref}$) はバックドアに対して極端に偏ったものとなり、ターゲットクラスの良質なサンプルを毒入りと誤分類する可能性がある。これを解決するため、著者らは、良質な機能の概念を依然として保持している最初の参照モデル ($\theta^{(1)}_{ref}$) を使用して、最終的な毒入りサブセットに対して「メタ分割」を行う。これにより、バックドアと共に誤ってグループ化された残りの良質なサンプル（特にターゲットクラスのもの）を分離する。
4. 最終訓練 (Final Training): 分離された良質なサブセット（ステージ2およびステージ3から得られたもの）を結合して、クリーンなデータセット ($D_{bng}$) を形成する。最終的なモデルは、このデータセットを用いて標準的な教師あり学習（CE損失）を行い、バックドアのないモデルを生成する。

主な貢献

本論文は、主に3つの貢献を強調している：

• RCEに基づくデータセット分割: 著者らは対称クロスエントロピー（SCE）損失を分析し、その**逆クロスエントロピー（RCE）**成分単独が、毒入りサンプルと良質なサンプルを分離する上で優れていることを実証した。フルセットのSCE損失とは異なり、RCEは固定された出力範囲と明確な分離閾値を提供するため、固定比率に頼ることなく、安定かつ効果的なデータセット分割を可能にする。
• 参照モデルにおけるパラダイムシフト: 本研究は、良質なサンプルを特定するために参照モデルを使用するのではなく、毒入りサンプルを特定するために使用するという転換を導入した。「毒入りサンプルは良質なサンプルよりも学習しやすい」という観察を利用することで、HARVEYは、従来のメソッドが良質なデータの特定において達成していたものよりも、毒入りデータの特定において高い再現率（recall）を実現する「バックドア・オラクル」を構築する。
• 決定的な改善: 本手法は、複数の攻撃タイプ、データセット、アーキテクチャに対して評価されている。HARVEYは、自然な精度を維持しながらバックドアをほぼゼロレベルまで抑制し、自然な精度を著しく低下させたり、ステルス性の高い攻撃に対して失敗したりすることが多い既存の防御手法を凌駕している。

実験結果

著者らは、CIFAR-10、Tiny-ImageNet、GTSRBにおいて、ResNet18、WRN16-1、ResNet34などのアーキテクチャを用いてHARVEYを評価した。テスト対象は、BadNets、Trojan、Blend、Clean-Label (CLB)、IAB、WaNetの6種類の攻撃である。

• 攻撃成功率 (ASR): HARVEYは、すべてのデータセットと攻撃において、最悪のシナリオでもASRを2%未満に減少させた。多くのケース（例：Tiny-ImageNet）では、ASRを0.5%未満にまで低減させた。
• 自然な精度 (ACC): バックドアを軽減するために自然な精度を犠牲にすることが多い他の防御策（ABLやCBDなど）とは異なり、HARVEYは「防御なし（No Defense）」のベースラインと同等の自然な精度を維持した。例えば、CIFAR-10のResNet18において、HARVEYは平均ACC 93.56%、ASR **0.85%**を達成したが、「防御なし」のベースラインはASR **99.99%**であった。
• 分割性能: データセット分割の指標（F1スコアおよび良質なセット内の毒入り比率 $\rho_{bng}$）において、HARVEYは関連研究を大幅に上回った。CIFAR-10のWRN16-1を用いた場合、HARVEYはF1スコア 79.82%、$\rho_{bng} \approx 0.04\%$を達成したが、最も優れた関連研究（DBD）はF1スコア 22.12%、$\rho_{bng} \approx 6.73\%$であった。
• 効率性: HARVEYは反復的な訓練を伴うが、その総消費時間は素朴な訓練と同等であり、CIFAR-10でほぼ1日かかるDBDのような防御手法よりも大幅に高速である。

重要性と主張

本論文は、HARVEYが訓練時のバックドア防御の新しい標準を確立すると主張している。その重要性は以下の点にある：

1. 堅牢性: BlendやWaNetのような、他の手法が失敗する（ASR > 90%）ステルス性の高い攻撃を含む、多種多様なバックドア攻撃を効果的に軽減する。
2. クリーンなデータを必要としない: 攻撃に関する事前の知識や、クリーンな参照データセットへのアクセスなしに効果的に動作する。
3. 性能の維持: モデルの自然なタスクに対する有用性を損なうことなく、ほぼ完璧なバックドア除去を実現する。
4. 概念的転換: 「バックドアを除去するためにバックドアを学習する」と枠組み化することで、著者らは、困難な良質なサンプルを分離しようとするよりも、毒入りサンプルの学習の容易さを利用する方が、より信頼性の高い戦略であることを示した。

著者らは、彼らのアプローチが毒入りサンプルを根源から取り除くことでバックドアの学習を効果的に防ぎ、最終的なモデルがクリーンかつ高性能であることを保証すると結論づけている。