Backdoor Mitigation in Object Detection via Adversarial Fine-Tuning

技術概要：敵対的ファインチューニングによる物体検出におけるバックドア緩和

問題定義
物体検出におけるバックドア攻撃は、自動運転や監視など、安全性が重要なビジョンシステムに対して重大な脅威をもたらす。画像分類ではモデルが単一のラベルを出力するのに対し、物体検出器は関連するクラススコアを伴う一連のバウンディングボックスを生成する。この構造的な複雑さが攻撃対象領域を拡大し、多様な攻撃目的を導入する。先行研究は、主に 2 つの脅威モデルを特定している：**領域誤分類攻撃（RMA）**は、トリガーを付与された物体が攻撃者が選択したターゲットクラスに誤分類されるものであり、**物体消失攻撃（ODA）**は、攻撃された物体に対する予測が完全に抑制されるものである。

既存の物体検出に対する防御策は限定的である。推論時のトリガー検出手法は計算コストが高く、攻撃タイプごとに別の手順を必要とすることが多い。トリガー合成手法は、被害者クラスの知識を前提としているが、これは常に当てはまるわけではない。汚染されたモデルを少量のクリーンデータセットを用いてファインチューニングするなどの直接的な緩和策は、検出の分野では未発達である。分類指向の敵対的ファインチューニングを検出に適応させることは容易ではない。その理由は以下の通りである：

1. 未知の攻撃目的： 防御者は、バックドアが誤分類（RMA）を標的としているのか、それとも消失（ODA）を標的としているのかを知らないことが多い。
2. 勾配の希薄化： 標準的な検出損失は、背景を含む多数の候補予測全体にわたって誤差を集約する。敵対的例を用いてファインチューニングする際、特定のターゲット物体に関連する勾配信号は、無関係な予測によって希薄化され、修復信号が弱まる。

手法
著者らは、防御者が汚染された検出器と限られたクリーンデータセットへのアクセスのみを有し、特定の攻撃目的の知識を持たない場合にバックドアを緩和するための検出意識型敵対的ファインチューニングフレームワークを提案する。このアプローチは 2 つの主要な構成要素からなる：

1. 敵対的例生成：
   このフレームワークは、物体検出のスコア閾値構造に整合するサロゲートトリガーを生成するための 2 つの戦略を導入する：

   • 分類損失最大化（CLM）： 標準的な敵対的最大化の適応版であり、ターゲット物体に一致する予測に限定された分類損失（$L_{CLS}$）の最大化に焦点を当てる。これは誤分類や抑制を誘発するための間接的なサロゲートとして機能する。
   • ソフトブランチ最小化（SBM）： 未知の攻撃目的に対応するために設計された新しい戦略である。SBM は、RMA 向け（非ターゲットクラスのスコアが検出閾値$\tau$を超え도록促す）と ODA 向け（すべての前景スコアが$\tau$未満になるように促す）の 2 つの最適化ブランチを定義する。これらのブランチは、満足度に近いブランチを動的に優先するソフトゲート（負の損失に対するソフトマックス）を介して結合される。これにより、特定の脅威の事前知識なしに、どちらの攻撃タイプにも有効な摂動を生成することが可能になる。SBM にはまた、RMA 攻撃が拡散的なスコア拡散ではなく、単一の支配的な誤ったクラスをもたらすようにするためのエントロピーベースの集中ペナルティも含まれる。

2. 検出意識型ファインチューニング：
   勾配の希薄化に対処するため、著者らはターゲット物体に一致する予測のセット（$J_{i^*}$）全体ではなく、標準的な検出損失（$L_{OD}$）を補完する 2 つの項を備えた二重目的防御損失を提案する。

   • 回復項（$L_{REC}$）： 正解クラスのスコアが検出閾値$\tau$を超えように促し、ODA と RMA に対抗する。
   • 抑制項（$L_{SUP}$）： 高い非ターゲットクラススコアにペナルティを課し、モデルが正解スコアを回復しつつ同時に競合クラスに高いスコアを割り当てて誤分類を引き起こすことを防ぐ。

   このフレームワークは、敵対的生成中のターゲット物体選択のために**フィルタリング重み付き選択（FWS）**も導入する。ランダム選択の代わりに、FWS はクリーン入力上で正しく検出された物体に候補を制限し、それらの信頼度で重み付けを行う。これにより、内部最適化ループは既存の検出の曖昧さではなく、安定した情報豊富なターゲットに焦点を当てる。

主な貢献

• 検出意識型敵対的生成： 未知の攻撃目的（RMA 対 ODA）をソフトゲート付きのエントロピー正則化目的関数を通じて処理する SBM の導入と、分類損失最大化の検出固有の適応である CLM の導入。
• 集中修復目的： 背景や非ターゲット物体による修復信号の希薄化を防ぐ、ターゲット一致予測に制限された二重目的防御損失。
• 包括的な評価： 両方の攻撃タイプ（RMA と ODA）に対して、Pascal VOC、MTSD、COCO データセット上の CNN ベース（YOLOv5、FCOS）およびトランスフォーマーベース（DINO）の検出器に対して手法を評価。

結果
実験は、提案手法が攻撃成功率（ASR）と真の検出率（TDR）のトレードオフにおいて、分類指向のベースライン（ファインチューニング、ファインプルーニング、FT-SAM）を大幅に上回ることを示している：

• ASR 削減： 最強の設定（SBM、FWS、防御損失を併用）は、最強のベースラインと比較して、Pascal VOC で中央値 ASR を83%、MTSD で**94%**削減した。
• TDR 維持： ASR を削減しながらも、この手法は有利な真の検出率を維持し、ベースラインに対して VOC で 0.52、MTSD で 0.43 の TDR 向上を達成した。これはクリーンな性能への modest なコスト（Ratio mAP cost $\le$ 0.10）を伴う。
• データ不足への頑健性： この手法は、クリーンデータ予算が 5% から 1.25% に削減されても有効であり、多くの場合、フルの 5% バジェットで訓練されたベースラインを上回る。
• 汎化性： このアプローチは、異なる検出器アーキテクチャやトリガータイプにわたって汎化し、合成データセット（MTSD）から実世界の物理的トリガー（PTSD）への強い転移性を示す。

意義と主張
本論文は、バックドアデータへのアクセスや特定の攻撃目的の知識を必要としない汎用緩和策を提供することで、物体検出のセキュリティにおける重要なギャップに対処すると主張している。著者らは、このアプローチが分類設定と検出設定の間の構造的な不一致に動機付けられていることを強調している。

著者らは主張において控えめであり、以下の点を認めている：

• トリガーを付与された物体に対する正しい検出の完全な回復は依然として課題であり、分類ベースの防御で観察された制限と一致して、いくつかの設定では TDR が「長い下部テール」を保持する。
• 理論的分析は、すべての検出器アーキテクチャに対するグローバルな頑健性の保証ではなく、設計選択（勾配の整合性、スコアマージンなど）に対するメカニズムレベルの正当化を提供する。
• 現在のフレームワークは物体中心であり、背景領域のトリガーが幻影検出を引き起こす物体生成攻撃には直接対応しておらず、これを将来の研究方向として特定している。

この研究は、防御者が限られたクリーンデータを持ち、特定のバックドアトリガーや目的の知識を持たない現実的な制約下で、セキュリティ（低い ASR）と有用性（高い TDR とクリーン mAP）の間の頑健なトレードオフを提供する、安全性が重要なシステム向けの実用的な修復メカニズムとして位置づけられている。