ColorFD: A Finite-Difference Guided Black-Box Physical Adversarial Attack for Remote Sensing Object Detection

技術要約：ColorFD：リモートセンシング物体検出のための有限差分ガイド付きブラックボックス物理的敵対的攻撃

問題提起
深層ニューラルネットワーク（DNN）ベースのリモートセンシング物体検出器は、効果的である一方で、敵対的摂動に対して脆弱である。既存の研究は主にデジタルまたはホワイトボックスの設定に焦点を当てているが、より現実世界の展開制約を反映したブラックボックス物理的攻撃については、依然として十分に探索されていない。これらの攻撃は、物理的な実現可能性（例：印刷可能性や隠蔽性）の確保、および勾配情報が得られない高次元探索空間における非効率な最適化の克服という大きな課題に直面している。さらに、既存の物理的攻撃手法は主にデジタル領域で評価されることが多く、大幅なスケール変化や複雑な撮像条件を特徴とするリモートセンシングのシナリオにおける、実際の物理環境での検証が不足している。

手法
本論文では、リモートセンシング物体検出器のために設計されたブラックボックス物理的敵対的攻撃フレームワークであるColorFDを提案する。本手法は、敵対的摂動をピクセル単位のテクスチャ最適化ではなく、複数の小さな純色（pure-color）の正方形パッチとしてモデル化しており、これにより製作と物理的な展開を容易にしている。コアとなる手法は、主に以下の3つのコンポーネントで構成される。

1. 差分進化（DE）最適化： パッチの位置と色のパラメータは、勾配情報を必要としない集団ベースのアルゴリズムであるDEを用いて共同で最適化される。攻撃の目的は、物体の消失を誘発するために検出器の応答を最小化することとして定式化される。
2. ターゲットごとの適合度および選択メカニズム： 単一のグローバルな適合度指標が個々のターゲットの状態を覆い隠してしまう可能性があるマルチターゲット攻撃の複雑さに対処するため、ColorFDはターゲットごとの評価を導入する。ターゲットレベルの適合度関数は、各ターゲットの攻撃状態を独立して評価する。新しい選択メカニズムは、親と子の間で部分的なコンポーネント交換を行うことで、進化の過程においてターゲット固有の有利な変数を保持し、複数のターゲット間における最適化の競合を緩和する。
3. ガイダンス戦略による探索空間の削減： 高次元探索空間による計算コストを軽減するため、2つのガイダンス戦略が採用されている。
   • 重要領域の局在化（Key-Region Localization）： 有限差分によるカラープロービングを利用することで、この戦略はターゲットのバウンディングボックス内にあるインスタンス固有の敏感な領域を反復的に特定する。スライディングウィンドウとマルチカラー摂動を適用することで、高影響領域に探索空間を限定するための応答ヒートマップを生成する。
   • 共通特徴抽出（Common-Feature Extraction）： 計算の冗長性をさらに削減するため、この戦略は同一カテゴリのインスタンス間における重要領域の分布を集約する。ターゲットを整列させ、カテゴリレベルの共通特徴ヒートマップを生成することで、繰り返しのインスタンスごとの局在化を必要とせずに、探索を導く空間的な事前情報を提供する。

主な貢献
著者らは、その貢献を以下のようにまとめている。

1. 物理的に実現可能な設計： 強力な攻撃効果と、実環境における製作・展開の容易さのバランスをとった、複数の小さな純色正方形パッチに基づく敵対的設計の提案。
2. ターゲットごとの最適化メカニズム： マルチターゲットのブラックボックス攻撃のための、ターゲットごとの適合度および選択メカニズムの開発。このアプローチはターゲットを個別に評価し、ターゲットレベルの改善を保持することで、マルチターゲットシナリオにおける単一のグローバルな適合度指標の限界に対処する。
3. ガイダンス戦略： パッチの探索空間を制限するための2つの戦略。インスタンス固有の感度を得るための有限差分プロービングを用いた重要領域戦略と、繰り返しとなる局在化を減らしつつ競争力のある性能を維持するためにカテゴリレベルの事前情報を構築する共通特徴戦略である。

実験結果
実験はDIORリモートセンシングデータセット、具体的には様々なタイプ、スケール、方向を持つ407のインスタンスを含む航空機サブセットを用いて行われた。本手法は、YOLOv3u、YOLOv5u、およびFaster R-CNNに対して評価された。

• デジタル領域の性能： ColorFDは、テストされたブラックボックス・パッチ手法（Bbox-Att）をすべての評価対象検出器において上回った。YOLOv5uにおいて、重要領域ガイド付きのバリアントは、攻撃成功率（ASR）79.61%を達成し、AP50を0.1453まで減少させ、ブラックボックスのベースラインを凌駕するとともに、強力なホワイトボックスのベースライン（AP-PAおよびBADEI）に対しても競争力のある結果を示した。Faster R-CNNにおいては、ガイドなしのバージョンがASR 95.09%およびAP50 0.0169を達成した。
• ガイダンス戦略の有効性： 重要領域ガイダンスは、ワンステージ検出器（YOLOv3u、YOLOv5u）において性能を大幅に向上させたが、ブラックボックス設定では中間的な領域提案ネットワーク（RPN）の情報にアクセスできないため、ツーステージのFaster R-CNNにおける利得は限定的であった。逆に、共通特徴ガイダンスはFaster R-CNNにおいて優れた性能（ASR 99.35%）を示し、ツーステージ検出器における重要領域局在化の限界を効果的に補完した。
• 物理世界での検証： 制御された撮像条件下で、合金製航空機モデル上に着色紙パッチを用いて物理実験が行われた。材料特性や手作業による貼り付けに起因する色や位置のわずかな偏差はあるものの、最適化されたパッチは物理ドメインにおける検出を抑制することに成功し、デジタルから物理への転移性を実証した。

意義と主張
本論文は、ColorFDが、モデルへのアクセスが制限された状況下での光学リモートセンシング検出システムに対する実用的な堅牢性評価手法を提供することを主張している。適切な最適化戦略とガイダンスメカニズムを用いることで、ブラックボックス攻撃が最新のホワイトボックス攻撃と同等、あるいはそれを上回る性能レベルに到達できることを示している。本研究は、提案された純色パッチのデザインが、ターゲットごとの最適化および有限差分による制約と組み合わさることで、攻撃の有効性と物理的な実現可能性を効果的に両立させていることを強調している。

著者らは、DEベースの最適化に伴う確率的な性質による性能の変動、中間情報へのアクセス欠如によるツーステージ検出器における重要領域局在化の有効性の低下、および視点やスケールの変化に対する純色パッチの敏感さといった限界を認めている。今後の課題としては、最適化の安定性とパッチの視覚的な隠蔽性の向上に焦点を当てることが挙げられている。