技術的概要：共同多目的・多モデル最適化フレームワークを通じた汎用的物理的敵対的攻撃への道

1. 問題提起

物理的敵対的攻撃、特に 3 次元敵対的カモフラージュは、ブラックボックスモデルに対する実世界展開を制限する 3 つの決定的なボトルネックに直面している：

1. 単一サロゲートへの過剰適合: 既存の手法はしばしば単一のサロゲートモデル（例：YOLO シリーズ）に依存しており、生成されたカモフラージュが特定の決定境界に過剰適合し、異質なネットワークに対して失敗する。
2. 浅層攻撃と深層攻撃の間の相乗効果の欠如: 現在の戦略は、通常、過剰適合しやすいが効率的な浅層出力抑制、または堅固な出力ガイダンスを欠くが転移性のある深層特徴破壊のいずれかを採用している。相乗的な統合の欠如により、攻撃が高効率と深層汎化の両方を達成することを妨げている。
3. 多ソース融合における勾配競合: 複数のモデルと目的を統合する際、単純な融合戦略（例：等重み総和）は、物理的テクスチャの制限されたパラメータ空間内で深刻な勾配競合と振動を引き起こす。これにより、方向性の相殺とエネルギーの損失が生じ、頑健なモデルの敵対的ニーズが隠蔽される。

さらに、既存の手法は、基礎的な最適化目的における意味的ギャップにより、異なる視覚タスク間（例：物体検出からセマンティックセグメンテーションや深度推定への転移）で汎化することに苦慮している。

2. 手法：共同多目的・多モデル最適化フレームワーク（JMOF）

提案される JMOF フレームワークは、4 つの柱によるアプローチを通じてこれらの限界に対処する：

A. 定量的サロゲートモデル選択

直感的またはランダムな選択ではなく、JMOF は候補モデルの異質性を定量化するために勾配コサイン類似度を利用する。貪欲選択アルゴリズムは、ペアごとの勾配類似度を最小化する N 個のモデルのアンサンブルを構築する。これにより、アンサンブルは多様な視覚認知論理のスペクトルを網羅し、最適化が類似アーキテクチャに共通する局所最小値に収束するのを防ぐ。

B. 二重レベル多目的攻撃メカニズム

このフレームワークは、効率性と汎化性をバランスさせるために 3 つのコンポーネントからなる共同損失関数を採用する：

1. 検出損失（$L_{det}$）: 真のラベルとの高い交差率（IoU）を持つすべての予測バウンディングボックスの信頼度スコアを無差別に抑制する、LogSumExp ベースの抑制戦略。これは明示的かつ浅層のガイダンスを提供する。
2. 特徴損失（$L_{fea}$）: 中間特徴マップを標的とする深層破壊メカニズム。マルチスケール層全体で平均抑制（全体的な活性化の減衰）と分散平坦化（意味的ピークの平滑化）を実行する。これにより、共有された空間構造特徴が解体され、ブラックボックス転移性が向上する。
3. 平滑損失（$L_{smo}$）: 敵対的テクスチャの連続性を保証する全変動（Total Variation）ベースの損失。物理的視点変化や遮蔽下での失敗を引き起こす高周波ノイズを排除する。

C. 直交勾配整列（OGA）

勾配競合を解決するため、JMOF はOGA戦略を導入する。受動的な破棄方法（例：DRF、DGR）とは異なり、OGA は競合する勾配を積極的に再構成する：

• 局所パッチ分析: グローバルテクスチャを局所パッチに分割する。各パッチに対してグラム行列を計算し、異質な勾配間の幾何学的角度と大きさの相関を捉える。
• 直交射影: 固有値分解を通じて、OGA は直交変換行列を構築する。これは競合する勾配を直交基底に射影し、特徴の好みを破棄することなく、反発的な最適化ポテンシャルエネルギーを相乗的な運動エネルギーへ効果的に変換する。
• 動的タスク重み付け: 高い敵対的難易度を持つモデル（例：ビジョントランスフォーマー）に高い重みを割り当てる動的重み付けメカニズム（$\omega$）により、攻撃が高次元の脆弱性空間へと進化することを保証する。
• 適応的ステップサイズ: 直交分解は本質的に強く反発する成分を圧縮し、急峻な損失領域でのオプティマイザの停滞を防ぐ適応的ステップサイズ減衰として機能する。

D. 強化戦略

• 視点依存テクスチャゲータ（VTG）: 逆伝播中に可視性制約を強制し、自己遮蔽や視点シフトによって不可視となったピクセルが誤って平滑化されることを防ぎ、可視領域における敵対的エネルギーを保持する。
• 確率的テクスチャドロップアウト（STD）: 訓練中に敵対的テクスチャのブロックをランダムにマスクし、現実世界の遮蔽をシミュレートする。これにより、アルゴリズムは特定の局所的なショートカットへの依存を避け、全体的に汎化可能な特徴を学習することを強いる。

3. 主要な貢献

1. 勾配類似度分析: 本論文は、勾配類似度における重要なトレードオフを明らかにする。過度に整列した勾配は多様性を制限し、極めて発散した勾配は競合を引き起こす。最適なサロゲートアンサンブルの選択を導くための効果的な類似度領域を定義する。
2. 二重レベル攻撃メカニズム: 予測出力を抑制すると同時に中間特徴分布を平坦化する相乗的メカニズムの提案。単一レベル攻撃の限界を克服する。
3. 直交勾配整列（OGA）: 互いに反発する勾配を相乗的な最適化方向に変換することで、モデル間勾配競合を解決する新規モジュール。異質なモデルにわたる共有脆弱性領域への収束を可能にする。
4. タスク間汎化: 物体検出、セマンティックセグメンテーション、および単眼深度推定モデルを同時に欺く攻撃を生成できることを実証。高次意味知覚と低次幾何回帰の間のギャップを埋める。

4. 実験結果

CARLA シミュレータおよび PET フィルムキャリアを備えた物理的 1:18 スケールモデルを用いて、広範な実験が行われた。

• モデル間転移性: JMOF は、CNN（YOLO、Faster R-CNN）、ビジョントランスフォーマー（ViT、Swin）、およびハイブリッドを含む多様なブラックボックス検出器において、最先端のベースライン（例：FCA、DAS、HTCA、TACO）を上回った。単一モデルベースラインが失敗した極めて異質なモデルに対しても、高い攻撃成功率（ASR）を維持した。
• 多視点頑健性: この手法は、特にトポロジー変化により従来の手法が著しく劣化する側面視において、変化する方位角およびピッチ角にわたって優れた頑健性を示した。
• アブレーション研究:
  • 特徴損失（$L_{fea}$）を除去すると、CNN に対して ASR が 13% 以上、ViT に対して 15% 以上低下し、深層特徴破壊の必要性を確認した。
  • OGA を除去し単純な総和を使用すると、性能が著しく劣化し、能動的な勾配再構成の必要性を検証した。
  • VTG および STD モジュールの組み込みは、それぞれ約 9% および 6% の ASR 向上をもたらした。
• タスク間性能: 物体検出とセマンティックセグメンテーション（または深度推定）の同時最適化において、OGA を備えた JMOF は両タスクを同時に成功裏に破壊した。対照的に、単純な総和戦略は勾配競合により両タスクでの性能維持に失敗した。
• 物理的展開: 実世界での物理的実験において、本手法は SMs に対して 65.71%、CNN に対して 72.76%、ViT に対して 70.63% の ASR を達成し、シミュレーションからのドメインギャップにもかかわらず堅牢な性能を示した。

5. 意義と主張

本論文は、実世界展開における視覚 AI の脆弱性を評価するための堅牢なフレームワークを提供することで、物理的敵対的攻撃の汎化限界を前進させると主張している。

• 汎用適用性: このフレームワークは、異なるアーキテクチャおよびタスクにわたる勾配競合を定量化および解決できる汎用的な基盤論理として提示される。新しいモデルを統合する際の盲目的な試行錯誤を排除し、代わりに勾配類似度分析を用いて新しいアーキテクチャを共同最適化に適応的に組み込む。
• ギャップの埋め合わせ: この研究は、現在の物理的攻撃の能力境界と、実世界のブラックボックス・マルチタスクシナリオの要求との間の巨大なギャップに対処する。
• 相乗的最適化: 競合する勾配を相乗的な方向に変換することで、本手法は受動的な回避から能動的な再構成へのパラダイムシフトを達成し、多様なネットワークおよび視覚タスクにわたる共有脆弱性空間への物理的敵対的カモフラージュの収束を可能にする。

著者は、この手法が画期的な性能を達成する一方で、多モデルの順方向および逆方向伝播により計算コストが増大することを認めている。今後の課題として、生成効率と汎化性能のバランスを取るため、より効率的な共同最適化アルゴリズムおよび軽量メカニズムの探求が提案されている。