Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

技術概要：頑健な SAR 画像分類のための新規視点合成による意味的スムージング

問題定義
合成開口レーダー（SAR）の自動目標認識（ATR）に用いられる深層ニューラルネットワーク（DNN）は、敵対的摂動に対して脆弱であり、安全上重要な応用においてリスクを伴う。ランダム化スムージングは、ノイズを含む入力に対する予測を平均化することで頑健性を向上させるという原理的な防御策であるが、通常は等方性ガウスノイズに依存している。このアプローチは、物体の外観が取得幾何学（方位角と仰角）に強く依存する SAR 画像の意味構造を保持できず、結果として等方性ノイズは意味のある物理的観測に対応しないサンプルを生成しがちである。したがって、この防御は、単純なピクセル空間のノイズではなく、散乱挙動などのレーダー物理を悪用するドメイン固有の攻撃に対しては効果が限定的となる。

手法
著者らは、等方性ノイズ注入の代わりに、新規視点合成（NVS）モデルによって生成される構造化された意味保持変換を用いる防御フレームワーク「意味的スムージング」を提案する。

1. 中核概念: 入力画像にランダムなノイズを付加するのではなく、生成モデルを用いて、ランダム化されたが制御された幾何学的変換の下で、同一物体の複数の妥当な視点の画像を合成する。これらの合成された視点における分類器の予測を集約（多数決）することで、頑健な最終予測を形成する。
2. 生成モデル（GeNVS）: このフレームワークは、GeNVS から適応された幾何学認識型 NVS アーキテクチャと組み合わせた修正されたデノイジング拡散確率モデル（DDPM）を利用する。
   • 入力処理: 入力 SAR 画像 $x_{adv}$（敵対的である可能性あり）とその元の取得パラメータ（方位角 $\phi_{az}$、仰角 $\theta_{el}$）を、潜在 3 次元特徴量体積に符号化する。
   • 視点合成: 変換分布 $T_D$（訓練取得パラメータ上の一様分布として定義される）から、目標視点パラメータ（$t_i = \phi_{target, az}, \theta_{target, el}$）をサンプリングする。
   • レンダリング: 潜在体積を通じて光線を投射して特徴量を抽出し、NeRF 風の MLP によってレンダリングして特徴画像を生成する。
   • 拡散生成: 拡散ネットワークが、レンダリングされた特徴画像と目標パラメータを条件としてガウスノイズをデノイズし、新しい視点における高忠実度 SAR 画像 $x^{NV}_i$ を生成する。
3. 集約: 与えられた入力に対して $N$ 個の新規視点を生成する。各視点を事前学習済みの分類器 $f_{cls}$ に通す。最終ラベルは、$N$ 個の予測の多数決によって決定される。

主要な貢献

• 意味的スムージングフレームワーク: ランダム化された生成変換を活用して複数の意味保持視点を作成し、予測を集約することで敵対的アーティファクトを軽減する、新規の敵対的防御の導入。
• SAR 固有の実装: SAR 画像用の幾何学条件付き NVS モデルの開発。方位角と仰角パラメータを条件付けることで、SAR 成像の物理的制約を尊重するランダム化されたレーダー視点の制御可能な生成を可能にする。
• 実証的検証: MSTAR データセットにおける広範な実験により、意味的スムージングが従来の勾配ベース攻撃（FGSM, PGD）および SAR 固有の物理的根拠を持つ攻撃（OTSA, SMGAA）の両方に対して、大幅な頑健性向上を提供することを示した。

結果
MSTAR データセット（10 車種クラスにわたる 500 枚の画像）における実験では、提案手法を防御なしのベースラインおよび標準的なランダム化スムージング（異なる $\sigma$ を用いた等方性ガウスノイズ）と比較した。

• 頑健性の向上: 意味的スムージングは、すべての攻撃タイプと強度において一貫して高い精度を維持した。例えば、強力な PGD 攻撃（$\epsilon=0.005$）の下では、防御なしのモデルは精度が 0% に低下したが、意味的スムージング（$N=10$）は 94.18% を達成した。
• ランダム化スムージングに対する優位性: 意味的スムージングはランダム化スムージングを大幅に上回った。ランダム化スムージングはノイズスケール $\sigma$ に応じて一貫性のない性能を示し、精度が低下することが多かったのに対し、意味的スムージングはノイズパラメータの慎重なチューニングを必要とせず、安定した高い頑健性を提供した。
• クリーン精度の向上: 頑健性と引き換えにクリーン精度を犠牲にする多くの防御メカニズムとは異なり、意味的スムージングは意味的一貫性のある合成された視点にわたって予測を集約することで、クリーン分類精度を向上させた（94.72% vs ベースライン 90.00%）。
• 効率性とパフォーマンスのトレードオフ: 生成ステップ（$N \times (C_g + C_f)$）に起因して、ランダム化スムージング（$N \times C_f$）と比較して計算コストが高くなるが、生成されたサンプルは意味的に有意義であり、等方性ノイズ摂動よりもはるかに情報量が多いため、このトレードオフは有利であると論文は主張している。

意義と主張
本論文は、意味的スムージングが、SAR などの構造化されたセンシングドメインにおける敵対的防御のための等方性ノイズの有望な代替手段であると主張する。局所的なピクセルレベルの近傍から、妥当な幾何学的変換の多様体へとスムージング過程をシフトさせることで、この手法は分類に必要な物体の同一性を保持しつつ、非意味的な敵対的アーティファクトを効果的に抑制する。著者らは、このアプローチが、標準的および物理ベースの敵対的攻撃に対する頑健性を達成するために、任意のノイズではなく意味的に有意義な変動を活用することの価値を実証していると述べている。

今後の課題
著者らは、今後の研究において、GeNVS モデルを介した摂動の伝播を調査し、生成器自体の頑健性を評価し、防御メカニズムの完全な知識を持つ敵対者による適応的ホワイトボックス攻撃を考慮すべきであると指摘している。