Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

기술적 요약: 강건한 SAR 이미지 분류를 위한 신규 뷰 합성을 통한 의미적 평활화

문제 제기
합성 개구 레이더 (SAR) 자동 표적 인식 (ATR) 에 사용되는 심층 신경망 (DNN) 은 적대적 교란에 취약하여 안전이 중요한 응용 분야에서 위험을 초래합니다. 무작위 평활화는 노이즈가 있는 입력에 대한 예측을 평균화함으로써 강건성을 향상시키는 원칙적인 방어 기법이지만, 일반적으로 등방성 가우시안 노이즈에 의존합니다. 이 접근법은 SAR 이미지의 의미적 구조를 보존하지 못하는데, SAR 이미지에서 객체의 외관은 획득 기하학 (방위각 및 고각) 에 크게 의존하기 때문입니다. 결과적으로 등방성 노이즈는 의미 있는 물리적 관측에 해당하지 않는 샘플을 생성하여, 단순한 픽셀 공간 노이즈가 아닌 레이더 물리 (예: 산란 행동) 를 악용하는 도메인 특화 공격에 대한 방어의 효과를 떨어뜨립니다.

방법론
저자들은 **의미적 평활화 (Semantic Smoothing)**를 제안합니다. 이는 등방성 노이즈 주입을 대신하여 신규 뷰 합성 (NVS) 모델이 생성하는 구조화되고 의미 보존적 변환을 사용하는 방어 프레임워크입니다.

1. 핵심 개념: 입력 이미지를 무작위 노이즈로 교란시키는 대신, 생성 모델을 사용하여 제어된 무작위 기하학적 변환 하에서 동일한 객체의 여러 가능한 뷰를 합성합니다. 합성된 뷰들 간의 분류기 예측을 집계 (다수결 투표) 하여 강건한 최종 예측을 도출합니다.
2. 생성 모델 (GeNVS): 프레임워크는 GeNVS 에서 적응된 기하학적 인식 NVS 아키텍처와 결합된 수정된 탈노이즈 확산 확률 모델 (DDPM) 을 활용합니다.
   • 입력 처리: 입력 SAR 이미지 $x_{adv}$ (잠재적 적대적) 와 원래 획득 파라미터 (방위각 $\phi_{az}$, 고각 $\theta_{el}$) 를 잠재 3D 특징 볼륨으로 인코딩합니다.
   • 뷰 합성: 모델은 변환 분포 $T_D$ (학습 획득 파라미터에 대한 균일 분포로 정의됨) 에서 목표 뷰 파라미터 ($t_i = \phi_{target, az}, \theta_{target, el}$) 를 샘플링합니다.
   • 렌더링: 광선이 잠재 볼륨을 통과하여 특징을 추출하며, 이는 NeRF 스타일의 MLP 를 통해 특징 이미지로 렌더링됩니다.
   • 확산 생성: 확산 네트워크는 렌더링된 특징 이미지와 목표 파라미터에 조건부 가우시안 노이즈를 탈노이즈하여 새로운 뷰에서 고충실도 SAR 이미지 $x^{NV}_i$를 생성합니다.
3. 집계: 주어진 입력에 대해 $N$개의 신규 뷰가 생성됩니다. 각 뷰는 사전 훈련된 분류기 $f_{cls}$를 통과합니다. 최종 라벨은 $N$개 예측의 다수결 투표로 결정됩니다.

주요 기여

• 의미적 평활화 프레임워크: 무작위 생성 변환을 활용하여 여러 의미 보존적 뷰를 생성하고 예측을 집계함으로써 적대적 아티팩트를 완화하는 새로운 적대적 방어 기법의 도입.
• SAR 특화 구현: SAR 이미지에 대한 기하학적 조건부 NVS 모델 개발. 방위각 및 고각 파라미터에 조건을 부여함으로써 SAR 이미징의 물리적 제약을 존중하는 무작위 레이더 뷰의 제어 가능한 생성을 가능하게 함.
• 실증적 검증: MSTAR 데이터셋에 대한 광범위한 실험을 통해 의미적 평활화가 기존 경사 기반 공격 (FGSM, PGD) 과 SAR 특화 물리 기반 공격 (OTSA, SMGAA) 모두에 대해 상당한 강건성 향상을 제공함을 입증.

결과
MSTAR 데이터셋 (10 개 차량 클래스에 걸친 500 개 이미지) 에 대한 실험은 제안된 방법을 방어되지 않은 기준선 및 다양한 $\sigma$를 사용하는 등방성 가우시안 노이즈를 활용한 표준 무작위 평활화와 비교했습니다.

• 강건성 향상: 의미적 평활화는 모든 공격 유형과 강도에서 일관되게 높은 정확도를 유지했습니다. 예를 들어, 강력한 PGD 공격 ($\epsilon=0.005$) 하에서 방어되지 않은 모델의 정확도는 0% 로 떨어졌으나, 의미적 평활화 ($N=10$) 는 94.18% 를 달성했습니다.
• 무작위 평활화 대비 우위: 의미적 평활화는 무작위 평활화를 크게 능가했습니다. 무작위 평활화는 노이즈 스케일 $\sigma$에 따라 일관되지 않은 성능을 보이며 종종 정확도가 저하되는 반면, 의미적 평활화는 노이즈 파라미터의 신중한 튜닝 없이도 안정적이고 높은 강건성을 제공했습니다.
• 클린 정확도 향상: 강건성을 위해 클린 정확도를 희생하는 많은 방어 메커니즘과 달리, 의미적 평활화는 의미적으로 일관된 합성 뷰에 대한 예측을 집계함으로써 클린 분류 정확도를 향상시켰습니다 (94.72% 대 기준선 90.00%).
• 효율성 대 성능: 의미적 평활화는 생성 단계 ($N \times (C_g + C_f)$) 로 인해 무작위 평활화 ($N \times C_f$) 에 비해 더 높은 계산 비용을 발생시키지만, 생성된 샘플이 등방성 노이즈 교란보다 의미 있고 훨씬 더 정보적이므로 이 트레이드오프는 유리하다고 논문은 주장합니다.

의의 및 주장
이 논문은 의미적 평활화가 SAR 와 같은 구조화된 감지 도메인의 적대적 방어를 위한 등방성 노이즈에 대한 유망한 대안이라고 주장합니다. 지역적 픽셀 수준 이웃에서 가능한 기하학적 변환의 매니폴드로 평활화 과정을 전환함으로써, 이 방법은 분류에 필요한 객체 정체성을 보존하면서 비의미적 적대적 아티팩트를 효과적으로 억제합니다. 저자들은 이 접근법이 표준 및 물리 기반 적대적 공격 모두에 대한 강건성을 달성하기 위해 임의의 노이즈가 아닌 의미 있는 변이성을 활용하는 것의 가치를 입증한다고 주장합니다.

향후 작업
저자들은 향후 작업이 GeNVS 모델을 통한 교란 전파를 조사하고, 생성기 자체의 강건성을 평가하며, 방어 메커니즘에 대한 완전한 지식을 가진 적응형 화이트박스 공격을 고려해야 한다고 지적합니다.