기술 요약: 다중 목적 및 다중 모델 최적화 프레임워크를 통한 범용 물리적 적대적 공격

1. 문제 제기

물리적 적대적 공격, 특히 3D 적대적 위장 (camouflage) 은 블랙박스 모델에 대한 실제 배포를 제한하는 세 가지 치명적인 병목 현상에 직면해 있습니다:

1. 단일 대리 모델에 대한 과적합: 기존 방법들은 종종 단일 대리 모델 (예: YOLO 시리즈) 에 의존하여 생성된 위장이 특정 결정 경계에 과적합되고 이질적인 네트워크에 대해 실패하게 만듭니다.
2. 얕은 공격과 깊은 공격 간의 시너지 부재: 현재 전략들은 일반적으로 효율적이지만 과적합되기 쉬운 얕은 출력 억제 (shallow output suppression) 나 견고한 출력 지침이 부족한 전이 가능한 깊은 특징 교란 (deep feature disruption) 중 하나를 사용합니다. 시너지 있는 통합이 부재하여 공격이 높은 효율성과 깊은 일반화 능력을 동시에 달성하지 못합니다.
3. 다중 소스 융합에서의 그래디언트 충돌: 여러 모델과 목적을 통합할 때, 단순한 융합 전략 (예: 동등 가중치 합산) 은 물리적 텍스처의 제한된 매개변수 공간 내에서 심각한 그래디언트 충돌과 진동을 초래합니다. 이는 방향적 상쇄와 에너지 손실을 야기하여 견고한 모델의 적대적 요구 사항을 가립니다.

또한, 기존 방법들은 근본적인 최적화 목적의 의미적 격차로 인해 다양한 시각 작업 (예: 객체 감지에서 의미 분할 또는 깊이 추정으로 전이) 간에 일반화하는 데 어려움을 겪습니다.

2. 방법론: 결합 다중 목적 및 다중 모델 최적화 프레임워크 (JMOF)

제안된 JMOF 프레임워크는 네 가지 접근 방식을 통해 이러한 한계를 해결합니다:

A. 정량적 대리 모델 선택

직관적이거나 무작위 선택 대신, JMOF 는 후보 모델의 이질성을 정량화하기 위해 그래디언트 코사인 유사도를 활용합니다. 탐욕적 선택 (Greedy Selection) 알고리즘은 쌍별 그래디언트 유사도를 최소화하는 $N$개의 모델 앙상블을 구성합니다. 이는 앙상블이 다양한 시각적 인지 논리 스펙트럼을 포괄하여 최적화가 유사한 아키텍처가 공유하는 국소 최소값으로 수렴하는 것을 방지합니다.

B. 이중 수준 다중 목적 공격 메커니즘

이 프레임워크는 효율성과 일반화 사이의 균형을 맞추기 위해 세 가지 구성 요소로 구성된 결합 손실 함수를 사용합니다:

1. 감지 손실 ($L_{det}$): 모든 예측된 바운딩 박스의 신뢰도 점수를 무차별적으로 억제하는 LogSumExp 기반 억제 전략으로, 정답 (ground truth) 과 높은 교차율 (IoU) 을 갖는 박스를 대상으로 합니다. 이는 명시적이고 얕은 지침을 제공합니다.
2. 특징 손실 ($L_{fea}$): 중간 특징 맵을 표적으로 하는 깊은 교란 메커니즘입니다. 다중 스케일 레이어 전반에 걸쳐 평균 억제 (전체 활성화 감쇠) 와 분산 평탄화 (의미적 피크 매끄럽게 하기) 를 수행합니다. 이는 공유된 공간 구조적 특징을 해체하여 블랙박스 전이성을 향상시킵니다.
3. 부드러움 손실 ($L_{smo}$): 물리적 시점 변화와 가림 (occlusion) 하에서의 실패를 유발하는 고주파 노이즈를 제거하여 적대적 텍스처의 연속성을 보장하는 총 변동 (Total Variation) 기반 손실입니다.

C. 직교 그래디언트 정렬 (OGA)

그래디언트 충돌을 해결하기 위해 JMOF 는 OGA 전략을 도입합니다. DRF, DGR 과 같은 수동적 폐기 방법과 달리, OGA 는 충돌하는 그래디언트를 능동적으로 재구성합니다:

• 로컬 패치 분석: 글로벌 텍스처는 로컬 패치로 나뉩니다. 각 패치에 대해 이질적 그래디언트 간의 기하학적 각도와 크기 상관관계를 포착하기 위해 그람 행렬 (Gram matrix) 이 계산됩니다.
• 직교 투영: 고유값 분해를 통해 OGA 는 직교 변환 행렬을 구성합니다. 이는 충돌하는 그래디언트를 직교 기저에 투영하여 특징 선호도를 폐기하지 않고도 상호 반발적인 최적화 위치 에너지를 시너지 있는 운동 에너지로 효과적으로 변환합니다.
• 동적 작업 가중치: 동적 가중치 메커니즘 ($\omega$) 은 비전 트랜스포머 (Vision Transformers) 와 같이 더 높은 적대적 난이도를 가진 모델에 더 높은 가중치를 할당하여, 공격이 고차원 취약 공간으로 진화하도록 보장합니다.
• 적응형 스텝 크기: 직교 분해는 자연스럽게 강한 반발 성분을 압축하여, 가파른 손실 영역에서 옵티마이저의 정체 (stagnation) 를 방지하는 적응형 스텝 크기 감쇠 역할을 합니다.

D. 향상 전략

• 시점 의존적 텍스처 게이터 (VTG): 역전파 중 가시성 제약을 부과하여, 자기 가림이나 시점 이동에 의해 가려진 보이지 않는 픽셀이 잘못되어 매끄럽게 제거되지 않도록 하여 가시 영역의 적대적 에너지를 보존합니다.
• 확률적 텍스처 드롭아웃 (STD): 훈련 중 적대적 텍스처의 블록을 무작위로 마스킹하여 실제 세계의 가림을 시뮬레이션합니다. 이는 알고리즘이 특정 로컬 단축 경로에 의존하지 않고 전역적으로 일반화 가능한 특징을 학습하도록 강제합니다.

3. 주요 기여

1. 그래디언트 유사도 분석: 이 논문은 그래디언트 유사성에서 중요한 트레이드오프를 밝힙니다: 지나치게 정렬된 그래디언트는 다양성을 제한하고, 매우 이질적인 그래디언트는 충돌을 유발합니다. 최적의 대리 모델 앙상블 선택을 안내하기 위해 효과적인 유사성 영역을 정의합니다.
2. 이중 수준 공격 메커니즘: 예측 출력을 억제하고 중간 특징 분포를 평탄화하는 시너지 메커니즘을 제안하여 단일 수준 공격의 한계를 극복합니다.
3. 직교 그래디언트 정렬 (OGA): 상호 반발적인 그래디언트를 시너지 있는 최적화 방향으로 변환하여 이질적 모델 간의 공유 취약 영역에 수렴할 수 있도록 하는 새로운 모듈로, 모델 간 그래디언트 충돌을 해결합니다.
4. 크로스 태스크 일반화: 객체 감지, 의미 분할 및 단안 깊이 추정 모델을 동시에 속일 수 있는 공격을 생성할 수 있음을 입증하여, 고수준 의미적 지각과 저수준 기하학적 회귀 간의 격차를 해소합니다.

4. 실험 결과

CARLA 시뮬레이터와 PET 필름 캐리어를 갖춘 물리적 1:18 스케일 모델을 사용하여 광범위한 실험이 수행되었습니다.

• 크로스 모델 전이성: JMOF 는 CNN(YOLO, Faster R-CNN), 비전 트랜스포머 (ViT, Swin), 그리고 하이브리드 모델을 포함한 다양한 블랙박스 감지기에서 최신 기저선 (FCA, DAS, HTCA, TACO 등) 을 능가했습니다. 단일 모델 기저선이 실패한 고도로 이질적인 모델에서도 높은 공격 성공률 (ASR) 을 유지했습니다.
• 다중 시점 견고성: 이 방법은 다양한 방위각과 피치 각도에서 우수한 견고성을 보였으며, 특히 토폴로지 변화로 인해 기존 방법들이 크게 저하되는 측면 뷰에서 두드러졌습니다.
• 애블레이션 연구:
  • 특징 손실 ($L_{fea}$) 을 제거하면 CNN 에 대해 ASR 이 13% 이상, ViT 에 대해 15% 이상 감소하여 깊은 특징 교란의 필요성을 확인했습니다.
  • OGA 를 제거하고 단순 합산을 사용하면 성능이 심각하게 저하되어 능동적 그래디언트 재구성의 필요성을 입증했습니다.
  • VTG 와 STD 모듈의 포함은 각각 약 9% 와 6% 의 ASR 향상을 가져왔습니다.
• 크로스 태스크 성능: 객체 감지와 의미 분할 (또는 깊이 추정) 을 위해 결합 최적화할 때, OGA 를 갖춘 JMOF 는 두 작업을 동시에 성공적으로 교란시켰습니다. 반면, 단순 합산 전략은 그래디언트 충돌로 인해 두 작업 모두에서 성능을 유지하지 못했습니다.
• 물리적 배포: 실제 세계 물리 실험에서 이 방법은 SMs 에서 65.71%, CNNs 에서 72.76%, ViTs 에서 70.63% 의 ASR 을 달성하여 시뮬레이션과의 도메인 격차에도 불구하고 견고한 성능을 보였습니다.

5. 중요성과 주장

이 논문은 실제 배포 환경에서 시각 AI 취약성을 평가하기 위한 견고한 프레임워크를 제공함으로써 물리적 적대적 공격의 일반화 한계를 진전시켰다고 주장합니다.

• 범용 적용성: 이 프레임워크는 다양한 아키텍처와 작업 간 그래디언트 충돌을 정량화하고 해결할 수 있는 범용 기본 논리로 제시됩니다. 새로운 모델을 통합할 때 맹목적인 시행착오가 필요하지 않으며, 대신 그래디언트 유사도 분석을 사용하여 새로운 아키텍처를 결합 최적화에 적응적으로 통합합니다.
• 격차 해소: 이 연구는 현재 물리적 공격의 능력 한계와 실제 세계의 블랙박스 다중 작업 시나리오 요구 사항 사이의 거대한 격차를 해소합니다.
• 시너지 최적화: 충돌하는 그래디언트를 시너지 있는 방향으로 변환함으로써, 이 방법은 수동적 회피에서 능동적 재구성으로의 패러다임 전환을 달성하여 다양한 네트워크와 시각 작업에 걸쳐 공유된 취약 공간으로 물리적 적대적 위장이 수렴하도록 합니다.

저자들은 이 방법이 획기적인 성능을 달성하지만, 다중 모델 순방향 및 역방향 전파로 인해 계산 비용이 증가한다는 점을 인정합니다. 향후 작업은 생성 효율성과 일반화 성능 사이의 균형을 맞추기 위해 더 효율적인 결합 최적화 알고리즘과 경량화 메커니즘을 탐구할 것으로 제안됩니다.