ColorFD: A Finite-Difference Guided Black-Box Physical Adversarial Attack for Remote Sensing Object Detection

기술 요약: ColorFD: 원격 탐사 객체 탐지를 위한 유한 차분 기반 블랙박스 물리적 적대적 공격

문제 정의
심층 신경망(DNN) 기반의 원격 탐사 객체 탐지기는 효과적이지만, 적대적 섭동(adversarial perturbations)에 취약한 상태로 남아 있다. 기존 연구는 주로 디지털 또는 화이트박스 설정에 집중되어 있다. 실제 세계의 배포 제약 조건을 더 잘 반영하는 블랙박스 물리적 공격은 여전히 미개척 영역이다. 이러한 공격들은 물리적 실현 가능성(예: 인쇄 가능성 및 은폐성)을 보장해야 하며, 모델의 그래디언트(gradient)를 사용할 수 없는 상황에서 고차원 탐색 공간 내의 비효식적인 최적화를 극복해야 한다는 중요한 과제에 직면해 있다. 또한, 기존의 물리적 공격 방법들은 주로 디지털 영역에서 평가되며, 상당한 규모 변화와 복잡한 이미징 조건을 특징으로 하는 원격 탐사 시나리오에서의 충분한 실제 물리적 환경 검증이 부족하다.

방법론
본 논문은 원격 탐사 객체 탐지기를 위한 블랙박스 물리적 적대적 공격 프레임워크인 ColorFD를 제안한다. 이 방법은 적대적 섭동을 픽셀 단위의 텍스처 최적화 대신 여러 개의 작은 순수 색상 정사각형 패치로 모델링하여, 제작 및 물리적 배포를 용이하게 한다. 핵심 방법론은 세 가지 주요 구성 요소로 통합된다:

1. 차분 진화(Differential Evolution, DE) 최적화: 패치의 위치와 색상 파라미터는 그래디언트 정보가 필요 없는 집단 기반 알고리즘인 DE를 사용하여 공동 최적화된다. 공격 목표는 객체의 소멸을 유도하기 위해 탐지기의 반응을 최소화하는 것으로 정립된다.
2. 타겟별 적합도 및 선택 메커니즘: 단일 전역 적합도 지표가 개별 타겟의 상태를 가릴 수 있는 다중 타겟 공격의 복잡성을 해결하기 위해, ColorFD는 타겟별 평가를 도입한다. 타겟 레벨 적합도 함수는 각 타겟의 공격 상태를 독립적으로 평가한다. 새로운 선택 메커니즘은 부모와 자손 간의 부분적인 구성 요소 교환을 수행함으로써 진화 과정 동안 타겟 특유의 유리한 변수를 보존하며, 이를 통해 여러 타겟 간의 최적화 충돌을 완화한다.
3. 가이드 전략을 통한 탐색 공간 축소: 고차원 탐색 공간의 계산 비용을 완화하기 위해 두 가지 가이드 전략이 사용된다:
   • 핵심 영역 국지화(Key-Region Localization): 유한 차분 색상 프로빙(finite-difference color probing)을 활용하여, 이 전략은 타겟 바운딩 박스 내에서 인스턴스별로 민감한 영역을 반복적으로 식별한다. 슬라이딩 윈도우와 다중 색상 섭동을 적용함으로써, 탐색 공간을 영향력이 큰 영역으로 제한하는 반응 히트맵을 생성한다.
   • 공통 특징 추출(Common-Feature Extraction): 중복 계산을 더욱 줄이기 위해, 이 전략은 동일 카테고리의 인스턴스들에 걸친 핵심 영역 분포를 집계한다. 타겟들을 정렬하고 카테고리 레벨의 공통 특징 히트맵을 생성함으로써, 반복적인 인스턴스별 국지화 없이도 탐색을 안내하는 공간적 사전 정보를 제공한다.

주요 기여
저자들은 다음과 같이 기여를 요약한다:

1. 물리적 실현 가능 설계: 강력한 공격 효과와 실제 환경에서의 제작 및 배포 용이성 사이의 균형을 맞춘, 여러 개의 작은 순수 색상 정사각형 패치에 기반한 적대적 설계 제안.
2. 타겟별 최적화 메커니즘: 다중 타겟 블랙박스 공격을 위한 타겟별 적합도 및 선택 메커니즘 개발. 이 방식은 타겟을 별도로 평가하고 타겟 레벨의 개선 사항을 보존하여, 다중 타겟 시나리오에서의 단일 전역 적합도 지표의 한계를 해결한다.
3. 가이드 전략: 패치 탐색 공간을 제한하기 위한 두 가지 전략 도입: 인스턴스별 민감도를 위한 유한 차분 프로빙을 사용하는 핵심 영역 전략과, 반복적인 국지화를 줄이면서도 경쟁력 있는 성능을 유지하기 위해 카테고리 레벨의 사전 정보를 구축하는 공통 특징 전략.

실험 결과
실험은 다양한 유형, 규모 및 방향을 가진 407개의 인스턴스를 포함하는 항공기 서브셋의 DIOR 원격 탐사 데이터셋에서 수행되었다. 방법론은 YOLOv3u, YOLOv5u, Faster R-CNN을 대상으로 평가되었다.

• 디지털 영역 성능: ColorFD는 테스트된 모든 탐지기에서 기존 블랙박스 패치 방법(Bbox-Att)보다 우수한 성능을 보였다. YOLOv5u의 경우, 핵심 영역 가이드 변형 모델은 79.61%의 공격 성공률(ASR)을 달고 AP50을 0.1453으로 낮추어, 블랙박스 베이스라인을 능가하고 강력한 화이트박스 베이스라인(AP-PA 및 BADEI)과 대등한 수준을 유지했다. Faster R-CNN에서는 가이드되지 않은 버전이 95.09%의 ASR과 0.0169의 AP50을 달성했다.
• 가이드 전략의 효능: 핵심 영역 가이드는 원스테이지(one-stage) 탐지기(YOLOv3u, YOLOv5u)에서 성능을 크게 향상시켰으나, 투스테이지(two-stage) Faster R-CNN에서는 블랙박스 설정에서 중간 영역 제안 네트워크(RPN) 정보에 접근할 수 없기 때문에 제한적인 이득을 보였다. 반대로, 공통 특징 가이드는 Faster R-CNN에서 우수한 성능(ASR 99.35%)을 입증하며, 투스테이지 탐지기에서 핵심 영역 국지화의 한계를 효과적으로 보완했다.
• 물리적 세계 검증: 통제된 이미징 조건 하에서 합금 항공기 모델 위에 색종이 패치를 사용하여 물리적 실험을 수행했다. 재료 특성 및 수동 부착으로 인한 색상 및 위치의 미세한 편차에도 불구하고, 최적화된 패치는 물리적 영역에서도 탐지를 성공적으로 억제하여 디지털-투-피지컬(digital-to-physical) 전이 가능성을 입증했다.

의의 및 주장
본 논문은 ColorFD가 모델 접근이 제한된 상황에서 광학 원격 탐사 탐지 시스템에 대한 실질적인 강건성 평가 방법을 제공한다고 주장한다. 적절한 최적화 전략과 가이드 메커니즘이 사용될 때, 블랙박스 물리적 공격이 최첨단 화이트박스 공격과 대등하거나 이를 능가하는 성능 수준에 도달할 수 있음을 보여준다. 본 연구는 제안된 순수 색상 패치 설계가 타겟별 최적화 및 유한 차분 가이드 제약과 결리되어 공격 효과와 물리적 실현 가능성 사이의 균형을 효과적으로 맞춘다는 점을 강조한다.

저자들은 DE 기반 최적화의 확률적 특성으로 인한 성능 가변성, 중간 정보 접근 불가로 인한 투스테이지 탐지기에서의 핵심 영역 국지화 효력 감소, 그리고 시점 및 규모 변화에 대한 순수 색상 패치의 민감도 등을 한계점으로 인정하였다. 향나의 연구 방향으로는 최적화 안정성 및 패치의 시각적 은밀성 개선을 꼽았다.