Out-of-the-box: Black-box Causal Attacks on Object Detectors

1. 문제 정의 (Problem)

객체 감지기 (Object Detectors, OD) 는 자율 주행 등 안전이 중요한 분야에서 핵심적인 역할을 하지만, 적대적 공격 (Adversarial Attacks) 에 매우 취약합니다. 기존 연구들은 주로 다음과 같은 한계를 가지고 있습니다:

• 화이트박스 의존성: 대부분의 기존 공격 방법은 모델의 내부 구조 (레이어, 그래디언트) 에 접근해야 하므로, 실제 배포 환경 (블랙박스) 에서 적용하기 어렵습니다.
• 원인 불명: 공격이 성공하는지 여부는 알 수 있지만, 왜 성공하는지에 대한 인과적 설명 (Causal Explanation) 이 부족합니다.
• 비효율성 및 가시성: 기존 블랙박스 공격은 종종 많은 픽셀을 변경하거나 눈에 띄는 노이즈를 추가하여 성공률을 높입니다. 이는 실제 적용 시 탐지되기 쉽습니다.
• 경계선 오해: 많은 연구자들은 모델이 객체의 바운딩 박스 (Bounding Box) 내부의 픽셀에만 의존한다고 가정하지만, 이는 사실이 아닐 수 있습니다.

이 논문은 블랙박스 환경에서 모델의 내부 정보 없이도, **인과적 (Causal)**인 픽셀 집합을 식별하여 설명 가능하고, 미세하며, 아키텍처에 구애받지 않는 공격을 수행하는 방법을 제시합니다.

2. 방법론 (Methodology)

논문은 **BlackCAtt (Black-box Causal Attacks)**이라는 새로운 알고리즘과 도구를 제안합니다. 핵심 아이디어는 **최소 충분 픽셀 집합 (Minimal Sufficient Pixel Sets, MSPS)**을 활용하는 것입니다.

핵심 개념: MSPS (Minimal Sufficient Pixel Sets)

• MSPS 는 원본 이미지에서 모델이 특정 객체를 감지하는 데 필요한 최소한의 픽셀 집합입니다.
• 놀라운 발견: MSPS 는 종종 객체의 바운딩 박스 내부에만 있는 것이 아니라, 박스 외부의 맥락 (Context) 픽셀을 포함하고 있습니다. 즉, 객체 주변의 배경 정보도 감지 결정에 중요한 '원인'이 됩니다.
• MSPS 추출 도구: rex (실제 인과성 이론 기반) 와 drise (블랙박스 설명 도구) 를 사용하여 초기 중요도 맵 (Saliency Map) 을 생성하고, 이를 기반으로 MSPS 를 추출합니다.

BlackCAtt 알고리즘

논문은 두 가지 주요 공격 알고리즘을 제안합니다. 이 두 알고리즘은 모델의 점수 (Confidence) 나 손실 함수 (Loss) 없이 레이블과 바운딩 박스 위치만으로도 작동합니다.

1. BlackCAttBl (Blended):

   • 실제 감지에 기여하는 맵 ($R(X)$) 과 감지에 기여하지 않는 맵 ($R(\bar{X})$) 을 결합하여 생성된 맵을 사용합니다.
   • MSPS 내부, MSPS 외부, 그리고 전체 MSPS 영역을 대상으로 점진적으로 픽셀을 추가하며 공격을 시도합니다.
   • 공격 성공 시 왜곡 (Distortion) 을 최소화하기 위해 정제 (Refinement) 과정을 거칩니다.

2. BlackCAttMoG (Mixture of Gaussians):

   • MSPS 맵을 가우시안 혼합 모델 (MoG) 로 간주하여 공간적으로 연속적이고 부드러운 공격 패턴을 생성합니다.
   • 맵의 중요도가 높은 피크 (Peak) 를 추출하고, 이를 2D 가우시안 커널로 피팅하여 자연스러운 왜곡을 만듭니다.
   • 이는 객체의 형태를 유지하면서 미세하게 픽셀을 변경하여 감지를 무효화하거나 변경합니다.

메타 알고리즘 (Meta-algorithm) 역할

BlackCAtt 는 기존 블랙박스 공격 (Square Attack, PRFA 등) 에 **공간적 사전 지식 (Spatial Priors)**을 제공하는 메타 알고리즘으로도 작동합니다. 기존 공격이 MSPS 로 제한된 영역 내에서만 탐색하도록 유도하여, 더 적은 픽셀 변경으로 더 높은 성공률을 달성하게 합니다.

3. 주요 기여 (Key Contributions)

1. 블랙박스 인과적 공격 프레임워크: 모델 내부 정보 없이 MSPS 를 기반으로 한 최초의 설명 가능한 블랙박스 공격 방법론을 제시했습니다.
2. 바운딩 박스 외부의 인과성 발견: 객체 감지 모델이 객체 자체뿐만 아니라 바운딩 박스 외부의 맥락 픽셀에도 의존한다는 사실을 실증적으로 증명했습니다. (높은 신뢰도 감지에서도 MSPS 의 상당 부분이 박스 외부에 존재함)
3. 효율적이고 설명 가능한 공격: 기존 블랙박스 공격 대비 훨씬 적은 픽셀 변경 (낮은 $L_0$ 노름) 으로 동일한 성공률을 달성하며, 공격이 왜 성공했는지 (어떤 픽셀이 원인인지) 를 명확히 보여줍니다.
4. 범용성 및 메타 알고리즘: YOLO, Faster R-CNN, RT-DETR 등 다양한 아키텍처에서 작동하며, 기존 공격 기법의 성능을 향상시키는 메타 알고리즘으로 활용 가능합니다.

4. 실험 결과 (Results)

COCO 데이터셋과 YOLO, Faster R-CNN, RT-DETR 모델을 사용하여 평가했습니다.

• 성공률 대비 왜곡도:
  • BlackCAtt 는 기존 블랙박스 공격 (Noise, Targeted Noise) 보다 2.3 배 이상 높은 성공률을 보였습니다.
  • 특히, **Square Attack (SA)**과 결합했을 때, 공격의 평균 거리 ($L_0$ 노름) 를 0.987 에서 0.072 로 약 14 배 감소시켰습니다. (성공률은 유지)
  • 이는 공격이 훨씬 더 미세하고 눈에 띄지 않게 (Imperceptible) 되었음을 의미합니다.
• 공격 목표별 성능:
  • 감지 제거 (Remove): 박스 외부의 MSPS 픽셀을 공격하는 것이 박스 내부 공격보다 더 적은 픽셀 변경으로 성공했습니다.
  • 새로운 감지 추가 (Add New): 모든 모델에서 가장 높은 성공률을 보였으며, BlackCAtt 기반 방법이 압도적으로 우수했습니다.
  • 레이블 변경 (Change): 가장 어려운 목표였으나, BlackCAtt 가 여전히 기존 방법보다 낮은 왜곡도로 성공했습니다.
• 아키텍처별 차이:
  • Transformer 기반 모델 (RT-DETR) 은 단일 단계 모델 (YOLO) 보다 더 강력하게 저항했으나, BlackCAttMoG 는 Transformer 의 구성적 특성과 잘 맞아 높은 성공률을 보였습니다.

5. 의의 및 결론 (Significance)

• 안전성 및 신뢰성: 자율 주행 등 안전 필수 시스템에서 객체 감지기의 취약점을 인과적으로 분석함으로써, 개발자가 모델의 약점을 이해하고 강화 (Robustness) 할 수 있는 통찰을 제공합니다.
• 설명 가능한 AI (XAI) 의 실용화: 단순히 "어디가 중요한가"를 보여주는 것을 넘어, "어떤 픽셀이 감지의 원인인가"를 식별하여 공격을 수행함으로써, 공격의 메커니즘을 투명하게 만듭니다.
• 방어 전략 제안: 공격이 박스 외부의 맥락 픽셀에 의존한다는 발견은, 향후 모델 훈련 시 배경 맥락에 대한 과적합을 방지하거나, MSPS 기반의 적대적 훈련 (Adversarial Training) 을 통해 모델을 강화할 수 있는 새로운 방향을 제시합니다.

요약하자면, 이 논문은 블랙박스 환경에서도 모델의 '원인'을 찾아내어 최소한의 변화로 가장 효과적인 공격을 가능하게 하는 획기적인 방법론을 제시하며, 객체 감지 시스템의 보안과 해석 가능성 연구에 중요한 이정표가 됩니다.