🤖 AI

Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift

이 논문은 깨끗한 입력값에 대한 NMS 전 예측 클래스 분포의 편차를 측정함으로써 장면 수준의 공격을 식별하고, 트리거에 대한 지식이나 모델에 대한 접근 권한 없이도 기존 방식보다 훨씬 높은 정확도를 달성하는 객체 탐지 모델용 백도어 탐지 프레임워크인 DistScan을 소개한다.

원저자: Longtian Wang, Zhengyu Zhao, Chenhao Lin, Le Yang, Shiwei Wang, Yuhan Zhi, Xiaofei Xie, Chao Shen

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Longtian Wang, Zhengyu Zhao, Chenhao Lin, Le Yang, Shiwei Wang, Yuhan Zhi, Xiaofei Xie, Chao Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 세계에서 카메라는 컴퓨터와 협력하여 물리적 세계를 인식합니다. 이들은 자동차, 보행자, 표지판을 실시간으로 식별하며, 이 기술은 자율주행 차량을 안내하고 공공 안전을 모니터링하는 데 사용됩니다. 이러한 시스템은 특정 객체를 인식하도록 훈련된 인공지능 모델에 의존합니다. 그러나 이러한 모델들은 사용되기 전 단계에서 비밀리에 오염될 수 있습니다. 악의적인 행위자는 훈련 과정을 오염시켜, 작은 스티커나 특정한 색상과 같은 특정 패턴을 보았을 때 모델이 이상하게 행동하도록 만드는 숨겨진 트리거(trigger)를 심어 놓을 수 있습니다. 평상시에는 시스템이 완벽하게 작동하지만, 숨겨진 트리거가 나타나는 순간, 모델은 사람을 보지 못하거나 존재하지 않는 가짜 객체를 만들어낼 수도 있습니다. 이것이 바로 백도어 공격입니다. 위험성은 모델이 트리거가 존재할 때까지는 정상적으로 보이고 작동하기 때문에, 표준적인 테스트로는 이를 발견하는 것이 거의 불가능하다는 점에 있습니다.

연구자들은 특히 여러 객체를 동시에 감지하는 복잡한 시스템에서 이러한 숨겨진 결함을 찾아내는 데 오랫동안 어려움을 겪어 왔습니다. 기존의 방법들은 숨겨진 트리거를 역공학적으로 찾아내거나 소프트웨어가 구축된 방식의 특정 기이점을 찾으려 노력하지만, 이러한 접근 방식은 공격이 단일 객체가 아닌 전체 장면에 영향을 미칠 경우 자주 실패합니다. 한 새로운 연구는 이러한 문제를 바라보는 다른 방식을 소개합니다. 연구자들은 숨겨진 트리거 자체를 추적하는 대신, 모델의 내부 습성을 조사했습니다. 그들은 모델이 비밀리에 오염되었을 때, 트리거가 전혀 없는 완벽하게 깨끗한 이미지를 보고 있을 때조차도 모델의 내부 예측이 훈련 내용과 어긋나는 방식으로 변화한다는 사실을 발견했습니다.

Longtian Wang과 Zhenyu Zhao가 이끄는 팀은 이러한 오염된 모델을 잡아내기 위해 DistScan이라는 방법을 개발했습니다. 그들의 접근 방식은 이러한 컴퓨터 비전 시스템이 학습하는 방식에 대한 간단한 관찰에 기초합니다. 모델이 대규모 이미지 세트로 훈련될 때, 모델은 단순히 객체가 어떻게 생겼는지뿐만 아니라 각 객체가 얼마나 흔한지도 학습합니다. 만약 데이터셋에 자동차 사진은 많고 자전거 사진은 매우 적다면, 모델은 자연스럽게 자동차를 더 많이 볼 것이라고 예상하게 됩니다. 이 기대치는 모델의 내부 논리의 일부가 됩니다. 연구자들은 공격자가 백도어를 주입할 때 이러한 내부 균형이 무너진다는 것을 발견했습니다. 모델은 정상적이고 안전한 이미지를 보고 있을 때조차도 특정 객체를 실제보다 더 자주 혹은 덜 자주 예측하기 시작합니다.

이를 테스트하기 위해 연구자들은 숨겨진 트리거가 어떻게 생겼는지 알 필요도 없었고, 원래의 훈련 데이터나 모델의 내부 코드에 접근할 필요도 없었습니다. 그들은 단순히 소수의 깨끗한 이미지를 모델에 입력하고, 모델이 최종 결정을 내리기 전에 무엇을 예측하는지 지켜보았습니다. 그들은 모델이 각 유형의 객체를 몇 번이나 추측하는지 계산했습니다. 건강한 모델의 경우, 이러한 추측은 실제 세계에서 발견되는 객체의 자연스러운 빈도와 일치합니다. 하지만 오염된 모델의 경우, 추측값이 왜곡되어 있어 속하지 않아야 할 불균형을 보여줍니다. 모델의 예측을 훈련 데이터의 알려진 통계와 비교함으로써, 시스템은 숫자가 맞지 않을 경우 해당 모델을 위험한 것으로 표시할 수 있었습니다.

연구진은 이 방법을 두 가지 주요 유형의 탐지 시스템과 전 세계 과학자들이 사용하는 두 가지 대규모 표준 데이터셋에 대해 테스트했습니다. 그들은 수백 개의 모델을 만들었으며, 여기에는 깨끗한 모델과 세 가지 유형의 공격으로 비밀리에 오염된 모델이 포함되었습니다. 이러한 공격에는 객체를 사라지게 만드는 트릭, 존재하지 않는 것을 보게 만드는 트릭, 그리고 객체의 이름을 바꾸는 트릭이 포함되었습니다. 새로운 방법인 DistScan은 평균 약 97%의 정확도로 오염된 모델을 성공적으로 식별해 냈습니다. 반면, 기존의 최선책들은 이러한 시나리오에서 완전히 실패했으며, 종종 무작위 추측보다 나은 성과를 내지 못했습니다. 이 연구는 DistScan이 서로 다른 유형의 모델 아키텍처에서도 동일하게 잘 작동함을 보여주었으며, 이는 예측 패턴의 변화가 백도어의 보편적인 징후임을 입증합니다.

가장 중요한 발견 중 하나는 이 방법이 전통적인 탐지 도구들에 의해 보이지 않도록 설계된 공격에도 작동한다는 점입니다. 일부 현대적 공격은 "장면 수준(scene-level)"인데, 이는 단 하나의 숨겨진 트리거가 이미지 전체에 걸쳐 모델의 오작동을 유발하여 모델이 보는 모든 객체에 영향을 미친다는 것을 의미합니다. 이전의 도구들은 단일 객체에 영향을 주는 단일하고 국소적인 트리거를 찾는 데 맞춰져 있었기에 여기서 실패했습니다. DistScan은 모델이 무엇을 보았다고 생각하는지에 대한 전체적인 분포, 즉 큰 그림을 보았기 때문에 성공했습니다. 연구진은 이러한 차이를 시각화하였고, 오염된 모델의 예측이 건강한 모델의 예측으로부터 멀리 떨어진 별도의 클러스터를 형성하여 측정 가능한 명확한 분리를 만들어낸다는 것을 발견했습니다.

또한 연구는 이미지를 제시하는 방식을 조정하여 테스트를 가장 효과적으로 만드는 방법을 탐구했습니다. 그들은 어떤 시스템의 경우에는 전체 이미지를 입력하는 것이 가장 좋았고, 다른 시스템의 경우에는 단일 객체의 크롭된 이미지를 보여주는 것이 더 신뢰할 수 있다는 것을 발견했습니다. 이는 테스트가 모델이 원래 세상을 보도록 훈련된 방식과 일치하도록 보장하기 위함이었습니다. 또한 약한 추측을 걸러내기 위해 적절한 신뢰 수준을 결정하여, 의미 있는 예측만을 계산하도록 했습니다. 이러한 세심한 조정을 통해, 이 방법은 그들이 테스트한 모든 다양한 시나리오에서 견고하고 정확하게 유지되었습니다.

이 작업은 객체 탐지 시스템을 실제로 사용하기 전에 안전성을 검증해야 하는 모든 이에게 실용적인 도구를 제공합니다. 이 방법은 공격에 대한 특별한 지식, 모델의 내부 가중치에 대한 접근, 또는 추가적인 훈련 시간이 필요하지 않습니다. 단순히 모델의 내부 기대치가 훈련된 데이터의 현실과 일치하는지 확인하는 것만으로도, DistScan은 숨겨진 위험을 포착하는 신뢰할 수 있는 방법을 제공합니다. 연구자들은 이 접근 방식이 보안 연구의 초점을 이러한 분포적 신호로 전환하여, 안전이 필수적인 애플리케이션에서의 증가하는 백도어 공격 위협에 대해 더 넓고 원칙적인 방어책을 제공하기를 희망합니다.

기술 요약: DistScan – Pre-NMS 예측 분포 변화를 통한 객체 탐지 모델의 백도어 탐지

1. 문제 정의

자율 주행, 보안 감시와 같이 안전이 필수적인 도메인에 배포되는 객체 탐지 모델은 백도어 공격에 취로합니다. 이러한 공격에서 공격자는 훈련 데이터를 오염시켜, 트리거가 존재할 때 의도된 동작(예: 오분류, 객체 소멸 또는 가짜 객체 삽입)을 유발하는 숨겨진 트리거를 심는 동시에, 정상 입력에 대해서는 거의 일반적인 성능을 유지하도록 합니다.

기존의 객체 탐지용 탐지 방법들은 다음과 같은 상당한 한계점을 가집니다:

트리거 재구성 방식 (예: ODSCAN): 트리거의 국소성(locality)과 특정 피해-대상 클래스 간의 전이에 대한 가정을 기반으로 합니다. 이 방식은 특정 클래스 대응 없이 전체 장면의 이상 현상을 유발하는 "장면 수준(scene-level)" 공격(예: Detector Collapse)에는 대응하지 못합니다.
불일치 기반 방식 (예: MIA): 특정 아키텍처 모듈(예: 2단계 모델에서의 RPN과 분류 헤드 사이) 간의 행동 차이를 이용합니다. 이 방식은 공격이 여러 브랜치를 동시에 오염시키거나 1단계(one-stage) 아키텍처에 적용될 때 실패합니다.
일반화 격차: 대부분의 방법은 장면 수준 공격에 대해 신뢰할 수 있게 일반화되지 않으며, 서로 다른 탐지기 아키텍처(1단계 vs 2단계) 간의 범용성이 부족합니다.

핵가 핵심 과제는 트리거에 대한 사전 지식이 필요 없고, 아키텍처 전반에 걸쳐 일반화 가능하며, 깨끗한 입력만을 사용하여 장면 수준 공격에 효과적인 탐지 신호를 식별하는 것입니다.

2. 방법론: DistScan

저자들은 백도어 주입이 모델의 Pre-NMS(Non-Maximum Suppression 전 단계) 예측 클래스 분포를 훈련 클래스 빈도로부터 체계적으로 이동시킨다는 관찰을 바탕으로 DistScan 프레임워크를 제안합니다.

핵심 직관

정상 모델 (Benign Models): 정상적인 모델의 중간 예측 구성 요소들은 훈련 데이터에 최적화되어 있으며, 이는 훈련 세트의 클래스 빈도 사전 확률(prior)을 암묵적으로 인코딩합니다. 결과적으로, 이들의 Pre-NMS 예측은 훈련 데이터 분포와 밀접하게 일치합니다.
백도어 모델 (Backdoored Models): 포이즈닝 과정은 모델의 중간 예측을 특정 클래스 쪽으로 편향시키거나 멀어지게 만듭니다. 이는 입력에 트리거가 존재하는지 여부와 관계없이, 실제 훈련 통계와는 다른 편향된 Pre-NMS 클래스 분포를 초래합니다.

프레임워크 개요

DistScan은 모델 가중치 접근, 트리거 지식, 또는 추가 훈련 없이 세 단계로 작동합니다.

검증 세트 구축:
- 검증 세트가 데이터셋의 혼란 요인이 아닌 모델이 학습한 사전 확률을 반영하도록 하기 위해, 모델의 분류 헤드 입력 분포와 일치하도록 검증 세트를 구성합니다.
- 1단계 모델 (예: YOLO): 분류 헤드가 전체 장면으로부터의 조밀한 앵커 예측을 기반으로 훈련되므로, 전체 이미지를 사용합니다.
- 2단계 모델 (예: Faster R-CNN): 단일 객체 크롭 이미지를 사용합니다. 2단계 헤드는 RoI(Region of Interest) 특징 위에서 작동하므로, 단일 객체 크롭이 전체 장면보다 훈련 분포를 더 정확하게 대변합니다.
Pre-NMS 예측 분포 추출:
- 의심스러운 모델이 검증 세트를 처리합니다.
- Pre-NMS 예측값(클래스, 박스, 점수의 튜플)을 수집합니다.
- 노이즈를 제거하기 위해 신뢰도 임계값( $\delta$ )을 사용하여 낮은 신뢰도의 출력을 필터링합니다.
- 남은 예측값들을 클래스별 카운트 벡터로 집계하고 정규화하여 경험적 분포 $\hat{B}(f_\theta)$ 를 형성합니다.
변화 기반 탐지 (Shift-Based Detection):
- 훈련 데이터의 클래스 인스턴스 빈도에서 유도된 참조 분포 $\hat{R}$ 과 경험적 분포 $\hat{B}(f_\theta)$ 를 비교합니다.
- 발산 정도는 Jensen-Shannon (JS) Divergence를 사용하여 정량화합니다: $D(f_\theta) = JS(\hat{B}(f_\theta) \parallel \hat{R})$ .
- 만약 $D(f_\theta)$ 가 미리 정의된 임계값 $\tau$ 를 초과하면, 해당 모델은 백도어가 있는 것으로 간주됩니다.

3. 주요 기여

새로운 탐지 관점: 본 논문은 Pre-NMS 예측에서의 클래스 분포 변화를 객체 탐지의 백도어 탐지를 위한 차별적 신호로 규명한 최초의 연구입니다.
아키텍처 불가지론적(Architecture-Agnostic) 프레임워크: DistScan은 트리거의 형태, 크기 또는 위치에 대한 가정이 필요 없으며, 1단계 및 2단계 탐지기 모두에 적용 가능합니다.
장면 수준 공격에 대한 강건성: 기존 방식과 달리, DistScan은 특정 피해-대상 클래스 전이가 아닌 글로벌 클래스 수준의 왜곡을 포착함으로써, 전체 장면에서 동시다발적인 이상 현상을 유발하는 공격(예: Detector Collapse)을 효과적으로 탐지합니다.
실용적 배포: 이 방법은 전체 데이터셋 접근이나 모델 재훈련 없이도 적은 양의 깨끗한 샘플과 훈련 클래스 통계만을 필요로 합니다.

4. 실험 결과

저자들은 MS-COCO 및 PASCAL VOC 데이터셋에서 YOLOv5(1단계)와 Faster R-CNN(2단계)을 사용하여 세 가지 장면 수준 공격 시나리오에 대해 DistScan을 평가했습니다:

객체 오분류 (GMA): 트리거가 대상 클래스로 오분류를 유발함.
객체 소멸 (BLINDING): 트리거가 객체를 사라지게 함.
객체 삽입 (SPONGE): 트리거가 가짜 탐지를 유발함.

성능 지표:

총 평가 모델 수: 288개 모델 (구성당 18개).
전체 정확도: DistScan은 평균 **96.99%**의 평균 탐지 정확도를 달-성했습니다.
비교: DistScan은 적용 가능한 가장 우수한 베이스라인 모델보다 평균 27.32 퍼센트 포인트 높은 성능을 보였습니다.
- ODSCAN: 장면 수준 설정에서 완전히 무너져 약 50%의 정확도(무작위 추측 수준)를 기록했습니다. 이는 트리거의 국소성 및 특정 클래스 전이에 대한 가정이 위반되었기 때문입니다.
- MIA: 제한적이고 일관되지 않은 효과를 보였으며, 특히 1단계 모델 및 회귀(regression)와 분류(classification) 브랜치를 모두 오염시키는 장면 수준 공격에서 실패했습니다.
강건성: DistScan은 시각적으로 유사한 클래스 쌍이 존재하는 복잡한 COCO 시나리오에서의 미미한 성능 저하를 제외하고, 대부분의 구성에서 완벽에 가까운 탐지(AUROC $\approx$ 1.0)를 유지했습니다.

5. 의의 및 주장

본 논문은 **원칙에 기반한 분포 기반 방어 프리미티브(defense primitive)**를 제공함으로써 객체 탐지 보안의 중요한 공백을 해결한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

일반화: 트리거를 알 필요도, 특정 공격 메커니즘을 알 필요도 없이 백도어를 탐지하며, 기존 방식들을 무력화하는 정교한 장면 수준 공격에 대해서도 효과적입니다.
단순성 및 효율성: 모델의 추론 과정(Pre-NMS 분포)에 내재된 통계적 특성을 활용함으로써 복잡한 최적화나 아키텍처 수정 없이도 작동합니다.
향후 방향: 저자들은 본 연구가 아직 충분히 연구되지 않은 장면 수준 백도어 공격에 대한 주의를 환기시키고, 분포 기반 탐지 신호를 광범위하게 적용 가능한 방어 전략으로서 연구하도록 독려하기를 희망합니다.

저자들은 명시적으로, 자신들의 방법이 모델의 학습된 클래스 사전 확률과 훈련 데이터 통계 사이의 일치성에 의존하며, 백도어 주입이 바로 이 성질을 깨뜨린다는 점을 강조합니다. 이러한 변화는 깨끗한 입력만으로도 관찰 가능하므로, DistScan은 신뢰할 수 없는 제3자로부터 받은 모델을 검사하는 데 실용적인 도구가 됩니다.