Backdoor Mitigation in Object Detection via Adversarial Fine-Tuning

기술 요약: 적대적 미세 조정을 통한 객체 감지에서의 백도어 완화

문제 제기
객체 감지에서의 백도어 공격은 자율 주행, 감시 등 안전이 중요한 비전 시스템에 심각한 위협을 가합니다. 단일 레이블을 출력하는 이미지 분류와 달리, 객체 감지기는 연관된 클래스 점수를 가진 바운딩 박스 집합을 생성합니다. 이러한 구조적 복잡성은 공격 표면을 확장하고 이질적인 공격 목표를 도입합니다. 기존 연구는 두 가지 주요 위협 모델을 식별했습니다: 영역 오분류 공격 (RMAs) 은 트리거가 포함된 객체가 공격자가 선택한 목표 클래스로 오분류되는 것이며, 객체 소멸 공격 (ODAs) 은 공격된 객체에 대한 예측이 완전히 억제되는 것입니다.

객체 감지를 위한 기존 방어책은 제한적입니다. 추론 시 트리거 탐지 방법은 계산 비용이 많이 들며 종종 공격 유형마다 별도의 절차가 필요합니다. 트리거 합성 방법은 피해자 클래스에 대한 지식을 전제하는데, 이는 항상 가능한 경우가 아닙니다. 소량의 깨끗한 데이터를 사용하여 손상된 모델을 미세 조정하는 것과 같은 직접적 완화 전략은 감지 분야에서는 아직 미개발 상태입니다. 분류 지향적 적대적 미세 조정을 감지에 적용하는 것은 다음 이유로 인해 쉽지 않습니다:

1. 알려지지 않은 공격 목표: 방어자는 백도어가 오분류 (RMA) 를 목표로 하는지 소멸 (ODA) 을 목표로 하는지 종종 알지 못합니다.
2. 기울기 희석: 표준 감지 손실은 많은 후보 예측 (배경 포함) 에 걸쳐 오류를 집계합니다. 적대적 예제로 미세 조정할 때, 특정 목표 객체와 관련된 기울기 신호는 관련 없는 예측들에 의해 희석되어 복구 신호가 약화됩니다.

방법론
저자들은 방어자가 특정 공격 목표에 대한 지식 없이 손상된 감지기 및 제한된 깨끗한 데이터셋에만 접근할 수 있을 때 백도어를 완화하도록 설계된 감지 인식 적대적 미세 조정 프레임워크를 제안합니다. 이 접근법은 두 가지 주요 구성 요소로 이루어집니다:

1. 적대적 예제 생성:
   이 프레임워크는 객체 감지의 점수 임계값 구조와 일치하는 대리 트리거를 생성하기 위한 두 가지 전략을 도입합니다:

   • 분류 손실 최대화 (CLM): 목표 객체에 매칭된 예측에 국한된 분류 손실 ($L_{CLS}$) 을 최대화하는 데 초점을 맞춘 표준 적대적 최대화의 적응형 변형입니다. 이는 오분류 또는 억제를 유도하기 위한 간접적 대리 역할을 합니다.
   • 소프트 브랜치 최소화 (SBM): 알려지지 않은 공격 목표를 위해 설계된 새로운 전략입니다. SBM 은 두 가지 최적화 브랜치를 정의합니다: 하나는 RMA 를 위해 (비목표 클래스 점수가 감지 임계값 $\tau$를 초과하도록 유도) 그리고 다른 하나는 ODA 를 위해 (모든 전경 점수가 $\tau$ 미만으로 떨어지도록 유도) 입니다. 이러한 브랜치는 소프트 게이트 (음의 손실에 대한 소프트맥스) 를 통해 결합되어 만족에 더 가까운 브랜치를 동적으로 우선순위로 삼습니다. 이를 통해 특정 위협에 대한 사전 지식 없이도 두 가지 공격 유형 모두에 효과적인 교란을 생성할 수 있습니다. SBM 은 또한 RMA 공격이 확산된 점수 분포가 아닌 단일 지배적인 잘못된 클래스로 이어지도록 보장하기 위해 엔트로피 기반 집중 패널티를 포함합니다.

2. 감지 인식 미세 조정:
   기울기 희석을 해결하기 위해 저자들은 전체 감지 집합이 아닌 목표 객체에 매칭된 예측 집합 ($J_{i^*}$) 에만 적용되는 이중 목적 방어 손실을 제안합니다. 이 손실은 표준 감지 손실 ($L_{OD}$) 에 다음 두 항을 보완합니다:

   • 복구 항 ($L_{REC}$): ODA 및 RMA 에 대응하여 정답 클래스 점수가 감지 임계값 $\tau$를 초과하도록 유도합니다.
   • 억제 항 ($L_{SUP}$): 높은 비목표 클래스 점수를 패널티로 부과하여, 모델이 정답 점수를 복원하는 동시에 경쟁 클래스에 높은 점수를 할당하여 오분류로 이어지는 것을 방지합니다.

   이 프레임워크는 또한 적대적 생성 중 목표 객체 선택을 위해 필터링 가중 선택 (FWS) 을 도입합니다. 무작위 선택 대신 FWS 는 깨끗한 입력에서 올바르게 감지된 객체로 후보를 제한하고 신뢰도에 따라 가중치를 부여하여, 내부 최적화 루프가 기존 감지 모호성이 아닌 안정적이고 정보적인 목표에 집중하도록 보장합니다.

주요 기여

• 감지 인식 적대적 생성: 알려지지 않은 공격 목표 (RMA 대 ODA) 를 소프트 게이트 및 엔트로피 정규화 목적 함수를 통해 처리하는 SBM 의 도입과, 분류 손실 최대화의 감지 특화 적응형인 CLM 의 도입.
• 집중된 복구 목적: 배경이나 비목표 객체에 의한 복구 신호의 희석을 방지하기 위해 목표 매칭 예측으로 제한된 이중 목적 방어 손실.
• 포괄적 평가: 이 방법은 Pascal VOC, MTSD, COCO 데이터셋에서 RMA 및 ODA 공격에 대해 CNN 기반 (YOLOv5, FCOS) 및 Transformer 기반 (DINO) 감지기에 대해 평가되었습니다.

결과
실험은 제안된 접근법이 공격 성공률 (ASR) 과 실제 감지율 (TDR) 간의 트레이드오프에서 분류 지향적 베이스라인 (Fine-Tuning, Fine-Pruning, FT-SAM) 보다 훨씬 우수함을 보여줍니다:

• ASR 감소: 가장 강력한 구성 (SBM 과 FWS 및 방어 손실) 은 가장 강력한 베이스라인 대비 Pascal VOC 에서 중앙값 ASR 을 83% 감소시키고 MTSD 에서 94% 감소시켰습니다.
• TDR 유지: ASR 을 감소시키는 동안 이 방법은 유리한 실제 감지율을 유지하며, 베이스라인 대비 VOC 에서 0.52, MTSD 에서 0.43 의 TDR 향상을 보였으며, 깨끗한 성능에 대한 modest 한 비용 (Ratio mAP 비용 $\le$ 0.10) 으로 달성되었습니다.
• 데이터 부족에 대한 강건성: 이 방법은 깨끗한 데이터 예산이 5% 에서 1.25% 로 감소하더라도 여전히 효과적이며, 많은 경우 전체 5% 예산으로 훈련된 베이스라인을 능가합니다.
• 일반화: 이 접근법은 다양한 감지기 아키텍처 및 트리거 유형에 걸쳐 일반화되며, 합성 데이터셋 (MTSD) 에서 실제 세계 물리적 트리거 (PTSD) 로의 강력한 전이성을 보입니다.

의의 및 주장
이 논문은 백도어 데이터에 대한 접근이나 특정 공격 목표에 대한 지식이 필요 없는 범용 완화 전략을 제공함으로써 객체 감지 보안의 중요한 간극을 해결한다고 주장합니다. 저자들은 그들의 접근법이 분류 및 감지 설정 간의 구조적 불일치에 기반한다고 강조합니다.

저자들은 다음과 같은 점을 인정하며 겸손하게 주장을 펼칩니다:

• 트리거가 포함된 객체에 대한 정확한 감지를 완전히 복구하는 것은 여전히 어렵습니다. 일부 설정에서 TDR 은 "긴 하위 꼬리"를 유지하며, 이는 분류 기반 방어에서 관찰된 한계와 일치합니다.
• 이론적 분석은 모든 감지기 아키텍처에 대한 글로벌 강건성 보장이 아니라, 기울기 정렬, 점수 마진과 같은 설계 선택에 대한 메커니즘 수준의 정당성을 제공합니다.
• 현재 프레임워크는 객체 중심이며 배경 영역의 트리거가 유령 감지를 유도하는 객체 생성 공격을 직접 다루지 않으며, 이를 향후 연구 방향으로 식별합니다.

이 연구는 방어자가 제한된 깨끗한 데이터와 특정 백도어 트리거 또는 목표에 대한 지식 없이도 현실적인 제약 하에서 보안 (낮은 ASR) 과 유틸리티 (높은 TDR 및 깨끗한 mAP) 간의 강력한 트레이드오프를 제공하는 안전이 중요한 시스템을 위한 실용적인 복구 메커니즘으로 자신을 위치시킵니다.