Anti-Backdoor Coreset Selection via Cumulative Entropy

기술 요약: 누적 엔트로피를 통한 안티-백도어 코어셋 선택 (Anti-Backdoor Coreset Selection via Cumulative Entropy)

문제 정의
심층 신경망은 대규모 훈련 데이터셋을 필요로 하지만, 이러한 데이터셋을 수동으로 검증하는 것은 불가능하며, 이로 인해 모델은 데이터 포이즈닝(data-poisoning) 공격에 취면하게 됩니다. 구체적으로, 신경망 백도어는 트리거 패턴으로부터 타겟 예측으로 이어지는 지름길(shortcut)을 구축합니다. 최근의 방어 기법들은 이러한 위협을 완화하기 위해 오염된 데이터셋을 '양성(benign)'과 '오염된(poisoned)' 하위 집합으로 분리하여 깨끗한 모델을 훈련하려고 시도하지만, 기존 방식들은 종종 자연 정확도(natural accuracy)와 백도어 제거 사이의 균형을 맞추는 데 실패합니다. 많은 기존 접근 방식은 자연스러운 성능을 저해하거나, 깨끗한 참조 데이터셋에 의존하며(이는 자동화된 방어라는 목적에 어긋남), 또는 특정 정교한 공격에 취약합니다. 또한, 단순히 데이터셋을 분할하는 것만으로는 선택 기준이 견고하지 않을 경우 오염된 샘플이 잔류할 위험이 있습니다.

방법론: 안티-백도어 코어셋 선택 (ABCS)
저자들은 훈련 시점의 백도어 방어를 **코어셋 선택 문제(coreset selection problem)**로 재정의합니다. 핵심 직관은 훈련 데이터가 두 가지 작업, 즉 주 작업(양성 작업)과 부 작업(백도어 작업)을 인코딩한다는 것입니다. 일반적으로 오염된 샘플은 낮은 예측 불확실성을 보이며 빠르고 안정적인 수렴을 유도하는 반면, 양성이면서 학습하기 어려운 샘플은 높은 불확실성을 나타냅니다. 본 방법론은 기하학적 대표성이 아닌 **정보성(informativeness)**을 기준으로 코어셋을 선택함으로써, 자연스럽게 주 작업을 우선시합니다.

제안된 방어 기법인 ABCS는 **누적 엔트로피(Cumulative Entropy, CENT)**를 선택 기준으로 활용하며, 세 단계로 작동합니다:

1. 웜업 단계 (Warm-Up Phase): 초기 선택을 안정화하기 위해 전체 오염된 데이터셋에 대해 $T_{wa}$ 에폭 동안 모델을 훈련합니다. 타겟 코어셋 크기($s$)를 결정하기 위해, 올바르게 예측된 샘플들의 평균 엔트로피를 기반으로 임계값 $\tau$를 계산합니다.
2. 코어셋 선택 단계 ($T_{se}$ 에폭):
   • 1단계 (학습): 중간 엔트로피 분포를 얻기 위해 전체 오염된 데이터셋에서 1 에폭 동안 모델을 훈련합니다.
   • 2단계 (언러닝/Unlearning): 양성 샘플과 오염된 샘플 사이의 격차를 키우기 위해, 불확실한 샘플들을 "언러닝"합니다. 예측이 올바른 샘플들의 평균보다 엔트로피가 높은 샘플들을 식별하고, 여기에 **레이블 스무딩(label smoothing)**과 $L_2$ 정규화(이전 모델 가중치에 고정)를 적용합니다. 이 단계는 모델 붕괴를 방지하고 불확실성 격차를 명시적으로 확대하여, 저불확실성인 오염된 샘플과 구별되는 양성 샘플을 더욱 뚜렷하게 만듭니다.
   • 3단계 (축적): 각 샘플의 정규화된 샤논 엔트로피(Shannon entropy)를 여러 에폭에 걸쳐 축적합니다. 샘플 $x_i$에 대한 누적 엔트로피(CENT) 점수는 $T_{se}$ 에폭 동안의 정규화된 엔트로피의 평균으로 정의됩니다.
3. 최종 훈련: 가장 높은 CENT 점수를 가진 상위 $s$개의 샘플이 양성 코어셋 $D_{bng}$를 형성합니다. 새로운 모델은 표준 교차 엔트로피 손실을 사용하여 이 코어셋으로부터 처음부터 다시 훈련됩니다.

주요 기여

• 새로운 정식화: 본 논문은 "안티-백도어 코어셋 선택"을 도입하여, 방어를 단순히 독(poison)을 필터링하는 것이 아니라 주 작업의 정보가 풍부한 하위 집합을 추출하는 문제로 정의했습니다.
• 누적 엔트로피 기준: 저자들은 여러 에폭 동안 학습 역학을 추적하는 지표인 CENT를 제안합니다. 단일 에폭의 불확실성 측정치가 갖는 분산 문제를 해결하기 위해, CENT는 시간적 일관성을 포착하여 지속적으로 불확실한 샘플(양성)과 빠르게 수렴하는 샘플(오염)을 효과적으로 식별합니다.
• 언러닝 메커니즘: 레이블 스무딩 및 정규화와 결 함께 결합된 특정 언러닝 단계는 양성 샘플과 오염된 샘플 사이의 분리성을 향상시켜, 단순 엔트로피 기반 선택이 정교한 공격에 직면했을 때 갖는 한계를 해결합니다.
• 효율성: 본 방법론은 전체 데이터셋보다 현저히 작은 코어셋($r_{se} \ll 1$)을 구성하며, 결과적으로 총 훈련 시간이 일반적인 훈련(naive training)과 유사한 수준입니다.

실험 결과
저자들은 CIFAR-10, GTSRB, Tiny-ImageNet을 대상으로 8가지 서로 다른 백도어 공격(BadNets, Blend, WaNet, A-Blend 포함)에 대해 ABCS를 평가했습니다.

• 강건성: ABCS는 조사된 모든 백도어를 일관되게 완화하였으며, 대부분의 시나리오에서 공격 성공률(ASR)을 0% 근처로 낮추어 ABL, DBD, CBD, V&B, Harvey와 같은 최신 기술(SOTA) 방어 기법들을 크게 능가했습니다.
• 자연 정확도: 본 방법론은 깨끗한 데이터셋으로 훈련된 모델과 대등한 자연 정확도(ACC)를 유지하였으나, 기존의 많은 방어 기법들은 상당한 정확도 저하를 겪었습니다.
• 방어 효과율 (DER): ABCS는 CIFAR-10에서 95% 이상, Tiny-ImageNet에서 97% 이상의 DER 점수를 달성하여, 백도어 제거와 정확도 유지 사이의 우수한 균형을 입증했습니다.
• 클린 데이터 적응성: 기존 방식들이 깨끗한 데이터에서 성능이 저하되는 것과 달리, ABCS는 오염되지 않은 데이터셋에서도 높은 성능을 유지하여 적응성을 보여주었습니다.
• 포이즈닝 비율: 선택된 코어셋은 무시할 만한 수준의 포이즈닝 비율($\rho_{bng} \approx 0$)을 포함하고 있어, 악성 샘플을 효과적으로 배제했습니다.

의의 및 주장
본 논문은 ABCS가 백도어가 없는 모델을 훈련하기 위한 양성 코어셋을 구축하는 매우 효과적인 훈련 시점 방어책이라고 주장합니다. 이 연구의 주요 의의는 기존 연구의 흔한 실패 지점인 자연 성능에 대한 영향이 미미하면서도 일관되게 백도어 공격을 완화할 수 있다는 점에 있습니다. 저자들은 이 방법이 깨끗한 참조 데이터셋을 요구하지 않으며, 일반적인 훈련과 유사한 계산 비용이 들어 실제 환경 배포에 실용적임을 강조합니다. 저자들은 경험적 성능은 강력하지만, 현재 코어셋과 오염된 샘플 간의 잠재 공간(latent space) 분리에 관한 이론적 토대가 부족함을 언급하며, 이를 향후 연구 과제로 제시하였습니다.