기술 요약: HARVEY – 백도어를 제거하기 위해 백도어를 학습하다

문제 정의

본 논문은 **데이터 포이즈닝(data poisoning)**을 통해 도입되는 뉴럴 백도어(neural backdoors) 문제를 다룹니다. 이 위협 모델에서 공격자는 훈련 과정에 접근하지 않고도 훈련 데이터셋에 소량의 독성 샘플을 주입합니다. 이 샘플들은 특정 트리거 패턴을 포함하고 있어, 트리거가 존재할 때 모델이 미리 정의된 타겟 라벨을 예측하도록 유도하는 한편, 정상적인 입력에 대해서는 높은 정확도를 유지하게 만듭니다.

기존의 방어 기법들은 깨끗한 참조 데이터셋(clean reference dataset)이 없는 **훈련 시점(training-time setting)**에서 어려움을 겪는 경우가 많습니다. 기존 방식들은 주로 고정된 임계값을 사용하거나 정상적인 참조 모델을 반복적으로 학습하여 정상(benign) 샘플을 식별하거나 백도어를 억제하려고 시도합니다. 그러나 저자들은 이러한 방법들이 근본적인 문제에 직면해 있음을 관찰했습니다. 즉, "학습하기 어려운" 정상 샘플의 손실 분포가 독성 샘플의 분포와 겹치는 경우가 많기 때문에 정상 샘플과 독성 샘플을 구별하는 것이 매우 어렵다는 점입니다.

방법론: HARVEY

저자들은 표준적인 패러다임을 뒤집는 새로운 훈련 시점 방어 기법인 HARVEY를 제안합니다. HARVEY는 정상 샘플을 위한 참조 모델을 학습하는 대신, 독성 샘플을 위한 오라클(oracle) 역할을 할 **강력하게 백도어가 주입된 참조 모델(strongly backdoored reference model)**을 반복적으로 학습합니다. 핵심 통찰은 백도어(특정하고 학습하기 쉬운 패턴)를 학습하는 것이 일반적인 자연적 과업(natural task)을 학습하는 것보다 훨씬 쉽다는 것이며, 이를 통해 독성 데이터를 더 정확하게 식별할 수 있다는 점입니다.

HARVEY는 다음의 4단계로 작동합니다:

1. 초기화(Initialization): 모델을 독성이 포함된 데이터셋($\tilde{D}$)으로 나이브하게 훈련합니다. Symmetric Cross-Entropy (SCE) 손실의 구성 요소인 역 교차 엔트로피(Reverse Cross-Entropy, RCE) 손실을 사용하여, 데이터셋을 두 개의 하위 집합으로 분할합니다: RCE 손실이 가장 낮은 하위 50%의 샘플을 포함하는 초기 독성 하위 집합($D^{(0)}_{bad}$)과 정상 하위 집합($D^{(0)}_{bng}$)입니다.
2. 백도어 학습(Learning the Backdoor): 참조 모델($\theta_{ref}$)을 $n$번의 라운드 동안 반복적으로 훈련시켜 백도어 기능에 더욱 특화되도록 합니다.
   • 학습(Learning): 모델은 백도어 학습을 장려하는 수정된 손실 함수를 사용하여 현재의 독성 하위 집합($S^{(i)}$)에 대해 미세 조정(fine-tuning)됩니다.
   • 망각(Unlearning): 모델은 이전 반복의 정상 세트에서 가져온 정상 샘플들에 대해 Cross-Entropy (CE) 손실을 최대화함으로써 정상 샘플을 *망각(unlearn)*하도록 훈련됩니다.
   • 분할(Splitting): 업데이트된 참조 모델은 RCE 손실을 기준으로 전체 데이터셋을 재분할하는 데 사용됩니다. 모델이 이제 백도어에 매우 민감해졌기 때문에, RCE 손실은 독성 샘플과 정상 샘플 사이의 명확한 분리를 만들어냅니다. RCE 손실이 가장 낮은 50%의 샘플이 다음 반복을 위한 새로운 독성 하위 집합을 형성합니다.
3. 메타 분할(Meta-Splitting): $n$번의 라운드를 거친 후, 최종 참조 모델($\theta^{(n)}_{ref}$)은 백도어에 너무 편향되어 정상 샘플 중 타겟 클래스에 속하는 샘플을 독성 샘플로 오분류할 수 있습니다. 이를 해결하기 위해 저자들은 여전히 정상적인 기능에 대한 개념을 보유하고 있는 **첫 번째 참조 모델($\theta^{(1)}_{ref}$)**을 사용하여 최종 독성 하위 집합에 대해 "메타 분할"을 수행합니다. 이를 통해 독성 샘플과 함께 잘못 그룹화된 나머지 정상 샘플(특히 타겟 클래스의 샘플)을 격리합니다.
4. 최종 훈련(Final Training): 격리된 정상 하위 집합들(2단계와 3단계에서 추출된 것)을 결합하여 깨끗한 데이터셋($D_{bng}$)을 구성합니다. 최종 모델은 이 데이터셋을 사용하여 표준 지도 학습(CE 손실)을 통해 백도어가 없는 모델을 생성하도록 훈련됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 강조합니다:

• RCE 기반 데이터셋 분할: 저자들은 Symmetric Cross-Entropy (SCE) 손실을 분석하고, 역 교차 엔트로피(RCE) 구성 요소 단독으로 사용하는 것이 독성 샘플과 정상 샘플을 분리하는 데 더 우수함을 입증했습니다. 전체 SCE 손실과 달리, RCE는 고정된 출력 범위와 명확한 분리 임계값을 제공하여 고정된 비율 없이도 안정적이고 효과적인 데이터셋 분할을 가능하게 합니다.
• 참조 모델의 패러다임 전환: 본 연구는 정상 샘플을 식별하기 위해 참조 모델을 사용하는 것에서 독성 샘플을 식별하기 위해 사용하는 것으로의 전환을 도입합니다. 독성 샘플이 정상 샘플보다 학습하기 쉽다는 관찰을 활용함으로써, HARVEY는 기존 방식들이 정상 데이터를 식별할 때 달성하는 것보다 더 높은 재현율(recall)로 독성 데이터를 식별하는 "백도어 오라클"을 구축합니다.
• 결정적인 방어 성능 개선: 이 방법은 다양한 공격 유형, 데이터셋 및 아키텍처에 대해 평가되었습니다. HARVEY는 자연적 정확도의 상당한 저하를 겪거나 은밀한 공격에 실패하는 기존의 최첨단 방어 기법들을 압도하며, 백도어를 거의 제로 수준으로 억제하면서도 높은 자연적 정확도를 유지합니다.

실험 결과

저자들은 ResNet18, WRN16-1, ResNet34와 같은 아키텍처를 사용하여 CIFAR-10, Tiny-ImageNet, GTSRB 데이터셋에 대해 HARVEY를 평가했습니다. 또한 BadNets, Trojan, Blend, Clean-Label (CLB), IAB, WaNet 등 6가지 공격 유형을 대상으로 테스트했습니다.

• 공격 성공률 (ASR): HARVEY는 모든 데이터셋과 공격에 대해 최악의 경우에도 ASR을 2% 미만으로 낮추었습니다. 많은 경우(예: Tiny-ImageNet), ASR은 **< 0.5%**로 감소했습니다.
• 자연적 정확도 (ACC): 백도어를 완화하기 위해 종종 자연적 정확도를 희생하는 다른 방어 기법들(예: ABL 또는 CBD)과 달리, HARVEY는 "방어 없음(No Defense)" 베이스라인과 대등한 수준의 자연적 정확도를 유지했습니다. 예를 들어, CIFAR-10의 ResNet18에 대해 HARVEY는 평균 ACC **93.56%**와 ASR **0.85%**를 달성한 반면, "방어 없음" 베이스라인은 ASR이 **99.99%**였습니다.
• 분할 성능: 데이터셋 분할 지표(F1 점수 및 정상 세트 내 독성 비율 $\rho_{bng}$) 측면에서 HARVEY는 관련 연구들을 크게 앞질렀습니다. CIFAR-10의 WRN16-1에 대해 HARVEY는 $\rho_{bng} \approx 0.04\%$와 함께 **79.82%**의 F1 점수를 달성한 반면, 가장 우수한 관련 연구인 DBD는 F1 **22.12%**와 $\rho_{bng} \approx 6.73\%$를 기록했습니다.
• 효율성: HARVEY는 반복적인 훈련 과정을 포함하지만, 총 시간 소모량은 나이브 훈련과 유사하며 CIFAR-10에서 거의 하루가 걸릴 수 있는 DBD와 같은 방어 기법보다 현저히 빠릅니다.

의의 및 주장

본 논문은 HARVEY가 훈련 시점 백도어 방어의 새로운 표준을 세운다고 주장합니다. 그 의의는 다음과 같습니다:

1. 강건성(Robustness): Blend나 WaNet와 같이 다른 방법들이 실패하는(ASR > 90%) 은밀한 공격을 포함하여 다양한 백도어 공격을 성공적으로 완화합니다.
2. 깨끗한 데이터 불필요: 공격에 대한 사전 지식이나 깨끗한 참조 데이터셋에 대한 접근 없이도 효과적으로 작동합니다.
3. 성능 보존: 자연적 과업에 대한 모델의 효용성을 저해하지 않으면서 거의 완벽한 백도어 제거를 달성합니다.
4. 개념적 전환: 문제를 "백도어를 제거하기 위해 백도어를 학습하는 것"으로 프레이밍함으로써, 독성 샘플을 격리하려고 시도하는 것보다 독성 샘플의 학습 용이성을 활용하는 것이 더 신뢰할 수 있는 전략임을 입증했습니다.

저자들은 자신들의 접근 방식이 독성 샘플을 근본적으로 제거함으로써 백도어 학습을 효과적으로 방지하며, 결과적으로 최종 모델이 깨끗하면서도 우수한 성능을 갖추도록 보장한다고 결론지었습니다.