Rethinking Backdoor Adversarial Unlearning through the Lens of Catastrophic Forgetting in Continual Learning

기술 요약: 지속 학습의 파괴적 망각 관점에서 본 백도어 적대적 언러닝(Unlearning)의 재고

문제 정의
현재의 백도어 방어 전략, 특히 안전 튜닝(safety tuning) 방법들은 종종 피상적인 보호만을 제공한다. 이러한 방법들은 초기 공격 성공률(ASR)을 낮출 수는 있지만, 내재된 백도어 특징을 완전히 제거하는 데는 자주 실패한다. 최근의 증거에 따르면, "정화된(purified)" 모델은 잔류 백도어 지식을 보유하고 있으며, 이는 공격자에 의해 미세 조정(Retuning Attack)이나 쿼리 기반 섭동(Query-based Reactivation Attack)을 통해 빠르게 재활성화될 수 있다. 기존의 방어 기법들은 백도어 특징의 제거와 클린 태스크 성능의 보존 사이에서 균형을 맞추는 데 어려움을 겪고 있으며, 특히 클린 특징과 백도어 특징이 서로 얽혀 있는 저직교성(low orthogonality) 또는 저선형성(low linearity) 특성을 가진 공격에 취약하다.

방법론
저자들은 백도어 학습과 언러닝을 순차적인 3단계 지속 학습(continual learning, CL) 과정인 클린 태스크($\tau_c$), 백도어 태스크($\tau_b$), 그리고 백도어 언러닝 태스크($\tau_u$)로 재해석하는 새로운 프레임워크를 제안한다.

1. 파괴적 망각을 통한 이론적 토대:

   • 본 논문은 **완전한 백도어 언러닝(Complete Backdoor Unlearning)**을 언러닝 태스크 $\tau_u$가 백도어 효과를 완전히 제거하면서(정화된 모델의 오염된 데이터에 대한 출력이 클린 모델의 출력과 일치하도록 함) 동시에 클린 태스크의 성능을 보존하는 상태로 정의한다.
   • 신경 탄젠트 커널(Neural Tangent Kernel, NTK) 프레임워크를 활용하여, 저자들은 이를 달성하기 위한 필요 조건을 도출한다: 즉, 언러닝 태스크는 백도어 특징의 망각을 극대화하기 위해 백도어 태스크와 **대립적이고 평행(antagonistic and parallel)**해야 하는 동시에, 클린 지식의 파괴적 망각을 방지하기 위해 클린 태스크와는 **직교(orthogonal)**해야 한다.
   • 이는 적대적 예제(adversarial examples)의 설계 원칙으로 이어진다: 적대적 예제는 백도어 모델을 트리거할 수 있도록 백도어 특징과 정렬되어야 하지만, 클린 모델을 만족시키기 위해 원래 샘플의 의미적 콘텐츠(semantic content)는 보존해야 한다.

2. 블라인드 인버전-백도어 적대적 언러닝 (BI-BAU):

   • 방어자는 원래의 오염된 데이터셋이나 정확한 백도어 트리거에 접근할 수 없으로써, 이 문제는 블라인드 인버전(Blind Inversion) 문제로 정식화된다. 목표는 모델의 출력(측정값)만을 가지고 특정 제약 조건을 만족하는 적대적 예제(소스)를 복구하는 것이다.
   • 저자들은 기대-최대화(Expectation-Maximization, EM) 알고리즘 프레임워크를 사용하여 최대 사후 확률(Maximum A Posteriori, MAP) 목적 함수를 최적화함으로써 이를 해결한다:
     • E-Step (내부 최대화): 두 가지 조건을 만족하는 적대적 예제($\tilde{x}$)를 생성한다: (1) 백도어 모델이 타겟 레이블을 예측하도록 트리거하며, (2) 원래 샘플의 클린 의미론을 보존한다. 이는 크로스 엔트로피, 지식 증류(의미적 일관성 유지를 위함), 그리고 특징 섭동을 백도어 그래디언트 방향과 정렬시키면서 클린 특징 방향과는 직교하도록 유지하는 사전 손실(prior loss)을 포함하는 복합 손실을 통해 달성된다.
     • M-Step (외부 최소화): 생성된 적대적 예제를 사용하여 모델 파라미터를 업데이트한다. 이 단계는 백도어 그래디언트를 따라 파라미터 업데이트를 촉진하여 망각을 유도하는 역 엘라스틱 가중치 상수화(inverse Elastic Weight Consolation, EWC) 항과, 클린 태스크 성능을 보존하는 표준 EWC 항을 포함한다.

3. 확장성:

   • 본 방법은 타겟 클래스를 알 수 없는 비타겟(untargeted) 시나리오로 확장된다.
   • 또한, 사전 학습된 파운데이션 모델에 대한 적용 범위를 넓히기 위해 멀티모달 대조 학습(예: CLIP 모델)에도 적응되었다.

주요 기여

• 이론적 프레임워크: 본 논문은 백도어 언러닝을 지속 학습 및 파괴적 망각의 관점에서 체계적으로 조사한 최초의 연구이다. 완전한 백도어 언러닝에 대한 공식적인 정의를 제공하고, 이를 달성하기 위한 필요 조건(태스크 정렬 및 직교성)을 도출한다.
• BI-BAU 알고리즘: 저자들은 문제를 EM 프레임워크 내의 양방향 최적화(bi-level optimization)를 통해 해결되는 블라인드 인버전 태스크로 정식화한 견고한 언러닝 방법인 BI-BAU를 제안한다. 이는 타겟 클래스가 불분명한 시나리오와 멀티모달 설정에서도 효과적으로 작동한다.
• 포괄적 평가: 광범에한 실험을 통해 BI-BAU가 기존의 최첨단 베이스라인들이 실패하는 도전적인 저직교성 및 저선형성 공격(예: Refool, SIG, Narcissus)을 포함한 다양한 공격 스펙트럼에 대해 백도어 효과를 거의 완벽하게 제거함을 입증하였다.

실험 결과

• 다양한 공격에 대한 강건성: CIFAR-10 및 기타 벤치마크에서 BI-BAU는 높은 클린 정확도(Clean Accuracy, CA)를 유지하면서 일관되게 낮은 ASR(종종 5% 미만)을 달성하여, 트리거 합성(예: BTI-DBF), 모델 재구성(예: ANP, CLP) 및 기타 적대적 언러닝 방법(예: SAU, I-BAU)보다 우수한 성능을 보였다.
• 정화 후 회복력: 결정적으로, BI-BAU는 재활성화 공격에 대한 강력한 저항성을 보여준다. Retuning Attack(RA) 및 쿼리 기반 재활성화 공격(QRA)에 노출되었을 때, BI-BAU로 정화된 모델의 ASR은 낮은 수준(평균 R-ASR ~12.48%, Q-ASR ~5.75%)을 유지하며, 이는 방어자가 실제 오염된 데이터에 접근할 수 있는 이상적인 시나리오의 성능에 근접한다. 반면, 다른 방법들은 재활성화 시 상당한 ASR 급증(종종 60-80% 이상)을 보인다.
• 저직교성 성능: 본 방법은 클린 특징과 백도어 특징이 고도로 얽혀 있는 공격(기존 방어 기법의 알려진 약점)에 효과적으로 대응한다.
• 신경 수준 검증: 백도어 존재 계수(Backdoor Existence Coefficient, BEC)를 사용하여, 저자들은 BI-BAU가 백도어의 내부 신경학적 징후를 감소시킨다는 것을 검증함으로써 언러닝이 단순히 피상적인 것이 아님을 확인하였다.

의의 및 주장
본 논문은 직접적인 파라미터 조작에서 지속 학습의 파괴적 망곡 역학으로 관점을 전환함으로써, 백도어를 진정으로 제거하기 위한 원칙적인 조건을 확립할 수 있다고 주장한다. 저자들은 BI-BAU가 종종 잔류 취약성을 남기는 현재의 안전 튜닝 전략의 결정적인 간극을 해결한다고 단언한다. 언러닝 과정을 블라인드 인버전 문제로 정식화하고 이를 EM 기반의 양방향 최적화를 통해 해결함으로써, 이 방법은 모델의 유용성을 유지하면서도 복잡한 백도어 행동을 철저히 제거하는 견고하고 일반화 가능한 솔루션을 제공한다. 이는 사전 학습된 모델과 알 수 없는 공격 구성이 포함된 복잡한 실제 배포 시나리오에서도 유효하다.