FlowPure: 적대적 정화를 위한 연속 정규화 흐름 (Continuous Normalizing Flows)

이 논문은 머신러닝 모델의 적대적 공격 (Adversarial Attacks) 에 대한 방어 기법으로, FlowPure라는 새로운 적대적 정화 (Adversarial Purification) 방법을 제안합니다. FlowPure 는 기존의 확산 모델 (Diffusion Models) 기반 접근법의 한계를 극복하기 위해 **연속 정규화 흐름 (Continuous Normalizing Flows, CNF)**과 **조건부 흐름 매칭 (Conditional Flow Matching, CFM)**을 활용합니다.

1. 문제 정의 (Problem)

딥러닝 모델은 입력 데이터에 미세하게 조작된 적대적 노이즈 (Adversarial Perturbations) 가 추가되면 잘못된 예측을 하도록 유도될 수 있습니다. 이를 방어하기 위해 **적대적 정화 (Adversarial Purification)**가 주목받고 있으며, 이는 추론 시 입력에서 적대적 노이즈를 제거하여 깨끗한 샘플로 복원하는 전략입니다.

기존의 최첨단 (SOTA) 방법들은 주로 **확산 모델 (Diffusion Models)**을 사용합니다. 이 방식은 적대적 샘플에 가우시안 노이즈를 주입하여 적대적 노이즈를 희석시킨 후, 역과정 (Reverse Process) 을 통해 노이즈를 제거하고 깨끗한 데이터를 복원합니다. 그러나 이러한 방법들은 다음과 같은 한계가 있습니다:

• 고정된 노이즈 과정: 확산 모델은 가우시안 노이즈에 의존하는 고정된 확률적 과정을 사용하므로, 특정 공격에 대한 지식을 활용하기 어렵습니다.
• 정확도 저하: 노이즈 주입 과정에서 의미 있는 정보가 손실되어 정상 데이터 (Benign Data) 에 대한 정확도가 떨어질 수 있습니다.
• 적응형 공격에 취약: 최근 연구 (DiffHammer 등) 는 확산 모델 기반 정화 방법들이 적응형 공격 (Adaptive Attacks) 에 대해 과장된 견고성을 보일 수 있음을 지적했습니다.

2. 방법론 (Methodology)

FlowPure 는 CNF 를 사용하여 적대적 예제에서 깨끗한 예제로의 **직접적인 매핑 (Direct Mapping)**을 학습합니다. 이는 확산 모델이 노이즈를 점진적으로 제거하는 방식과 달리, 임의의 분포 간 변환을 학습할 수 있게 합니다.

핵심 구성 요소

1. 조건부 흐름 매칭 (Conditional Flow Matching, CFM):

   • CNF 를 훈련하기 위해 CFM 을 사용합니다. 이는 소스 분포 (적대적 샘플) 와 타겟 분포 (깨끗한 샘플) 사이의 속도장 (Velocity Field) 을 직접 학습합니다.
   • 최적 수송 (Optimal Transport, OT) 경로를 사용하여 직선 궤적을 따르도록 하여 추론의 안정성과 효율성을 높입니다.

2. FlowPure 의 두 가지 변형:

   • 결정론적 변형 (Deterministic FlowPure):
     • 훈련 시 특정 공격 (예: PGD 또는 CW) 에 대한 지식을 활용하여 적대적 샘플을 깨끗한 샘플로 직접 변환하는 매핑을 학습합니다.
     • 장점: 알려진 위협 모델 하에서 매우 높은 견고성을 보이며, 정상 데이터의 정확도를 전혀 저하시키지 않습니다.
   • 확률적 변형 (Stochastic FlowPure):
     • 특정 공격에 대한 지식이 없는 상황을 가정하고, 가우시안 분포에서 데이터 분포로의 변환을 학습한 사전 훈련된 생성 CNF 모델을 사용합니다.
     • 새로운 추론 절차: ODE 솔버의 중간 단계에 노이즈를 주입하는 새로운 확률적 추론 알고리즘을 도입합니다. 이는 공격자가 그래디언트를 정확히 계산하는 것을 방해하여 적응형 공격에 대한 견고성을 높입니다.

3. 적대적 탐지 (Adversarial Detection):

   • 학습된 속도장의 크기 ($||v_\theta||$) 를 탐지 점수로 활용합니다. 적대적 예제는 데이터 매니폴드 밖에서 출발하므로 깨끗한 샘플보다 초기 속도 벡터의 크기가 더 큽니다. 이를 통해 적대적 예제를 탐지할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. FlowPure 도입: CNF 를 적대적 정화에 처음 적용한 방법론을 제안했습니다. 이는 임의의 분포 간 직접 변환을 가능하게 하여 훈련 시 특정 공격 지식을 활용할 수 있게 합니다.
2. 이중 변형 제안:
   • 알려진 공격에 최적화된 결정론적 변형.
   • 공격에 무관한 광범위한 견고성을 위한 확률적 변형.
3. 성능 개선:
   • Preprocessor-blind (전처리기 무지) 환경: 결정론적 변형이 SOTA 방법들보다 우수한 견고성을 보이며, 정상 데이터 정확도 저하 없이 PGD 및 CW 공격을 효과적으로 방어합니다.
   • Fully Adaptive White-box (완전 적응형 화이트박스) 환경: 확산 모델 기반 방법들보다 우수한 성능을 보이는 확률적 변형을 통해, DiffHammer 공격 하에서도 상대적으로 더 나은 견고성을 입증했습니다.
4. 적대적 탐지 능력: FlowPure 가 PGD 공격에 대해 거의 완벽한 탐지 정확도 (Near-perfect accuracy) 를 달성할 수 있음을 보였습니다.

4. 실험 결과 (Results)

실험은 CIFAR-10 및 CIFAR-100 데이터셋에서 수행되었으며, PGD, CW, AutoAttack, DiffHammer 등 다양한 공격을 평가했습니다.

• 정상 데이터 정확도 (Standard Accuracy): 결정론적 FlowPure 는 정화 과정에서 정확도 저하가 전혀 없으며, 오히려 약간의 향상을 보였습니다. 이는 모델이 정상 데이터 매니폴드를 더 잘 학습했기 때문으로 해석됩니다.
• 견고성 (Robustness):
  • Preprocessor-blind: PGD 공격에 대해 결정론적 변형이 DiffPure, GDMP, ADBM 등 기존 확산 기반 방법들보다 높은 견고성을 보였습니다.
  • White-box (DiffHammer): 모든 정화 방법이 견고성 급감을 보였으나, FlowPure 의 확률적 변형이 기존 방법들보다 상대적으로 더 나은 성능을 유지했습니다.
• 전송 가능성 (Transferability): 특정 공격으로 훈련된 모델이 다른 공격 (예: PGD 훈련 모델이 CW 공격 방어) 에도 어느 정도 효과적임을 보였으나, 공격 유형에 따라 편차가 있었습니다.
• 탐지 성능: PGD 공격에 대한 탐지 시 AUC 점수가 거의 1.0 에 근접하여, FlowPure 가 강력한 적대적 탐지기로도 기능할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

FlowPure 는 적대적 정화 분야에서 중요한 진전을 이루었습니다.

• 실용성: 공격자가 정화 메커니즘을 모른다는 현실적인 시나리오 (Preprocessor-blind) 에서 정상 데이터의 정확도를 유지하면서 강력한 방어를 제공합니다.
• 기술적 혁신: 확산 모델의 고정된 노이즈 과정 대신 CNF 를 활용하여 더 유연하고 직접적인 변환을 학습함으로써, 특정 공격 지식을 효과적으로 통합할 수 있는 새로운 패러다임을 제시했습니다.
• 한계와 전망: 완전한 적응형 화이트박스 공격 (Full Gradient Access) 에서는 여전히 방어 한계가 존재하지만, 이는 현재 정화 기반 방어 기법 전반의 공통적인 문제입니다. FlowPure 는 이러한 극한 상황에서도 기존 방법보다 우월한 성능을 보이며, 향후 더 복잡한 데이터셋과 실제 배포 환경에서의 검증을 통해 그 유용성을 더 입증할 것으로 기대됩니다.

결론적으로, FlowPure 는 높은 정상 데이터 정확도를 유지하면서도 강력한 적대적 방어와 탐지 능력을 동시에 제공하는 실용적이고 혁신적인 솔루션입니다.