기술 요약: TARO – 시간적 적대적 정정 최적화

문제 정의

심층 신경망은 미시적 교란이 오류 예측을 유발하는 적대적 예제에 여전히 취약합니다. 적대적 훈련은 주요 방어 수단이지만, 높은 훈련 비용, 훈련 중 사용된 교란 계열에 대한 특수성, 그리고 깨끗한 정확도와 견고성 간의 트레이드오프로 인해 고통받습니다. 따라서 적대적 정제 (adversarial purification) 는 분류 전에 잠재적 적대적 입력을 자연 이미지 매니폴드로 다시 매핑하는 추론 시 방어 전략으로 등장했습니다.

기존 확산 기반 정제 방법은 가우시안 노이즈를 주입하여 적대적 구조를 감쇠시키고 역확산 과정을 통해 이미지를 재구성합니다. 그러나 이러한 방법들은 내재적인 견고성–신뢰성 긴장 (robustness–fidelity tension) 에 직면합니다:

• 저노이즈 탈노이즈 (Low-noise denoising) 는 국소 이미지 콘텐츠를 보존하지만 적대적 인공물을 유지할 수 있습니다.
• 고노이즈 탈노이즈 (High-noise denoising) 는 강력한 교란을 억제하지만 클래스 관련 세부 정보를 버리거나 잘못된 의미 모드로 이동할 위험이 있습니다.

최근 평가에 따르면, 정제 과정을 통한 교란을 구분하지 못하거나 확률성을 고려하지 않은 공격의 경우 확률적 정제 주장이 종종 과장됩니다. furthermore, 기존 테스트 시 최적화 방법들은 일반적으로 각 업데이트 단계에서 단일 확산 노이즈 영역에 의존하여 다중 스케일 정보를 단일 국소 추정치로 축소합니다. 또한, 적대자 인식 변형들은 특정 공격 분포에 대해 훈련된 보조 교란 모델을 필요로 하여 일반화 능력을 제한합니다.

방법론: TARO

저자들은 확산 시간 단계를 스케일 의존적 탈노이즈 전문가로 간주하는 테스트 시 정제 프레임워크인 시간적 적대적 정정 최적화 (Temporal Adversarial Rectification Optimization, TARO) 를 제안합니다. 단일 노이즈 수준에 의존하는 대신, TARO 는 확산 궤적을 따라 여러 탈노이즈 뷰를 집계하여 시간적으로 안내된 스코어 사전 (score prior) 을 구성합니다.

핵심 메커니즘: 아핀 시간적 집계

TARO 는 여러 노이즈 전문가의 출력을 결합하여 ** coarse-to-fine 잔차 목표 (coarse-to-fine residual target)** 를 공식화합니다:

1. 시간적 전문가의 곱 (Temporal Product-of-Experts, PoE): 이 방법은 시간 단계를 통한 확산 유도 분포의 가중 적분으로 로그 밀도를 정의하는 연속 시간 사전 (continuous-time prior) 을 정의합니다.
2. 아핀 외삽 (Affine Extrapolation): 음수가 아닌 가중치 (볼록 보간) 를 요구하는 표준 PoE 와 달리, TARO 는 가중치가 음수일 수 있지만 합이 1 이 되도록 하는 아핀 집계를 허용합니다. 이를 통해 표준 보간을 넘어 coarse-to-fine 정정을 수행할 수 있습니다.
3. 목표 구성: 목표 이미지 $x_{target}$는 다음과 같이 구성됩니다:
   $$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$$
   여기서 $u_j$는 특정 노이즈 영역 (전문가) 에서의 탈노이즈 출력을 나타냅니다.
   • 고노이즈 전문가 ($u_K$): 취약한 적대적 구성 요소에 대한 민감도가 감소된 전역적으로 평활화된 구조를 제공합니다.
   • 저노이즈 전문가 ($u_j$): 이미지 특유의 클래스 관련 세부 정보를 복원합니다.
   • 안내 강도 (Guidance Strength, $\gamma$): 균형을 조절합니다. $\gamma > 1$일 때, 이 방법은 미세 및 coarse 전문가 간의 불일치로 정의된 교정 방향을 증폭시키는 안내 스타일 외삽을 수행합니다.

최적화 및 정규화

• 최적화: TARO 는 고정된 목표 손실 $\|sg(x_{target}) - x_i\|^2_2$를 최소화하여 입력을 업데이트합니다. 여기서 $sg(\cdot)$는 업데이트 중 목표를 고정된 것으로 취급하기 위한 stop-gradient 연산을 나타냅니다.
• 전문가 일관성 정규화: 시간적 교정을 증폭시키는 것을 안정화하기 위해 (특히 교차 시간 잔차가 불안정할 수 있는 $\ell_2$ 공격의 경우), TARO 는 일관성 손실 $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$를 도입합니다. 이는 시간적 전문가들이 정제된 추정치에 동의하도록 장려합니다.
• 하이브리드 변형 (TARO-AA): TARO 는 적대자 인식 가능도 모델 (예: AAOpt) 과 보완적으로 설계되었습니다. 하이브리드 변형은 AAOpt 의 단일 스케일 확산 사전 을 TARO 의 시간적 합의 사전 으로 대체하여 내부 시간적 정정과 외부 학습된 잔차 모델을 결합합니다.

평가 프로토콜

이 논문은 최적화 인식 평가 (optimization-aware evaluation) 의 필요성을 강조합니다. TARO 는 내부 최적화 루프를 포함하므로, 공격은 다음을 수행해야 합니다:

• 전체 정제기–분류기 구성을 대상으로 해야 합니다.
• 변환에 대한 기대 (Expectation over Transformation, EOT) 를 통해 확률성을 고려해야 합니다.
• 내부 최적화 루프를 통해 고차 미분 (higher-order gradients) (그래프 일관성 미분) 을 보존해야 합니다. 저자들은 이를 수행하지 않으면 그래프 마스킹으로 인해 견고성 추정이 심각하게 과장된다고 입증했습니다.

주요 기여

1. TARO 프레임워크: 여러 확산 노이즈 영역을 아핀 coarse-to-fine 탈노이즈 목표로 집계하는 테스트 시 정제기를 도입하여, 견고한 전역 구조와 미세 스케일 의미 보존을 효과적으로 결합합니다.
2. 이론적 해석: TARO 를 시간적 전문가 곱 집계의 아핀 확장으로 해석하여, 안내 강도 $\gamma$의 역할을 설명하는 위험 및 국소 가우시안 해석을 제공합니다.
3. 종합 평가: PGD-EOT, BPDA-EOT, AutoAttack-EOT, DiffBreak 을 포함한 강력한 적응 공격 하에서의 평가. 이 연구는 TARO 가 제로샷 $\ell_\infty$ 견고성을 향상시키고, 적대자 인식 가능도 또는 일관성 정규화와 결합될 때 견고성을 더욱 강화함을 보여줍니다.
4. 평가 프로토콜 연구: 최적화 기반 정제기의 신뢰할 수 있는 적응 평가가 고차 미분 보존을 필요로 함을 보여주는 비판적 분석으로, 해당 분야의 이전 견고성 과대평가를 수정합니다.

실험 결과

실험은 CIFAR-10, CIFAR-100, CIFAR-10-C, Imagenette 에서 WRN-28-10 및 WRN-70-16 분류기를 사용하여 수행되었습니다.

• $\ell_\infty$ 견고성: TARO 는 정제 방법 중 최첨단 견고성을 달성합니다. PGD-EOT 하에서 WRN-28-10 을 사용한 CIFAR-10 에서 TARO-3 은 **88.57%**의 견고한 정확도를 달성하여 AAOpt(85.12%) 를 능가하고 높은 깨끗한 정확도 (~93.45%) 를 유지합니다.
• $\ell_2$ 견고성: 원시 제로샷 TARO 는 $\ell_2$ 공격에 대해 상대적으로 약합니다. 그러나 일관성 정규화 또는 적대자 인식 가능도 (TARO-AA) 를 추가하면 성능이 크게 회복됩니다. TARO-2 + 일관성은 **88.99%**의 견고한 정확도를 달성하여 AAOpt(86.40%) 를 능가합니다.
• DiffBreak 공격: DiffBreak 저주파 공격 하에서 표준 확산 정제기는 0.0% 의 견고한 정확도로 무너집니다. TARO-2-AA 는 **90.10%**의 견고한 정확도를 유지하여 AAOpt(85.41%) 를 크게 능가합니다.
• 전이성: TARO 는 Imagenette 데이터셋과 전이-DiffBreak 설정에서도 효과적입니다.
• 절단 분석 (Ablations):
  • 안내 강도 ($\gamma$): 최적 $\gamma$는 공격 유형에 따라 다릅니다 (예: $\ell_\infty$의 경우 $\gamma=1.5$, $\ell_2$의 경우 $\gamma=2.0$).
  • 그래디언트 흐름: stop-gradient 연산을 제거하면 견고성이 약간만 감소하여, 획득한 이득이 깨진 그래디언트가 아닌 시간적 다중 스케일 정정에서 비롯됨을 확인합니다.
  • 분류기 독립성: 결과는 서로 다른 분류기 백본 (WRN-28-10 및 WRN-70-16) 에서도 유효합니다.

중요성 및 주장

이 논문은 TARO 가 재훈련이나 보조 공격 모델을 필요로 하지 않고 사전 훈련된 깨끗한 이미지 확산 모델에서 직접 유도된 제로샷 정정 신호를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 견고성–신뢰성 트레이드오프 해결: 시간적 전문가 곱 뷰를 활용하여 TARO 는 견고성–신뢰성 스펙트럼의 단일 지점에 종속되지 않고, 전역 교정과 의미 세부 사항 간의 동적 균형을 유지합니다.
2. 적응 공격 하의 우월성: TARO 는 표준 확산 정제기가 실패하는 강력한 적응 공격 (BPDA-EOT, DiffBreak) 에 대한 복원력을 보여주며, 이는 평가 프로토콜이 최적화 루프를 올바르게 고려할 때 가능합니다.
3. 모듈성: 이 프레임워크는 기존 적대자 인식 가능도 모델과 호환되어, 시간적 사전과 학습된 잔차 모델을 결합함으로써 추가적인 견고성 향상을 위한 경로를 제공합니다.

저자들은 다중 스케일 최적화로 인한 추론 지연 증가와 방어 방법의 경험적 성격 (인증된 견고성 부재) 을 포함한 한계를 인정합니다. 결론적으로 TARO 는 안전-중요 응용 분야를 위한 더 신뢰할 수 있고 투명하며 신중하게 평가된 방어 수단으로 나아가는 한 걸음이라고 결론지었습니다.