Dual Randomized Smoothing: Beyond Global Noise Variance

이 논문은 전역 노이즈 분산의 한계를 극복하고 다양한 반경에서 강력한 인증된 강인성을 달성하기 위해 입력별 노이즈 분산을 예측하는 '이중 무작위 평활화 (Dual Randomized Smoothing)' 프레임워크를 제안합니다.

핵심

🎨 핵심 비유: "모든 상황에 맞는 한 가지 안경" vs "상황에 따라 갈아끼는 스마트 안경"

1. 기존 방식의 문제점: "한 가지 크기의 안경"

기존의 AI 보호 기술 (랜덤화 스무딩) 은 AI 가 그림을 볼 때, 모든 그림에 똑같은 양의 '노이즈 (소음)'를 섞어서 보게 합니다.

• 작은 소음 (작은 노이즈): 아주 작은 변화도 잘 알아차리지만, 그림이 조금만 흐려져도 (큰 공격이 가해지면) 완전히 망가져서 못 봅니다.
• 큰 소음 (큰 노이즈): 그림이 흐려져도 (큰 공격이 가해져도) 여전히 알아볼 수 있지만, 아주 작은 변화는 구별하지 못해 정확도가 떨어집니다.

문제: 기존 기술은 **"전 세계 모든 그림에 똑같은 소음 양 (노이즈 크기)"**을 적용했습니다. 그래서 "작은 공격에는 약하고, 큰 공격에는 정확도가 낮아지는" 딜레마에 빠졌습니다. 마치 한 가지 크기만 있는 안경을 모든 사람에게 똑같이 끼우는 것과 같습니다. 눈이 나쁜 사람에게는 너무 작고, 눈이 좋은 사람에게는 너무 커서 둘 다 불편하죠.

2. 이 논문의 해결책: "상황을 보고 안경을 바꿔주는 '스마트 안경'"

저자들은 **"각 그림마다 필요한 소음의 양이 다르다"**는 사실을 발견했습니다. 어떤 그림은 작은 소음만 섞어도 되고, 어떤 그림은 큰 소음이 필요할 수도 있습니다.

이제 **두 단계로 이루어진 새로운 시스템 (Dual RS)**을 제안합니다.

• 1 단계: '소음 전문가' (Variance Estimator)

  • AI 가 그림을 보기 전에, 먼저 **'소음 전문가'**라는 작은 AI 가 그림을 훑어봅니다.
  • 이 전문가가 말합니다. "이 그림은 작은 소음이 필요해!" 또는 "이 그림은 큰 소음이 필요해!"라고요.
  • 마치 눈을 검사하는 의사가 환자의 시력에 따라 안경 도수를 처방하는 것과 같습니다.

• 2 단계: '본격적인 AI' (Classifier)

  • 이제 '소음 전문가'가 처방한 맞춤형 소음을 그림에 섞어서, 메인 AI 가 그림을 분류합니다.
  • 덕분에 작은 공격에는 작은 소음으로 정확도를 유지하고, 큰 공격에는 큰 소음으로 안전성을 확보할 수 있습니다.

---

🛡️ 왜 이것이 안전할까요? (이론적 증명)

사람들이 걱정할 수 있는 질문은 **"소음 양을 그림마다 바꾼다고 해서, 해커가 그 틈을 타서 AI 를 속일 수 있지 않을까?"**입니다.

저자들은 수학적으로 증명했습니다.

"전 세계에 똑같은 소음 양을 쓰는 게 아니라, 각 그림 주변 (근처) 에서는 소음 양이 일정하게 유지된다면, 여전히 AI 는 안전하게 공격을 막아낼 수 있다."

비유:
전국 모든 도로의 속도 제한을 60km 로 고정하는 대신, 도로 구간별로 (학교 앞, 고속도로) 속도 제한을 다르게 설정하되, 그 구간 안에서는 규칙이 명확하고 일정하다면, 교통 안전 (AI 의 안전성) 은 여전히 보장된다는 뜻입니다.

---

🚀 이 기술이 가져오는 혜택

1. 모든 상황에서 강함: 작은 공격이든 큰 공격이든, 상황에 맞는 '소음'을 써서 두 마리 토끼를 다 잡습니다. (기존 방식은 둘 중 하나만 선택해야 했습니다.)
2. 비용 효율적: 두 단계를 거치지만, 계산 비용이 기존 방식보다 60% 정도만 늘어나서 실용적입니다.
3. 유연한 전문가 시스템 (라우팅): 이 시스템은 단순히 소음만 조절하는 게 아니라, "어떤 그림에는 A 라는 전문가 AI 를, 어떤 그림에는 B 라는 전문가 AI 를 쓰게" 할 수도 있습니다. 마치 병원에서 가벼운 증상은 일반 진료, 복잡한 증상은 전문의에게 보내는 정밀한 진료 시스템처럼 작동합니다.

📝 한 줄 요약

이 논문은 **"모든 상황에 똑같은 안경을 끼우는 구식 방식"**을 버리고, **"각 그림의 특성에 맞춰 소음 (안경 도수) 을 자동으로 조절해주는 스마트 시스템"**을 만들어, AI 가 더 작고 큰 공격 모두에 대해 훨씬 더 강력하고 정확하게 방어하도록 만들었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

랜덤화 스무딩 (Randomized Smoothing, RS) 은 신경망의 적대적 공격에 대한 인증된 강인성 (Certified Robustness) 을 보장하는 대표적인 기법입니다. 그러나 기존 RS 의 근본적인 한계가 존재합니다.

• 전역 노이즈 분산 (Global Noise Variance) 의 한계: 기존 방법은 모든 입력에 대해 동일한 노이즈 분산 ($\sigma$) 을 사용합니다.
  • 작은 반경 (Small Radii): 높은 인증 정확도를 얻으려면 작은 $\sigma$가 필요합니다.
  • 큰 반경 (Large Radii): 넓은 인증 반경을 얻으려면 큰 $\sigma$가 필요합니다.
• 정확도 - 강인성 트레이드오프: 하나의 전역 $\sigma$로는 작은 반경과 큰 반경 모두에서 우수한 성능을 동시에 달성할 수 없습니다. Fig. 1 에서 보듯, 최적의 $\sigma$는 샘플마다 크게 달라집니다.
• 기존 입력 의존적 (Input-dependent) 방법의 결함: 최근 연구들은 입력마다 $\sigma$를 조정하려는 시도를 했으나, 다음과 같은 문제점이 있었습니다.
  • 테스트 시간 메모리화 (Test-time memorization) 에 의존하여 비효율적임.
  • 적응성 (Adaptivity) 이 제한적이거나.
  • 최적 분산을 체계적으로 과대평가하여 비최적 결과를 초래함.

2. 제안 방법: 듀얼 랜덤화 스무딩 (Dual Randomized Smoothing)

저자들은 입력 의존적 노이즈 분산을 허용하면서도 이론적으로 유효한 인증을 보장하는 새로운 프레임워크인 Dual RS를 제안합니다.

2.1 핵심 이론적 기여: 국소적으로 일정한 노이즈 분산

기존 RS 인증은 노이즈 분산이 전역적으로 일정해야 한다는 가정에 기반했습니다. 저자들은 이를 국소적으로 일정 (Locally Constant) 한 경우로 확장하여 증명했습니다.

• 정리 4.1 (국소적 일정성 인증): 인증 영역 (Certified Region) 내에서 노이즈 분산 $\sigma(x)$가 일정하다면, RS 인증은 유효합니다. 즉, $\sigma$가 모든 입력에 대해 고정될 필요는 없으며, 각 입력의 주변 환경 (Certified Region) 내에서만 일정하면 됩니다.
• 정리 4.2 (확률적 보장): 실제 적용 시 $\sigma(x)$의 국소적 일정성도 확률적으로 보장될 수 있으며, 이를 통해 최종 인증 반경은 분산 추정 반경 ($R_\sigma$) 과 분류 반경 ($R_c$) 중 작은 값으로 결정됩니다.

2.2 프레임워크 구조

Dual RS 는 두 가지 주요 구성 요소로 이루어진 2 단계 프로세스입니다 (Fig. 2 참조):

1. 분산 추정기 (Variance Estimator, $g_e$):
   • 입력 $x$에 대해 최적의 노이즈 분산 $\sigma_c(x)$를 예측합니다.
   • 이 모델 자체도 RS 를 통해 훈련되며, 예측된 $\sigma_c(x)$가 국소적으로 일정한지 인증합니다 (Certified Radius $R_\sigma$).
   • 이를 통해 테스트 시간 메모리화 없이 입력별 최적 분산을 동적으로 결정합니다.
2. RS 분류기 (RS Classifier, $g_c$):
   • 추정된 $\sigma_c(x)$를 사용하여 입력에 노이즈를 추가하고 분류를 수행합니다.
   • 이 단계에서 분류의 인증 반경 ($R_c$) 을 계산합니다.
3. 최종 결과:
   • 최종 예측은 $g_c$의 결과이며, 최종 인증 반경은 $R_{final} = \min(R_\sigma, R_c)$입니다.

2.3 훈련 전략

• 소프트 라벨 (Soft Labels): 최적 분산이 아닌 경우에도 일정 수준의 인증 반경을 가질 수 있으므로, 단순한 분류 라벨 대신 인증 반경에 기반한 소프트 라벨을 사용하여 분산 추정기를 훈련합니다.
• 일관성 정규화 (Consistency Regularization): 분산 추정기의 강인성을 높이기 위해 표준 RS 훈련 기법을 적용합니다.
• 교대 최적화 (Alternating Training): 분산 추정기와 분류기를 순차적으로 최적화합니다. (분류기는 분산 추정기에 맞춰 미세 조정됨)

2.4 라우팅 관점 (Routing Perspective)

Dual RS 는 입력에 따라 사전 훈련된 여러 전문가 모델 (Expert RS Models) 중 가장 적합한 모델을 선택하는 라우터로도 해석될 수 있습니다. 이는 새로운 분류기를从头训练 (Training from scratch) 할 필요 없이, 기존에 다양한 $\sigma$에 특화된 모델들을 효율적으로 결합할 수 있게 합니다.

3. 주요 실험 결과 (Key Results)

CIFAR-10 과 ImageNet 데이터셋에서 광범위한 실험을 수행했습니다.

• 성능 향상 (CIFAR-10):
  • 기존 전역 분산 방법 (Carlini et al.) 과 비교하여 작은 반경과 큰 반경 모두에서 강력한 성능을 보였습니다.
  • Multiscale (SOTA 입력 의존적 방법) 대비: 반경 0.5, 0.75, 1.0 에서 각각 **15.6%, 20.0%, 15.7%**의 상대적 정확도 향상을 기록했습니다.
• 성능 향상 (ImageNet):
  • 반경 0.5, 1.0, 1.5 에서 각각 **8.6%, 17.1%, 9.1%**의 성능 향상을 보였습니다.
• 계산 비용:
  • 추론 시 기존 RS 대비 약 60% 의 오버헤드만 발생시킵니다. (Multiscale 보다 일정한 시간 소요, Worst-case 시간도 더 짧음)
• 라우팅 효과:
  • 약한 전문가 모델과 강한 전문가 모델을 혼합하여 Dual RS 를 구성했을 때, 개별 전문가 모델들보다 더 나은 정확도 - 강인성 트레이드오프를 달성했습니다.

4. 주요 기여 (Key Contributions)

1. 이론적 일반화: 노이즈 분산이 전역적이지 않고 국소적으로 일정하기만 하면 RS 인증이 유효함을 증명했습니다. 이는 입력 의존적 노이즈 분산 사용의 이론적 토대를 마련했습니다.
2. Dual RS 프레임워크: 분산 추정기와 RS 분류기로 구성된 새로운 아키텍처를 제안하고, 효율적인 훈련 전략 (소프트 라벨, 교대 최적화) 을 개발했습니다.
3. 성능 및 효율성: 기존 방법들이 달성하지 못했던 작은 반경과 큰 반경 모두에서의 우수한 성능을 달성했으며, 계산 비용 증가를 최소화했습니다.
4. 새로운 관점 (라우팅): 인증된 강인성 분야에서 라우팅 메커니즘을 도입하여, 다양한 전문가 모델을 유연하게 결합할 수 있는 가능성을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 랜덤화 스무딩 분야의 근본적인 한계인 "단일 전역 노이즈 분산" 문제를 해결했습니다. 입력의 특성에 따라 최적의 노이즈 분산을 동적으로 선택하면서도 이론적으로 엄밀한 인증을 보장하는 Dual RS는, 적대적 강인성 분야에서 정확도와 강인성 사이의 트레이드오프를 획기적으로 개선한 획기적인 접근법입니다. 또한, 이 프레임워크는 사전 훈련된 다양한 모델들을 효율적으로 활용하는 라우팅 패러다임을 제시함으로써, 향후 대규모 모델 및 복잡한 인증 시스템 설계에 중요한 방향성을 제시합니다.