기술 요약: IBP 기반 인증된 학습에서의 평가 패러다임 재고

문제 정의

심층 신경망(DNN)은 지도 학습 작업에서 높은 성능을 달성하지만, 적대적 섭동(adversarial perturbations)에 취ền 상태로 남아 있다. 신경망 검증(neural network verification)은 수학적으로 엄격한 강건성 보장을 제공하지만, 계산 비용이 매우 높다(NP-complete). 특히 Interval Bound Propagation(IBP)에 기반한 인증된 학습(certified training) 기법들은 학습 과정 중에 검증 가능한 강건성을 최적화하는 것을 목표로 한다. 그러나 이러한 방법들은 자연 정확도(clean data에 대한 성능)와 인증된 정확도(검증 가능한 입력에 대한 성능) 사이의 근본적인 트레이드오프를 유발한다.

현재 이 분야의 평가 패러다임에는 결함이 있다. 연구자들은 일반적으로 수동 튜닝이나 그리드 탐색(grid search)에 의해 결정된 단일 설정(트레이드오프 공간 내의 단일 지점)만을 보고한다. 이러한 관행은 다음과 같은 이유로 문제가 된다:

1. 편향(Bias): 단일 설정을 비교하는 것은 선택된 특정 트레이드오프 지점에 크게 의존하며, 이는 최신 기술(state of the art)에 대한 편향된 결론을 초래한다.
2. 과소 튜닝(Under-tuning): 기존 연구들은 하이퍼파라미터 공간을 충분히 탐색하지 못해, 보고된 결과보다 더 우수한 구성을 놓치는 경우가 많다.
3. 표준화 부족(Lack of Standardization): 새로운 방법론을 기존 방법론과 전체 강건성-정확도 스펙트럼에 걸쳐 편향 없이 표준화된 방식으로 위치시킬 수 있는 절차가 없다.

방법론

저자들은 단일 지점 평가에서 **파레토 프런트 기반 평가(Pareto-front-based evaluation)**로의 패러다임 전환을 제안한다. 단일 목적 함수(예: 인증된 정확도 극대화)를 최적화하는 대신, 비지배적 구성(non-dominated configurations)의 집합인 파레토 프런트를 찾는 다목적 최적화 과제로 문제를 다룬다.

핵심 접근 방식

1. 다목적 하이퍼파라미터 최적화 (MO-HPO): 저자들은 가우시안 프로세스 대리 모델(Gaussian process surrogates)과 Expected Hypervolume Improvement (EHVI) 획득 함수를 사용하는 다목적 베이지안 최적화를 채택한다. 이를 통해 자연 정확도와 인증된 정확도를 동시에 최적화할 수 있다.
2. 탐색 공간 설계: 편향 없는 비교를 보장하기 위해 다음과 같이 포괄적인 탐색 공간을 구성한다:
   • 일반적인 딥러닝 하이퍼파라미터 (학습률, Adam/AdamW/RAdam과 같은 옵티마이저, 감쇠 스케줄).
   • 방법론 특화 트레이드오프 파라미터 (예: IBP/CROWN-IBP를 위한 $\kappa$, MTL-IBP를 위한 $\alpha$, SABR를 위한 $\tau$).
   • 학습 스케줄 파라미터 (웜업 에포크, 램프업 에포크, $\epsilon$ 스케일링 인자).
   • 공격 파라미터 (PGD 스텝, 스텝 사이즈, 리스타트).
   • 결정적으로, 탐색 공간에는 기존 문헌에서 고정되거나 무시되었던 파라미터들(예: $\kappa$ 전이 허용, 웜업 길이 변화 등)이 포함되어, 이전에 탐색되지 않았던 우수한 구성을 발견할 수 있게 한다.
3. 효율적인 평가 프록시: 완전한 검증(최종 인증된 정확도를 위해 필요함)은 모든 시행(trial)마다 수행하기에 계산 비용이 너무 크기 때문에, 최적화 루프에서는 불완전한 검증(IBP, CROWN, CROWN-IBP)을 프록시 목적 함수로 사용한다.
4. 최종 검증: 프록시를 통해 파레토 최적 구성이 식별되면, 최종 파레토 프런트를 구축하기 위해 최첨단 완전 검증(특히 $\alpha\beta$-CROWN)을 사용하여 재평가한다. 비용 관리를 위해, 중복되는 구성을 필터링하기 위해 단일 연결 클러스터링(single-linkage clustering)을 사용한다.
5. 표준화된 예산: 공정한 비교를 위해 모든 방법론은 고정된 계산 예산(시드당 100회 시행, 방법론당 3개 시드) 하에 평가된다.

주요 기여

1. 새로운 평가 표준: 본 논문은 단일 지점 비교를 파레토 프런트 분석으로 대체하는 표준화된 다목적 평가 프로토콜을 확립한다. 이를 통해 연구자들은 자신의 요구 사항(예: 자연 정확도 우선 vs 인증된 보장 우선)에 따라 방법을 선택할 수 있다.
2. 과소 튜닝된 구성의 발견: 하이퍼파라미터 공간을 체계적으로 탐색함으로써, 저자들은 기존에 보고된 많은 "최신 기술(SOTA)" 결과들이 자동화된 최적화를 통해 발견된 구성들에 의해 지배(dominated)된다는 것을 입증한다. 이는 기존 문헌의 상당한 "과소 튜닝"을 드러낸다.
3. 포괄적인 벤치마킹: 본 연구는 다양한 섭동 반경($\epsilon$) 조건 하에서 CIFAR-10 및 Tiny ImageNet에 대한 주요 IBP 기반 인증 학습 방법론(IBP, CROWN-IBP, SABR, MTL-IBP)의 첫 번째 종합적인 다목적 비교를 제공한다.
4. 하이퍼파라미터 통찰: fANOVA를 사용하여, 저자들은 하이퍼파라미터 간의 복잡한 상호작용(예: 램프업 중 $\kappa$의 전이, $\epsilon$ 스케일링, 웜업 기간)이 최적의 트레이드오프를 달ening하는 데 결정적이라는 점을 식별하며, 이는 수동 튜닝으로는 놓치기 쉬운 통찰이다.

결과

• 우수한 성능: 제안된 평가는 기존 결과를 능가하는 구성을 찾아낸다. 예를 들어, $\epsilon = 2/255$인 CIFAR-10에서 SABR는 기존 문헌 대비 자연 정확도와 인증된 정확도 모두에서 1% 이상의 이득을 달성한다. Tiny ImageNet의 경우, MTL-IBP는 두 지표 모두에서 약 2%의 개선을 보인다.
• 방법론 간의 상보성: 단일 방법론이 일관되게 우위를 점하지는 않는다.
  • SABR는 일반적으로 높은 자연 정확도를 달성하는 데 탁월하다.
  • MTL-IBP는 특히 작은 섭동 반경에서 가장 강력한 인증 보장을 제공하는 경향이 있다.
  • IBP 및 CROWN-IBP는 높은 자연 정확도가 필요하거나 더 큰 섭동 반경($\epsilon = 8/255$)에서 여전히 경쟁력이 있어, 이들이 구식이라는 가설에 도전한다.
• 큰 반경에서의 진전 정체: 분석 결과, 큰 섭동 반경에서의 발전은 정체된 것으로 보이며, 오래된 방법론들이 결합된 파레토 프런트에 크게 기여하고 있음을 시사한다.
• 검증 vs 테스트 세트 튜닝: 저자들은 하이퍼파라미터를 테스트 세트에 직접 튜닝하는 것(흔히 사용되지만 문제가 있는 방식)이 검증 세트 튜닝을 통해 얻은 것보다 엄격하게 우월한 파레토 프런트를 생성함을 보여주며, 이는 기존의 평가들이 일반화 성능을 과대평가했을 가능성이 높음을 나타낸다.
• 계산 효율성: 본 연구는 완전한 검증이 비용이 많이 들지만, 검증 타임아웃(예: CIFAR-10에서 1000초에서 100초로)을 줄여도 파레토 프런트의 형태는 유지하면서 계산 비용을 10배 가까이 줄일 수 있음을 보여준다.

의의 및 주장

본 논문은 부적절한 하이퍼파라미터 튜닝과 결함이 있는 평가 방법론으로 인해 현재의 최신 기술 수준이 상당히 과소평가되어 왔다고 주장한다. 다목적 관점을 채택함으로써:

• 최신 기술의 재평가: 최근의 발전은 특히 큰 섭동 반경에 대해 이전에 가정했던 것보다 덜 뚜렷하다.
• 실행 가능한 통찰: 본 연구는 최적의 성능을 위해 하이퍼파라미터 간의 복잡한 상호작용(종종 간과되는)이 필수적임을 강조하며 커뮤니티에 구체적인 지침을 제공한다.
• 향향 방향: 저자들은 단일 구성 비교에서 도출된 오해의 소지가 있는 결론을 방지하기 위해, 표준화된 다목적 평가 프로토콜로의 전환을 옹호한다. 또한, 방법론을 구분하기 위해 점점 더 긴 검증 타임아웃에 의존하기보다 "저렴한 검증" 전략에 집중할 것을 제안하며, 작은 타임아웃만으로도 파레토 프런트를 식별하기에 충분함을 시사한다.

궁극적으로, 본 논문은 공정한 평가를 위해서는 전체 트레이드오프 공간을 탐색해야 하며, 이를 통해 강건하면서도 실용적으로 유용한 인증된 모델을 개발하고 단일 구성 비교에서 비롯된 오도된 결론을 방지할 수 있다고 주장한다.