기술 요약: 방향성 샤프니스(Directional Sharpness)를 통한 머신러닝 모델의 인증

문제 정의

모델 인증은 머신러닝 모델의 신뢰성과 품질, 특히 미지의 데이터에 대한 일반화 능력을 보장하는 것을 목표로 한다. 일반화 성능을 직접 측정하는 것은 불가능한데, 이는 일반화가 알려지지 않은 데이터 분포에 의존하기 때문이다. 테스트 정확도와 같은 기존의 대리 지표(proxies)는 데이터셋의 오류, 과적합 또는 분포 변화(distribution shifts)로 인해 오해를 불러일으킬 수 있어 신뢰할 수 없다. 또한, 이론적인 일반화 경계(generalization bounds)는 현대의 과잉 매개변수화된 네트워크(over-parameterized networks)에 적용하기에는 너무 느슨하거나 무의미(vacuous)한 경우가 많다.

"샤프니스(sharpness)"(매개변수 섭동에 대한 손실의 민감도)가 유망한 경험적 대리 지표로 부상했음에도 불구하고, 기존의 샤프니스 지표는 인증 맥락에서 두 가지 결정적인 장벽에 직면해 있다:

1. 편차에 대한 신뢰성: 현재의 지표들은 주로 정직하게 훈련된 모델을 대상으로 검증된다. 훈련 과정이 규정된 절차에서 벗어날 때(예: 백도어, 과적합, 레이블 노이즈 등) 일반화 성능 저하를 감지할 수 있는지 여부가 불분명하다.
2. 계산 효율성: 기존 지표들은 계산 비용이 많이 들어, 검증자가 훈련 데이터에 접근할 수 있는 모델 감사(auditing) 상황에서는 비실용적이며, 검증자가 훈련 데이터 없이 암호학적 증명을 확인해야 하는 모델 인증(certification) 상황에서는 실행 불가능하다.

방법론: 방향성 샤프니스

저자들은 모델의 정적 기하학적 특성이 아닌 **동적 안정성(dynamic stability)**을 측정하도록 설계된 지표인 **방향성 샤프니스(Directional Sharpness)**를 제안한다.

핵심 개념

단일 지점(종종 전체 데이터셋에 대해 평균을 냄)에서 손실을 평가하는 정적 샤프니스와 달리, 방향성 샤프니스는 연속적이고 확률적인 섭동(perturbations) 하에서 모델이 어떻게 행동하는지를 평가한다. 그 직관은 이렇다. 진정으로 평탄하고 넓은 분지(basin)에 있는 모델은 이러한 섭동 하에서도 안정성을 유지할 것이지만, 좁고 불안정한 포켓(또는 일관되지 않은 기하학적 구조)에 있는 모델은 섭동에 의해 날카로운 영역으로 밀려나며 감지 가능한 변동을 보일 것이다.

알고리즘

방향성 샤프니스(알고리즘 1)의 계산은 다음 과정을 포함한다:

1. 초기화: 훈련된 모델 $w_0$에서 시작한다.
2. 탐사 궤적(Probing Trajectory): $T$ 단계의 SAM 스타일 업데이트를 적용한다. 각 단계 $t$에서:
   • 훈련 데이터로부터 미니 배치 $\xi_t$를 샘플링한다.
   • 미니 배치에 대해 단계별 샤프니스 $s_t$(예: ASAM 샤프니스)를 계산한다.
   • SAM 업데이트 연산자를 사용하여 모델 매개변수 $w_{t+1}$를 업데이트한다.
3. 변동 통계량(Fluctuation Statistic): 샤프니스 값의 시퀀스 $\{s_0, \dots, s_{T-1}\}$를 기록한다. 최종 지표는 이 시퀀스의 로그 비율(제곱된 샤프니스를 손실로 나눈 값)의 표준 편차이다.

이론적 근거

본 논문은 방향성 샤프니스를 **SAM-안정성(SAM-stability)**과 연결하는 이론적 분석을 제공한다:

• 안정성 경계(Stability Bound): 모델이 SAM-안정적 최소값에 위치한다면, 연속적인 섭동 하에서의 기대 제곱 샤프니스는 초기 훈련 손실의 상수 배로 일정하게 유지된다.
• 불안정성 탐지(Instability Detection): 반대로, 기대 제곱 샤프니스가 기하급수적으로 증가한다. 이는 모델이 불안정한 영역에 위치함을 의미한다.
• 그래디언트 일관성(Gradient Coherence): 저자들은 낮은 그래디언트 일관성(개별 그래디엔트는 크지만 풀 배치 평균에서는 서로 상쇄되는 경우)을 특징으로 하는 훈련 편차 클래스를 공식화한다. 그들은 풀 배치 정적 샤프니스가 낮게 나타나 편차를 은폐할 수 있지만, 루트 평균 제곱(RMS) 미니 배치 샤프니스는 높게 유지됨을 증명한다. 방향성 샤프니스는 시간에 따라 미니 배치 신호를 집계함으로써 이 격차를 증폭시켜 이러한 편차에 민감하게 반응한다.

주요 기여

1. 새로운 지표 (방향성 샤프니스): 정적 기하학적 측정을 동적 안정성 측정으로 전환한 일반화 지표를 제시한다.
2. 우수한 상관관계: 방향성 샤프니스가 기존의 정적 지표(예: 최악의 경우 샤프니스, ASAM)보다 일반화 격차(generalization gap)와 훨씬 더 강력하게 상관되어 있음을 보여주는 경험적 증거를 제시한다.
3. 편차에 대한 견고성: 테스트 정확도와 정적 샤프니스가 실패하는 지점(레이블 노이즈, 기만적 특징에 대한 과적합, 백도어 등)에서 훈련 편차로 인한 낮은 일반화 성능을 식별하는 능력을 입증했다.
4. 인증을 위한 효율성:
   • 감사(Auditing): 계산 속도가 테스트 정확도보다 최대 $4\times$ 빠르며, 정적 샤프니스보다는 수십 배 빠르다.
   • 인증 (영지식 증명): 방향성 샤프니스를 위한 영지식 증명(ZKP) 생성 방법을 제시한다. VGG-11 모델의 경우, 방향성 샤프니스를 증명하는 것이 전체 훈련 과정(zkPoT)을 증명하는 것보다 최대 80,000$\times$ 빠름을 보여준다.

실험 결과

일반화와의 상관관계

다양한 아키텍처와 하이퍼파라미터를 사용하여 CIFAR-10/100에서 1,152개의 모델을 훈련시킨 대규모 실험 결과:

• 방향성 샤프니스는 일반화 격차와 0.902의 스피어먼 상관계수($\rho$)를 달성했다.
• 이는 최악의 경우 샤프니스($\rho \approx 0.60$)나 풀 배치 ASAM($\rho \approx 0.64$)과 같은 최고의 정적 베이스라인을 크게 상회하는 수치이다.

훈련 편차 하에서의 신뢰성

저자들은 관찰된 테스트 정확도가 거의 동일한 양호한 모델과 결함이 있는 모델을 쌍으로 묶어 구별 실험을 수행했다. 테스트 정확도와 정적 지표는 실패했으나, 방향성 샤프니스는 모든 시나리오에서 모델을 성공적으로 분리했다:

• 노이즈 레이블: 양호/결함 비율 0.177 (방향성) vs 0.991 (정적).
• 기만적 특징에 대한 과적합: 비율 0.084 (방향성) vs 0.963 (정적).
• 백도어: 비율 0.061 (방향성) vs 0.587 (정적).
• 양자화 및 작은 테스트 세트: 방향성 샤프니스가 일관되게 더 강력한 분리 마진을 제공했다.

효율성 및 ZKP

• 실행 시간: 작은 배치를 사용한 방향성 샤프니스 계산은 0.21초가 소요되었으며, 이는 테스트 정확도(0.92초)와 정적 최악의 경우 샤프니스(210.32초)보다 훨씬 빠르다.
• ZKP 비용: 150 에포크 동안 훈련된 VGG-11 모델에 대해, 방향성 샤프니스의 ZKP는 88.87분이 걸린 반면, 전체 훈련 과정(LATE-SAM 베이스라인)의 ZKP는 약 118,671시간(약 13.5년)이 소요될 것으로 추정되었다.

의의 및 주장

본 논문은 방향성 샤프니스가 모델 일반화를 평가하기 위한 효율적이고 견고한 지표를 제공한다고 주장한다. 이 연구의 의의는 다음 두 가지 설정에서 실질적인 모델 인증을 가능하게 한다는 점에 있다:

1. 감사(Auditing): 훈련 데이터에 접근할 수 있는 신뢰할 수 있는 검증자가 낮은 일반화 성능과 훈련 편차를 효율적으로 탐지할 수 있다.
2. 인증(Certification): 외부 검증자가 훈련 데이터에 접근하지 않고도 ZKP를 통해 모델 품질을 암호학적으로 검증할 수 있으며, 이를 통해 기존 훈련 증명의 막대한 계산 비용 문제를 극복할 수 있다.

저자들은 동적 안정성을 측정함으로써 방향성 샤프니스가 정적 기하학적 특성보다, 특히 적대적이거나 비이상적인 훈련 시나리오에서 모델 품질에 대한 더 신뢰할 수 있는 신호를 제공한다고 단언한다. 결론적으로, 이 지표는 적대적 머신러닝 공격을 완화하고 ML 시스템의 투명성을 개선하는 데 적합한 도구이다.