기술 요약: 손실을 수정하라, 반경을 수정하지 마라: Sharpness-Aware Minimization 의 적대적 교란에 대한 재고

1. 문제 제기

심층 신경망 (DNN) 은 종종 과매개변수화와 비볼록 손실 지형으로 인해 다양한 일반화 능력을 가진 수많은 국소 최적점에 시달립니다. 지배적인 가설은 "평탄한 최소점 (flat minima)" (낮은 곡률을 가진 영역) 이 "날카로운 최소점 (sharp minima)"보다 더 나은 일반화를 수행한다고 제안합니다. Sharpness-Aware Minimization(SAM) 은 고정된 매개변수 공간 반경 $\rho$ 내에서 최악의 경우 손실을 최소화함으로써 이를 해결하기 위해 제안되었습니다.

그러나 저자들은 SAM 과 그 변형들에서 근본적인 메커니즘 수준의 불일치를 확인했습니다:

• 이상: 평탄성은 본질적으로 손실 지형의 국소 곡률 (Hessian) 로 특징지어지는 2 차 속성입니다.
• 현실: SAM 은 고정된 반경 $\rho$ 내에서 1 차 선형 근사를 사용하여 적대적 목적 함수를 구성합니다. 결과적으로 교란은 기울기 방향과 정렬됩니다. 따라서 생성된 학습 신호는 곡률보다는 기울기 노름 ($\rho \|\nabla L(w)\|$) 에 의해 지배됩니다.
• 결과: 기울기 노름이 신호를 지배하기 때문에, SAM 의 효과는 곡률 항이 비교 가능해질 정도로 기울기가 자연스럽게 작아지는 훈련의 후반 단계로 크게 미뤄집니다. 이는 전체 최적화 과정에서 평탄한 최소점을 찾는 목표와 훈련 메커니즘 사이의 불일치를 초래합니다.

2. 방법론: Loss-Equated SAM (LE-SAM)

이 불일치를 해결하기 위해 저자들은 기존 SAM 패러다임을 반전시키는 메커니즘 수준의 재해석인 **Loss-Equated SAM(LE-SAM)**을 제안합니다. 매개변수 공간에서 교란 반경을 고정하는 대신, LE-SAM 은 손실 공간 예산 $\sigma$를 고정합니다.

핵심 메커니즘

고전적인 Polyak step-size에서 영감을 받아, LE-SAM 은 1 차 손실 변동을 스칼라화합니다.

1. 고정된 예산: $\rho$를 고정하는 대신, 알고리즘은 손실 공간에서 목표 손실 증가량 $\sigma$를 고정합니다.
2. 역산출 반경: 1 차 손실 변동이 예산 $\sigma$와 일치하도록 교란 반경 $\rho_t$가 동적으로 계산됩니다:
   $$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$$
   여기서 $\varrho$는 수치적 안정성을 위한 작은 상수입니다.
3. 대리 손실: 이 적응형 반경을 손실의 테일러 전개에 다시 대입하면, 1 차 항은 상수 스칼라 $\sigma$가 됩니다:
   $$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{상수 스칼라}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$$
   $\nabla_w \sigma = 0$이므로, 기울기 노름 페널티가 최적화 신호에서 효과적으로 제거됩니다. 학습 신호는 전체적으로 2 차 곡률 항 ($\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$) 으로 완전히 이동합니다.

안정화 전략

기울기 노름이 작을 때 발생할 수 있는 불안정성 (과도하게 큰 $\rho_t$로 이어질 수 있음) 을 방지하기 위해 LE-SAM 은 두 가지 안전 장치를 사용합니다:

• 반경 클리핑: 최대 반경 $\rho_{max}$가 강제됩니다.
• 손실 예산 어닐링: 예산 $\sigma$는 원활한 수렴을 보장하기 위해 훈련의 최종 단계에서 (예: 코사인 감쇠를 통해) 0 으로 서서히 어닐링됩니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 목적 불일치 식별: 저자들은 표준 SAM 의 적대적 교란이 고정 반경 제약 하에서 1 차 선형화된 대리 모델을 통해 생성되며, 이로 인해 학습 신호가 평탄한 최소점에 필요한 2 차 곡률 대신 기울기 크기에 의해 지배됨을 입증합니다.
2. LE-SAM 제안: 반경 대신 손실 예산을 고정하는 메커니즘 수준의 재해석입니다. 이는 1 차 변동을 스칼라화하여 기울기 노름 지배를 제거하고, 전체 훈련 과정에서 최적화 신호를 곡률 지배 항으로 이동시킵니다.
3. 경험적 우위: 광범위한 실험을 통해 LE-SAM 이 다양한 벤치마크에서 표준 SAM 과 그 변형들 (ASAM, ESAM, F-SAM, Eigen-SAM 포함) 보다 일관되게 우월한 성능을 보이며 최첨단 (SOTA) 성능을 달성함을 보여주었습니다.

4. 실험 결과

저자들은 LE-SAM 을 여러 작업과 데이터셋에서 평가했습니다:

• Scratch 에서의 훈련:
  • CIFAR-10/100: ResNet-18, WideResNet-28-10, PyramidNet-110 을 사용하여, LE-SAM 은 모든 SAM 변형 중 가장 높은 정확도를 달성했습니다. CIFAR-100 에서 표준 SAM 보다 1.34 에서 1.49 포인트 더 높은 성능을 보였습니다.
  • ImageNet: ResNet-50 과 ResNet-101 을 scratch 에서 훈련할 때, LE-SAM 은 SAM 보다 각각 0.71 과 0.77 포인트 더 높은 성능을 보였습니다.
• 전이 학습: CIFAR-10/100 에서 사전 훈련된 ViT-B-16 을 미세 조정할 때, LE-SAM 은 SAM 을 일관되게 능가했습니다.
• 도메인 일반화 (SDG): PACS 와 VLCS 데이터셋에서 LE-SAM 은 SAM 보다 평균 정확도를 각각 2.18 과 0.84 포인트 향상시켰습니다.
• 강건성: $L_2$ 및 $L_\infty$ PGD 적대적 공격 하에서 LE-SAM 은 더 강력한 강건성을 보여주었으며, SAM 보다 최대 2.47 포인트 더 높은 성능을 기록했습니다.
• 장미꼬리 학습: CIFAR-100-LT 에서 LE-SAM 을 최첨단 방법인 GLMC 와 결합하면 GLMC+SAM 보다 추가적인 개선을 이루었습니다.

메커니즘 분석

• 평탄성 지표: Hessian trace 와 최상위 고유값 분석은 LE-SAM 이 SAM 과 SGD 에 비해 더 평탄한 최소점 (낮은 Hessian trace 와 최대 고유값) 으로 수렴함을 확인했습니다.
• 훈련 역학: 훈련 후반 단계에서만 유의미한 향상을 보이는 SAM 과 달리, LE-SAM 은 전체 훈련 과정에서 상당한 성능 격차를 보여주어 곡률 신호가 초기부터 활성화됨을 검증했습니다.
• 계산 비용: LE-SAM 은 동적 반경 계산에 대한 무시할 수 있는 오버헤드로 SAM 과 동일한 점근적 복잡도 (반복당 두 번의 순전파 - 역전파) 를 유지합니다.

5. 중요성과 주장

본 논문은 기존 Sharpness-Aware Minimization 방법들의 주요 한계가 고정 반경 기반의 1 차 근사에 의존함으로써 곡률 대신 기울기 크기를 부당하게 우선시한다는 점이라고 주장합니다. "반경이 아닌 손실을 수정함으로써" LE-SAM 은 적대적 교란 메커니즘을 근본적으로 재고합니다.

저자들은 이 접근법이 본질적으로 곡률을 인식하는 평탄성 인식 학습의 통합된 관점을 제공한다고 주장합니다. 교란 크기를 기울기 노름에서 분리함으로써 LE-SAM 은 평탄한 영역으로 가는 더 직접적이고 강건한 경로를 제공하며, 다양한 아키텍처, 데이터셋, 훈련 시나리오 (전이 학습 및 도메인 일반화 포함) 에서 상당한 계산 오버헤드 없이 우수한 일반화 성능을 달성합니다.