🤖 machine learning

Rényi Sharpness: A Novel Sharpness that Strongly Correlates with Generalization

이 논문은 손실 헤시안 스펙트럼의 평균적인 확산을 특징짓는 레니 엔트로피 기반의 새로운 지표인 레니 샤프니스(Rényi sharpness)를 소개하며, 이것이 신경망 일반화와 우수한 상관관계를 보임을 입증하고 경쟁력 있는 RSAM 정규화 알고리즘의 개발을 가능하게 함을 보여준다.

원저자: Qiaozhe Zhang, Jun Sun, Ruijie Zhang, Yingzhuang Liu

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiaozhe Zhang, Jun Sun, Ruijie Zhang, Yingzhuang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터는 문제를 해결하기 위해 수백만 개의 미세한 내부 조절 나사를 조정하며 학습하는데, 이 과정은 종-종 거대하고 복잡한 오차의 지형 속에서 가장 낮은 지점을 찾는 과정을 포함한다. 수년 동안 과학자들은 이 지형의 형태가 왜 어떤 학습 모델은 새로운 데이터에서 잘 작동하는 반면 다른 모델은 실패하는지에 대한 비밀을 쥐고 있다고 믿어 왔다. 지배적인 직관은 모델이 이 지형의 넓고 평평한 골짜기에 안착할 때, 날카롭고 좁은 봉우리에 걸터앉아 있을 때보다 더 잘 일반화될 것이라는 것이었다. 이러한 아이디어는 평평한 최솟값이 모델로 하여금 데이터의 작은 변화에도 성능이 무너지지 않도록 완충 작용을 해준다는 점을 시사했다. 그러나 최근의 조사들은 이러한 단순한 그림에 의구심을 제기하며, 모델의 '평평함'이나 '날카로움'을 측정하는 전통적인 방식들이 모델이 실제로 얼마나 잘 수행할지를 예측하는 데 자주 실패한다는 사실을 밝혀냈다. 이 지형을 측정하기 위해 사용되었던 오래된 자들은 지형의 가장 중요한 세부 사항들을 놓치는 것처럼 보였고, 이로 인해 어떤 척도로는 '평평하다'고 판정된 모델이 실제로는 일반화 능력이 떨어지는 혼란스러운 결과들을 초래했다.

화중과기대학의 연구팀은 이제 이 문제에 접근하는 새로운 방식을 제안하며, 일반화의 핵심이 골짜기의 평균 깊이나 가장 가파른 벽의 높이가 아니라, 지형 자체의 불균일성에 있다고 주장한다. 그들은 지형이 마치 여러 가지 다른 음들로 구성된 화음처럼, 하나의 스펙트럼으로 정의된다는 것을 관찰했다. 어떤 음들은 매우 크고 수가 적은 반면, 어떤 음들은 조용하지만 수가 많고, 또 다른 음들은 거의 들리지도 않는다. 이전의 방법들은 오직 가장 큰 음이나 전체 화음의 평균 음량에만 집중하여, 더 조용한 음들의 구체적인 분포를 무시했다. 연구진은 모델이 잘 일반화되기 위해서는 이 전체 스펙트럼이 어느 한 부분이 다른 부분보다 압도하여 불안정성을 유발하지 않도록 균형을 이루어야 한다는 점을 깨달았다. 이 섬세한 균형을 포착하기 위해, 그들은 정보 이론의 개념 중 하나인 레니 엔트로피(Rényi entropy)를 활용했는데, 이는 값들의 집합이 얼마나 불균일하게 분포되어 있는지를 측정하기 위해 설계된 수학적 도구이다.

이 개념을 신경망의 내부 구조에 적용함으로써, 연구팀은 '레니 샤프니스(Rényi sharpness)'라고 불리는 새로운 척도를 정의했다. 모델의 규모나 구축 방식에 의해 속임수를 당할 수 있는 기존의 척도들과 달리, 이 새로운 척도는 모델의 내부 파라미터가 어떻게 늘어나거나 이동하더라도 일관성을 유지한다. 연구진은 이 척도가 모델이 훈련 데이터에서 수행하는 성능과 새로운 미지의 데이터에서 수행하는 성능 사이의 격차와 수학적으로 연결되어 있음을 증명했다. 실험에서 그들은 단순한 이미지 인식 작업부터 더 복잡한 시각 처리 작업에 이르기까지 다양한 네트워크 구조와 데이터셋에 걸쳐 이 새로운 척도를 테스트했다. 그 결과, 레니 샤프니스가 기존의 어떤 방법보다 일반화 성능을 훨씬 더 잘 예측하며, 기존의 척도들이 실패하거나 심지어 현실과 모순되는 결과를 보였던 곳에서 강력하고 신뢰할 수 있는 상관관계를 보여준다는 것을 발견했다.

이 새로운 이해를 실전에 적용하기 위해, 연구진은 '레니 샤프니스 인지 최적화(Rényi Sharpness Aware Minimization)', 즉 RSAM이라 불리는 훈련 알고리즘을 개발했다. 이 알고리즘은 학습 과정 중에 가이드 역할을 하며, 내부 값의 스펙트럼이 불균형한 솔루션으로부터 모델을 부드럽게 유도하여 더 균형 잡힌 솔루션으로 이끈다. 직접적인 비교 대결에서, 이 새로운 방법은 지형의 평평함을 측정하는 더 오래되고 덜 정확한 방식에 의존하는 현재의 최첨단 기술들보다 일반화 성능을 개선하는 데 더 효과적임을 입증했다. 이러한 결과는 모델의 내부 값의 전체 분포에 주목함으로써, 우리가 인공지능 시스템을 단순히 더 똑똑할 뿐만 아니라 실제 세상에 직면했을 때도 더 견고하게 만들 수 있음을 시사한다. 이 연구는 학습 지형에 대한 더 명확한 지도를 제공하며, 모델의 성공의 비결은 단지 가장 큰 음이 아니라 전체 내부 구조의 조화에 있다는 것을 보여준다.

기술 요약: Rényi Sharpness (레니 샤프니스)

1. 문제 정의

과잉 매개변수화된 신경망(overparameterized neural networks)의 일반화 능력은 손실 곡면(loss landscape) 극소점의 "평탄도(flatness)"와 밀접하게 연관되어 있다고 널리 믿어지고 있다. 그러나 트레이스( $\text{tr}(H)$ )나 최대 고유값( $\lambda_{\max}(H)$ )과 같은 기존의 샤프니스 척도들은 일반화 성능과 약하거나 심지어 모순적인 상관관계를 보이는 경우가 많다. 본 논문은 이러한 기존 지표들이 헤시안(Hessian) 스펙트럼의 특정 부분에만 집중하기 때문에 불충분하다고 주장한다. 즉, 트레이스는 평균(중간 고유값들에 의해 지배됨)을 포착하고, 최대 고유값은 오직 가장 큰 고유값만을 포착한다. 결과적으로, 이들은 저자들이 일반화의 핵심 요소로 식별한 전체 헤시안 스펙트럼의 **평균적인 퍼짐 정도(또는 불균일성, average spread/unevenness)**를 설명하지 못한다.

2. 방법론

2.1 핵심 개념: Rényi Sharpness (레니 샤프니스)

헤시안 스펙트럼의 불균일성을 특징짓기 위해, 저자들은 손실 헤시안 $H$ 의 정규화된 고유값들에 대한 음의 레니 엔트로피(negative Rényi entropy)로 정의되는 Rényi Sharpness를 제안한다.

정의: 고유값이 $\lambda_i$ 인 헤시안 $H$ 에 대하여, 레니 샤프니스는 $-H_\alpha(H)$ 이다. 여기서 $H_\alpha(H)$ 는 정규화된 스펙트럼 $(\lambda_i / \text{Tr}(H))$ 의 레니 엔트로피이다.
근거: 정보 이론에서의 레니 엔트로피는 분포의 불균일성을 포착할 수 있는 오목 함수(concave function)이다. 차수 매개변수(order parameter) $\alpha$ 를 조정함으로써, 큰 고유값과 작은 고유값 사이의 민감도 균형을 조절할 수 있다.
주요 특성: 이 지표는 활성화 함수가 동차적(homogeneous)이거나 (GELU/Transformer와 같이) 거의 동차적인 경우, 재매개변수화 불변성(reparameterization invariance)(구체적으로 레이어별 스케일링 변환 하에서)을 갖는다. 이 특성은 이론적 경계(theoretical bounds)를 도출하는 데 매우 중요하다.

2.2 이론적 프레임워크

본 논문은 모집단 위험(population risk)과 레니 샤프니스를 연결하는 두 가지 일반화 경계를 확립한다.

데이터 섭동 변환 (Data Perturbation Translation): 저자들은 데이터 불일치(data discrepancy)가 곱셈적 가중치 섭동(multiplicative weight perturbations)으로 모델링될 수 있다고 주장한다.
경계 (Bounds): 레니 샤프니스의 재매매변수화 불변성을 활용하고 데이터 불일치를 가중치 섭동으로 변환함으로써, 일반화 간극(generalization gap)이 헤시안의 레니 엔트로피를 포함하는 항들에 의해 제한되는 일반화 경계(정리 3.2 및 3.3)를 도출한다. 이 경계들은 레니 샤프니스를 최소화하는 것이 이론적으로 일반화 간극을 제약한다는 것을 시사한다.

2.3 추정 알고리즘

전체 헤시안 스펙트럼을 직접 계산하는 것은 계산 비용이 매우 높다. 본 논문은 **확률적 란초스 쿼드러처(Stochastic Lanczos Quadrature, SLQ)**에 기반한 빠른 추정 알고리즘을 제안한다.

레니 엔트로피는 행렬 거듭제곱의 트레이스인 $\text{Tr}(H^\alpha)$ 의 기능(functional)으로 재구성된다.
명시적인 고유값 분해 없이 $\text{Tr}(H^\alpha)$ 와 $\text{Tr}(H)$ 를 효율적으로 근사하기 위해 **허친슨 방법(Hutchinson method, 확률적 트레이스 추정법)**과 **란초스 알고리즘(Lanczos algorithm)**이 사용된다.

2.4 정규화: RSAM

이 지표를 학습에 활용하기 위해, 저자들은 **Rényi Sharpness-Aware Minimization (RSAM)**을 제안한다.

근사 (Approximation): 학습 중 정확한 헤시안을 계산하는 높은 비용을 피하기 위해, RSAM은 그래디언트 크기의 제곱( $H \approx G_M$ )을 사용하여 헤시안을 근사한다.
목적 함수 (Objective): 이 알고리즘은 그래디언트 벡터로부터 유도된 레니 샤프니션의 변형을 정규화 항으로 사용하는 정규화된 손실을 최소화한다.
구현: 학습 안정성을 보장하기 위해 RSAM으로 전환하기 전 표준 SGD를 사용하는 웜업(warm-up) 전략이 사용된다.

3. 주요 기여

새로운 지표: 헤시안 스펙트럼의 분포가 일반화에 의존한다는 관찰에 착안하여, 레니 엔트로피를 통해 포착되는 헤시안 스펙트럼의 평균적인 퍼짐 정도를 측정하는 Rényi Sharpness를 도입하였다.
이론적 경계: 재매개변수화 불변성과 데이터-가중치 섭동 변환을 활용하여 레니 샤프니스에 대한 두 가지 엄밀한 일반화 경계를 확립하였다.
경험적 상관관계: 다양한 아키텍처(ResNet, ViT)와 데이터셋(CIFAR-10/100, TinyImageNet)에 걸쳐 레니 샤프니스가 트레이스, 최대 고유값, Fisher-Rao, 그리고 PAC-Bayes 기반 척도보다 일반화 간극과 더 강력하고 일관된 상관관계를 보임을 입증하였다.
알고리즘: 레니 샤프니션의 변형을 정규화 항으로 사용하는 RSAM 알고리즘을 제안하였다.

4. 실험 결과

상관관계 분석: Kendall 순위 상관 계수(Kendall rank correlation coefficient)를 사용한 결과, 레니 샤프니스는 기존 척도들(예: SAM, ASAM, Trace, Parameter Norm)에 비해 일반화 간극과 현저히 높은 상관관계를 보였다. 많은 경우, 다른 척도들은 0에 가깝거나 음의 상관관계를 보였다.
차수 선택 (Order Selection): 저자들은 헤시안 스펙트럼을 분석하여 두 가지 주요 유형을 발견했다: "제로 지배적 멀티 클러스터(zero-dominant multi-cluster)"( $\alpha \in (0,1)$ , 주로 $\alpha=0.5$ 필요)와 "제로 지배적 균일(zero-dominant uniform)"( $\alpha > 1$ , 주로 $\alpha=1.5$ 필요)이다.
학습 성능: 이미지 분류 작업(CIFAR-10/100, TinyImageNet)에서 ResNet과 WideResNet을 사용했을 때, RSAM은 표준 SGD, SAM, ASAM, Eigen-SAM, Fisher-SAM을 능가하는 최첨단(SOTA) 테스트 정확도를 달성했다.
- 예시: ResNet-56을 사용한 CIFAR-10 작업에서, RSAM은 **95.26%**의 정확도를 달 기록하였으며, 이는 SAM(94.96%)과 ASAM(95.12%)보다 높다.
- 예시: ViT-B-16을 사용한 CIFAR-100 작업에서, RSAM은 **89.58%**를 달성하여 SAM(89.38%)과 ASAM(88.78%)을 능가하였다.

5. 의의 및 주장

본 논문은 Rényi Sharpness가 단순히 극단값이나 평균에 집중하는 대신 헤시안 스펙트럼의 분포에 집중함으로써, 샤프니스 직관과 일반화 현실 사이의 단절을 해결한다고 주장한다.

이론적 의의: 정보 이론적 엔트로피를 통해 일반화와 손실 곡면의 "불균일성" 사이의 엄밀한 이론적 연결 고리를 제공한다.
실용적 의의: 제안된 RSAM 알고리즘은 기존의 Sharpness-Aware Minimization 방법들에 대해 경쟁력 있고 종종 더 우수한 대안을 제공한다.
겸손함 (Modesty): 저자들은 현재의 RSAM 구현이 계산 효율성을 위해 헤시안의 근사치(그래디언트 크기 사용)에 의존하고 있음을 인정한다. 그들은 특정 작업에서 RSAM과 다른 방법들(ASAM 등) 사이의 성능 차이가 이러한 근사로 인한 것일 수 있음을 언급하며, 정확한 레니 샤프니스나 더 타이트한 추정기를 사용하면 추가적인 개선이 가능할 것임을 시사한다. 그들은 RSAM이 모든 일반화 문제를 해결한다고 주장하는 것이 아니라, 손실 곡면 기하학을 이해하고 최적화하는 데 있어 중요한 진전임을 강조한다.