기술 요약: 데드-디렉션 시그니처 (Dead-Direction Signatures, DDS)

문제 정의

단일 학습 이론(Singular Learning Theory, SLT)은 과매개변수화된 딥러닝 네트워크의 복잡성을 손실 특이점(loss singularities)의 국소 기하학을 통해 규명한다. 이 프레임워크의 주요 불변량은 실 로그 정칙 임계값(Real Log Canonical Threshold, RLCT, $\lambda$로 표기)이며, 이는 특이 최소점 근처에서 모델의 유효 복잡도를 측정한다. 실제 적용 측면에서는 국소 학습 계수(Local Learning Coefficient, LLC)가 $\lambda$를 위한 표준 추정치로 등장했다. 그러나 LLC 추정은 SGLD(Stochastic Gradient Langevin Dynamics) 샘플링을 통해 국소 사후 분포를 적분해야 하므로, 체크포인트당 $10^4$에서 $10^6$번의 순전파-역전파 패스가 필요할 정도로 계산 비용이 매우 높다. 이러한 비용은 대규모 모델(예: LLM)이나 고빈도 모니터링 상황에서 LLC를 사용하는 것을 비현실적으로 만든다.

본 논문은 사후 분포 적분의 오버헤드 없이 특이 구조를 읽어낼 수 있는 "저렴한" 대안의 필요성을 다룬다. 구체적으로, 네트워크 활성화와 그래디언트의 폐쇄형 스펙트럼 판독을 사용하여, 손실 지형이 평탄한(특이한) 파라미터 방향인 "데드 디렉션(dead directions)"을 탐지하고 정량화하는 방법을 탐구한다.

방법론: 데드-디렉션 시그니처 (DDS)

저자들은 (Shirodoka, 2026)의 이론적 프레임워크에 기반하여, 데드 디렉션을 따라 감소하는 피셔 정보(Fisher information)의 붕괴율과 RLCT를 연결하는 폐쇄형 스펙트럼 관측량인 데드-디렉션 시그니처(DDS) 군을 소개한다.

이론적 토대

이 프레임워크는 특이 최소점에서 피셔 정보 행렬 $F(\theta)$가 특정 "데드 디렉션" $u$를 따라 계수(rank)를 상실한다고 가정한다. 만약 KL 발산이 $K(\theta_0 + tu) \sim t^{2k}$ (여기서 $k$는 KL 차수)로 감소한다면, 방향성 피셔 정보는 $\Theta(t^{2(k-1)})$로 감소한다. 선택 규칙(selection rule)은 이 감소 지수와 RLCT의 방향성 기여도($1/2k$)를 연결한다.

프레임워크는 임의의 특이 최소점에서 활성화 스펙트럼과 피셔-그램(Fisher-Gram) 스펙트럼 사이의 구조적 상관관계를 확립한다. KFAC으로 분해 가능한 피셔 정보 $F_\ell \approx A_\ell \otimes G_\ell$를 갖는 $L$-계층 네트워크의 경우:

1. 피셔 측: per-sample-gradient 피셔-그램의 가장 작은 양의 고유값 $\lambda^+_{\min}(G_\ell)$은 $\Theta(t^{2(L-\ell)})$로 감소한다.
2. 활성화 측: 활성화 행렬의 제곱 최소 특이값 $\sigma^2_{\min}(X_\ell)$은 $\Theta(t^{2\ell})$로 감소한다.
3. 상관관계: 이 두 양은 공변동(co-monotonic)하며, 이는 점근적 한계에서 스피어먼 순위 상관계수가 $+1$에 가깝게 수렴함을 의미한다.

세 가지 DDS 관측량

DDS는 선택된 계층 $\ell$에서 SGLD 사후 체인을 대신하여 세 가지 저렴한 폐쇄형 판독값을 제공한다:

1. 율 관측량 (Rate Observable, $\lambda^+_{\min}(G_\ell)$): 피셔-그램의 가장 작은 양의 고유값이다. 이는 데드 디렉션의 존재를 탐지하고 이를 특정 계층(예: 병목 구간)으로 국지화한다.
2. 볼륨 관측량 (Volume Observable, $\log \det^+(G_\ell)$): 활성 피셔 스펙트럼의 로그 볼륨(양의 고유값들의 로그 합)이다. 이 관측량은 데드 디렉션의 개수(계수 결핍 $r$)에 민감하다.
3. 듀얼 관측량 (Dual Observable, $\sigma_{\min}(X_\ell)$): 활성화 행렬의 최소 특이값이다. 이는 피셔 측의 율을 대리하는 활성화 측의 프록시를 제공하며, 단 한 번의 순전파와 SVD를 통해 계산 가능하다.

주요 기여

1. 탐지 및 계수 결핍 카운팅:

   • 탐지: $\lambda^+_{\min}(G_\ell)$은 데드 디렉션이 나타나는 즉시 수 차수(예: $\sim 246\times$)만큼 붕괴하며, 단 한 번의 역전파만으로 탐지가 가능하다.
   • 카운팅: 본 논문은 **계수-곱셈적 볼륨 항등식(rank-multiplicative volume identity)**을 도입한다. 단일 고유값 모니터는 "계수 인식 능력이 없는(rank-blind)" 반면, $\log \det^+(G_\ell)$의 기울기는 계수 결핍 $r$과 선형적으로 비례한다. 구체적으로, rank-1 베이스라인 대비 기울기 비율은 $r$과 같다 (예: $r=2, 3, 4$일 때 각각 2.0, 3.1, 4.0의 기울기). 이를 통해 DDS는 단일 고유값 모니터가 할 수 없는 데드 디렉션의 개수를 셀 수 있다.

2. 폐쇄형 RLCT와의 검증:

   • 분석적 $\lambda$가 알려진 Aoyagi (2005) 축소 계수 회귀 앵커(anchor) 모델에서, DDS 관측량은 분석적 $\lambda$를 높은 상관관계($|\rho| \in [0.95, 0.98]$)로 순위 추적(rank-track)한다.
   • 저자들은 단순한 용량 프록시조차 교차 셀 순위 추적(cross-cell rank-tracking)이라는 기초적인 검증은 통과할 수 있지만, 계수-곱셈적 볼륨 항등식은 단순한 프록시가 재현할 수 없는 차별화된 테스트임을 입증한다.

3. 비선형 트랜스포머로의 확장:

   • Nanda의 모듈러 덧셈(modular-addition) 트랜스포머 너비 스윕(width sweep) 실험에서, DDS 관측량은 18개 차수에 걸친 모델 너비($d_{\text{model}}$)를 부호 일관성($|\rho| \in [0.62, 0.96]$)과 함께 분리해낸다.
   • 반면, 동일한 프로토콜 예산 하의 보정된 LLC는 "계수 평탄(rank-flat)" 상태(너비를 구분하지 못함)를 보였으며, SGLD 예산을 9배 늘려도 너비를 해상하는 데 실패했다.

4. 비용 효율성:

   • DDS 관측량은 LLC보다 수십 배 더 저렴하다. $\sigma_{\min}(X_\ell)$은 한 번의 순전파와 SVD($O(Nh^2)$)를 요구한다. $\lambda^+_{\min}(G_\ell)$과 $\log \det^+(G_\ell)$은 한 번의 역전파와 고유값 분해($O(h^3)$)를 요구한다.
   • 소규모 모델에서 DDS는 보정된 LLC보다 약 300배 더 저렴하며, LLM 너비의 경우 구조적 상관관계를 통해 값비싼 $O(h^3)$ 피셔 고유값 분해를 우회하여 저렴한 활성화 측 $\sigma_{\min}$으로부터 피셔 측의 순위 관계를 복구할 수 있다.

결과

• 폐쇄형 앵커: 14개의 Aoyagi 2005 앵커 셀에서, 보정된 LLC는 분석적 $\lambda$를 평균 99% 수준에서 복구한다. DDS 관측량은 $|\rho| \ge 0.95$의 상관관계로 $\lambda$를 순위 추적한다.
• 볼륨 항등식: 7개의 노이지 브릿지(noisy-bridge) 설정에서, $\log \det^+(G)$ 기울기 비율은 $r=2, 3, 4$일 때 각각 2.0, 3.1, 4.0의 평균값을 가지며 예측값(2, 3, 4)을 정확히 추적한다.
• 트랜스포머 너비 스윕: DDS 관측량은 $d_{\text{model}}$ 증가에 따라 단조 감소(5~15개 차수 범위)를 보이는 반면, LLC는 평탄한 상태를 유지한다.
• 구조적 상관관계: 정적 항등식인 $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$는 다양한 테스트베드(canonical bridges, Barak sparse parity, Nanda modular addition)에서 상관관계 $\rho \ge +0.75$와 함께 성립하며, 궤적 율-피팅(trajectory rate-fits)이 실패하는 영역(예: AdamW+CE)에서도 작동한다.
• 그로킹(Grokking) 역학: Barak sparse parity에서 DDS 관측량은 "클린업(cleanup)" 단계 동안 기하학적 하강(10개 차수 붕괴)을 탐지하는 반면, LLC는 정체(plateau)된다.

의의 및 범위

본 논문은 DDS가 계산적으로 실행 가능한 규모에서 구현 가능한, 최초의 방향적이고 파라미터 국소적인 특이 복잡도 핸들이라고 주장한다.

• 상보성: DDS는 LLC와 상보적인 관계로 제시된다. LLC가 사후 분포를 적분하여 베이지안 요약(예: WAIC, 특이 변동, 발전 정체)을 제공한다면, DDS는 폐쇄형으로 특이 구조를 읽어내는 "방향적, 계층 국소적" 판독을 제공한다.
• 한계: 저자들은 연구 범위를 겸허하게 설정하였다. DDS는 폐쇄형 RLCT가 존재하는 파라미터적 특이 모델과 하나의 비선형 트랜스포머 너비 스윕에서 검증되었다. 궤적 율 예측(예: 특정 멱법칙 지수)은 "정형적 정렬(canonical alignment)"(일반적으로 G-불변 메트릭 상의 SGD)을 필요로 하며, 비등변성(non-equivariance) 문제로 인해 Adam 계열 옵티마이저 하에서는 실패할 수 있다. 그러나 정적 구조적 상관관계는 AdamW+CE 하에서도 유지된다.
• 향러 과제: 논문은 이러한 판독법을 더 넓은 트랜스포머 아키텍처, 어텐션 전용 체인, 그리고 다른 알고리즘 작업으로 확장하는 것을 향후 과제로 꼽았다. 또한, 동일한 데드 디렉션 판독법이 향후 SGLD 없이 와타나베 트리플(Watanabe triple)의 나머지 요소(다중도 $m$, 변동성 $\nu$) 및 WAIC까지 확장될 수 있음을 시사한다.

요약하자면, DDS는 LLC의 통합된 사후 분포 판독을 저렴한 폐쇄형 스펙트럼 판독으로 대체함으로써, 데드 디렉션의 탐지 및 카운팅을 훨씬 적은 계산 비용으로 가능하게 하여, 더 큰 모델에서도 특이 복잡도 분석을 실행 가능하게 만든다.