Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

기술 요약: 정준 정렬(Canonical Alignment)에서 벗어난 데드 디렉션(Dead Directions) 측정

문제 정의
단일 학습 이론(Singular Learning Theory)은 훈련된 신경망을 와타나베 트리플(Watanabe triple)인 학습 계수($\lambda$), 다중도($m$), 그리고 특이 변동성($\nu$)을 통해 특징짓습니다. 이러한 불변량들은 베이지안 자유 에너지와 일반화 오차를 결정합니다. 그러나 실제 네트워크에서 이를 측정하는 것은 비용이 많이 들며, 종종 확률적 사후 샘플링(예: SGLD)에 의존하는데, 이는 특정 네트워크 좌표로 국소화되지 않은 단일 전역 스칼라만을 산출합니다. 또한, 특이점의 "차수(order, $k$)"를 읽기 위한 기존의 결정론적 방법들은 두 가지 엄격한 전제 조건을 요구했습니다: 정준 정렬(데드 디렉션이 모든 레이어에서 좌표축과 일치해야 함)과 하강(읽기 작업이 특이점으로 접근하는 훈련 궤적을 따라 이루어져야 함). 실제 훈련된 네트워크는 이러한 조건을 위반하는 경우가 많으며, 이로 인해 데드 디렉션이 축에서 회전되어 있거나 표준적인 좌표별 스캔으로는 놓칠 수 있는 확산된 구조를 형성하게 됩니다.

방법론
본 논문은 단일 고정 체크포인트에서 작동하는 하강 불필요(descent-free), 정렬 불필요(alignment-free) 측정 파이프라인을 제안합니다. 이 방법은 **탐지(Detection)**와 **읽기(Reading)**의 두 단계로 구성됩니다.

1. 탐지 (구조 적응형):

   • 탐지기는 레이어의 자연스러운 2차 모멘트 객체의 근-커널(near-kernel)을 식별함으로써 "데드 디렉션"($u$)을 찾아냅니다.
   • 일반적인 레이어의 경우, K-FAC(Kronecker-factored approximate curvature) 인자 쌍($A \otimes G$)을 활용하여 **A-G 쌍대성(A-G duality)**을 이용합니다: 만약 입력 공분산($A$)이 해당 방향을 격리하는 데 실패한다면, 출력-그래디언트 공분산($G$)은 성공하며 그 반대도 마찬가지입니다.
   • 합성곱(Convolutional) 레이어의 경우 공간 패치 공분산을 사용하며, LayerNorm의 경우 정규화 스케일의 폐쇄형 커널을 사용합니다.
   • 결정적으로, 이 방법은 피셔 스펙트럼(Fisher spectrum)을 탐색하는 대신 이러한 인자들로부터 결합 모드(joint mode)를 구성함으로써, "게이지 플로어(gauge floor, 평탄한 대칭 방향)"와 차수를 가진 모드보다 낮은 곳에 위치한 샘플링 널 공간(null spaces)을 피합니다.

2. 읽기 (하강 불필기 스캔):

   • 일단 방향 $u$가 지명되면, 방법론은 합성 스캔 $\theta(t) = \theta_0 + tu$를 수행합니다 ($\theta_0$는 고정된 체크포인트).
   • 이 스캔을 따라 방향성 피셔(directional Fisher) $F(\theta(t))$를 측정합니다.
   • 차수 $k$는 피셔의 성장률로부터 복구됩니다: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$.
   • 순도 매칭 윈도우(purity-matched window) 선택기는 적합 품질($r^2 > 0.95$)을 최대화함으로써 점근적 영역($t \to 0$)을 격리하며, 이를 통해 복구된 지수가 저차 성분이나 게이지 노이즈에 의해 오염되지 않도록 보장합니다.
   • 방법론은 기울기의 크기에 따라 방향을 분류합니다: 유한한 기울기는 진정한 특이점(예: 노드 사망, 깊이 특이점)을 나타내며, "플로어"에서의 평탄한 크기는 게이지 대칭(예: LayerNorm 커널, 회전)을 나타냅니다.

주요 기여

1. 정렬 불필요 차수 복구: 본 방법은 데드 디렉션이 좌표축과 정렬될 필요 없이 개별 방향의 차수 $k$(및 따라서 국소 학습 계수 $\lambda_{dir} = 1/(2k)$)를 복구합니다. 이는 표준 스캔이 실패하는 심층 네트워크 내의 회전된 노드 사망(node-deaths)을 성공적으로 읽어냅니다.
2. 데드 구조의 분류 체계: 본 논문은 데드 디렉션을 진정한 특이점(활성화 분석 차수 또는 네트워크 깊이에 의해 결정되는 유한 차수)과 평탄한 게이지(무한 차수이며 다중도에는 기여하지만 복잡성에는 기여하지 않는 것)로 분류합니다. 또한 곡선형 게이지 궤도(기울기 측면에서 유한 차수처럼 보이는 것)와 진정한 특이점을 구별하기 위한 크기 기반 기준을 도입합니다.
3. 결정론적 분해: 단일 전역 $\lambda$를 반환하는 사후 샘플러와 달리, 이 방법은 복잡성을 개별 방향의 차수와 데드 부분 공간 차원(지배적인 차수를 가진 방향의 수)으로 분해합니다.
4. 옵티마이저 의존적 기하학: 연구는 차수($k$)는 아키텍처(활성화 함수 또는 깊이)에 의해 고정되지만, 데드 구조의 **기저(basis)**와 **선명도(sharpness)**는 옵티마이저에 의해 결정됨을 보여줍니다. 직교화 옵티마이저는 깨끗하고 읽기 쉬운 구조를 생성하는 반면, 표준 옵티마이저는 구조를 너무 확산시키거나 회전시켜 정준 방법으로는 읽기 어렵게 만들 수 있습니다.
5. 와타나베 트리플의 매핑:
   • 차수 ($k$): 보편적인 특이 변동성 $\nu(k)$를 결정합니다.
   • 다중도 ($m$): 정규 교차(normal-crossing) 가정 하에 데드 부분 공간 차원에서 복구됩니다.
   • 변동성 ($\nu$): 본 논문은 훈련된 네트워크의 실현된 $\nu$가 데드 디렉션으로 향하려던 데이터 변동성을 "생존한(live)" 구조가 흡수하기 때문에, 이론적인 $\nu(k)$보다 낮게 억제된다는 것을 보여줍니다.

결과

• 구성된 셀(Constructed Cells) 검증: 본 방법은 예측된 차수를 정확하게 복구합니다 ($k=2$는 GELU/ReLU 노드 사망, $k=3$은 squared-ReLU, $k=L$은 깊이 $L$인 선형 네트워크). 이때 $r^2 \approx 1.000$을 달성합니다.
• 실제 네트워크:
  • From-Scratch ViT: MLP 블록 내의 회전된 노드 사망에 대해 활성화가 예측한 차수($k \approx 2$ 또는 $3$)를 성공적으로 복구합니다. 반면, 좌표별 스캔은 편향된 값을 산출합니다.
  • Fine-Tuned DINOv2: 노드 사망이 없음을 식별하고, 데드 구조를 아키텍처적 게이지(LayerNorm-kernel, 어텐션 QK 회전)로 분류하여, 학습된 특이점과 대칭을 구분하는 방법의 능력을 입증합니다.
  • 옵티마이저 비교: 바닐라 Muon은 데드 구조를 너무 확산시켜 읽기 어렵게 만드는 경우가 많으나, 스케일드-폴라(scaled-polar) 직교화기는 깨끗하고 축에 정렬되거나 회전된 구조를 생성하며, 본 방법은 이를 정확하게 읽어냅니다.
• 전역 계수: 엔뉴머러블(enumerable)한 특이 구조를 가진 해석적 모델에서, 조립된 개별 방향의 차수는 폐쇄형 전역 $\lambda$와 기계 정밀도 수준까지 일치합니다.

의의 및 주장
본 논문은 차수 복구를 결정론적이고 아키텍처 일반적인 읽기로 전환하여, 기존 연구의 정준 정렬 및 하강 전제 조건을 제거한다고 주장합니다. 이는 학습 계수를 분해하기 위해 값비싼 사후 샘플링을 대체할 수 있는 "저렴한"(단일 순전파/역전파 패스) 대안을 제공합니다.

저자들은 다음과 같은 범위에 대한 겸손함을 강조합니다:

• 이 읽기는 디텍터가 성공적으로 방향을 지명하는 것에 조건부적입니다. 즉, 무작위 방향에서 구조를 찾아내는 것은 아닙니다.
• 이는 옵티마이저가 남긴 구조를 특징짓는 것입니다. 만약 옵티마이저가 확산된 솔루션(예: 깊은 트랜스포머에서의 바닐라 Muon)을 남긴다면, 복구할 깨끗한 차수는 존재하지 않습니다.
• 차수는 정확하게 복구하지만, 훈련된 네트워크의 실현된 특이 변동성은 생존 구조의 흡수에 의해 억제되므로, 보편적인 $\nu(k)$는 상한선(upper bound) 역할을 할 뿐 실제 실현된 값은 아닙니다.
• 현재 방법은 "엔뉴머러블(enumerable)"한 구조를 다룹니다. 복잡한 결정론적 다양체(예: 넓은 행렬 형태의 딥 리니어 네트워크)의 경우, 전역 조립을 위해 여전히 사후 샘플링이나 더 발전된 대수적 해법이 필요할 수 있습니다.

요약하자면, 본 논문은 고정된 체크포인트에서 훈련된 네트워크의 특이 기하학을 "읽는" 실용적인 프레임워크를 구축하였으며, 이는 전역 샘플링 방법과 상호 보완적인 상세한 개별 방향별 복잡도 지도를 제공합니다.