📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

이 논문은 레이어 정규화(LayerNorm) 스케일 파라미터만을 사용하여 파라미터 공간 내의 정확한 대수적 데드 디렉션(dead direction)을 식별하는, 순전파(forward-pass) 전용의 새로운 진단법을 소개하며, 이 방법은 14개의 모델에 걸쳐 고유값 분해(eigendecomposition) 없이도 특이 구조(singular structures)를 정확하게 예측하고 LayerNorm과 RMSNorm 아키텍처를 구분할 수 있음을 검증하였다.

원저자: Tejas Pradeep Shirodkar, P. J. Narayanan

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tejas Pradeep Shirodkar, P. J. Narayanan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 복잡한 머신러닝 모델(트랜스포머)을 수학 방정식으로 지어진 거대한 다층 빌딩이라고 상상해 보세요. 엔지니어들이 이 모델을 훈련할 때, 건물 이 똑바로 서서 잘 기능하도록 만들기 위해 수십억 개의 미세한 조절 나사(파라미터)를 조정합니다.

이 논문은 이 빌딩 내부를 들여다보고 "죽은 방향(dead directions)"을 찾아내는 새로운 방법을 소개합니다.

"죽은 방향"이란 무엇인가?

모델의 파라미터를 언덕과 골짜기가 있는 지형이라고 생각해 보세요. 보통 모델을 어떤 방향으로든 약간 밀면 그 작동 방식이 변합니다. 하지만 이 "죽은 방향"에서는 지형이 완전히 평평합니다. 만약 모델을 죽은 방향으로 밀더라도 아무 일도 일어나지 않습니다. 이는 마치 얼어붙은 호수 위를 걷는 것과 같습니다. 당신은 계속 미끄러지면서도 경로가 바뀌거나 가라앉지 않을 것입니다.

이런 방향을 찾는 것은 대개 어렵습니다. 일반적으로 모델을 수천 개의 테스트 케이스를 통해 실행하거나, 결과에 대해 복잡한 수학 연산을 수행하거나, 모델이 어떻게 학습하는지 시뮬레이션해야 합니다. 이는 벽에 숨겨진 금을 찾기 위해 벽을 수천 번 두드려 보는 것과 같습니다.

위대한 발견: "마법의 나침반"

저자들은 지름길을 찾아냈지만, 이는 LayerNorm(AI의 표준 도구)이라는 특정 구성 요소를 사용하는 모델에 대해서만 유효합니다.

그들은 이러한 죽은 방향을 찾기 위해 모델을 실행하거나 무거운 수학 연산을 할 필요가 없다는 것을 발견했습니다. 단지 모델 설정 안에 있는 특정한 숫자 하나, 즉 "감마( $\gamma$ )" 파라미터만 확인하면 됩니다.

비유: LayerNorm 구성 요소에는 숫자가 적힌 다이얼이 있다고 상상해 보세요. 저자들은 이 숫자들의 역수(뒤집어서)를 구하고 이를 정규화하기만 하면, 죽은 방향을 직접 가리키는 완벽한 지도를 얻을 수 있다는 것을 발견했습니다.
마법: 이 지도는 즉시 읽을 수 있습니다. 포워드 패스(모델 실행), 백워드 패스(오차 계산), 혹은 복잡한 고윳값 분해(eigen-decompositions)가 전혀 필요하지 않습니다. 이는 집을 짓기도 전에 설계도를 보고 바로 약점을 알아내는 것과 같습니다.

두 가지 유형의 건물

논문은 이 방법을 14개의 서로 다른 대규모 모델(텍스트용 및 이미지용 포함)에 대해 테스트했습니다. 여기서 명확한 차이가 발견되었습니다.

LayerNorm 모델 (지도가 있는 모델): LayerNorm을 사용하는 9개 모델 모두에서 "마법의 나침반"이 완벽하게 작동했습니다. 이 단순한 숫자가 예측한 방향은 무거운 수학 연산으로 찾은 실제 죽은 방향과 소수점 넷째 자리까지 일치했습니다. 완벽한 일치였습니다.
RMSNorm 모델 (지도가 없는 모델): RMSNorm이라는 다른 도구를 사용하는 5개 모델에서는 이 기술이 작동하지 않았습니다. 숫자를 확인하는 것만으로는 찾을 수 있는 보편적인 죽은 방향이 존재하지 않았습니다. 이는 RMSNorm이 LayerNorm에서 죽은 방향을 만들어내는 특정 수학적 "투영체(projector)"를 결여하고 있기 때문이며, 이는 논리적으로 타당합니다.

훈련할 때 어떤 일이 일어나는가?

논문은 모델이 학습함에 따라 어떤 일이 일어나는지도 살펴보았습니다.

시작 단계 (무작위 상태): 죽은 방향은 아키텍처(설계도) 때문에 존재하며, "마법의 나침반"은 이를 즉시 찾아냅니다.
훈련 후: 모델은 그 방향으로 더욱 "평평해집니다." 죽은 방향은 깊은 협곡이 됩니다. 무작위 시작 상태와 훈련된 모델 사이의 격차는 훈련 과정이 이러한 평평한 지점들을 얼마나 더 깊게 만들었는지를 보여줍니다.

빌딩을 위한 안전 점검

저자들은 또한 "잔차 스트림(residual stream)"(건물을 통과하는 정보가 흐르는 주요 복도)이 강력하게 유지되는지 확인하기 위해 이 방법을 사용했습니다.

규칙: 건강한 건물이라면, 복도의 "가장 약한 지점"은 층을 올라갈수록 더 약해져서는 안 됩니다.
결과: 14개 모델 중 13개에서 이 규칙이 성립되었습니다. 복도는 강하게 유지되었습니다.
예외: 한 모델(Gemma 4-31B)에서는 복도가 실제로 약해지는 진짜 "죽은 방향"이 발견되었습니다. 저자들의 방법은 이것이 단순한 측정 오류가 아니라 해당 모델의 실제 구조적 문제임을 즉각적으로 지목했습니다.

이것이 왜 중요한가 (논문에 따르면)

비용이 들지 않습니다: 모델의 파라미터를 읽는 것만으로 모델의 "특이 구조(singular structure)"(평평한 지점들)를 진단할 수 있습니다. 무거운 계산이 필요하지 않습니다.
분류기 역할을 합니다: 이 "마법의 나침반"이 작동하는지 여부를 통해 모델이 LayerNorm을 사용하는지 RMSNorm을 사용하는지 알 수 있습니다.
진단 도구입니다: 만약 이 나침반이 실패하거나 복도가 약해지는 모델을 발견한다면, 이는 조사할 가치가 있는 잠재적인 구조적 이상 징후를 나타냅니다.

요약하자면, 이 논문은 다음과 같이 말합니다. "만약 당신이 LayerNorm 모델을 가지고 있다면, 모델을 실행할 필요 없이 죽은 방향(가장 약하고 평평한 방향)을 찾을 수 있습니다. 그저 숫자 하나를 보고, 뒤집기만 하면 답을 얻을 수 있습니다."

기술 요약: LayerNorm 트랜스포머의 대수적 데드 디렉션 (Algebraic Dead Directions)

문제 정의
사전 학습된 트랜스포머는 손실 함수 지형(loss landscape)의 특이 최소점(singular minima) 근처에서 작동하며, 이 지점에서 피셔 정보 메트릭(Fisher information metric)은 파라미터 공간 내의 특정 "데드 디렉션(dead directions)"을 따라 퇴화한다. 이 방향을 따라 손실은 평탄하며, 방향성 피셔 정보는 소멸한다. 이러한 방향을 식별하는 것은 모델 기하학과 특이 학습 이론(singular learning theory)을 이해하는 데 매우 중요하지만, 기존 방법들은 계산 비용이 많이 들거나 간접적이다. 데드 디렉션을 찾는 작업은 일반적으로 순전파(forward pass)와 결합된 활성화 함수의 고유값 분해, 샘플링 기반의 복잡도 추정(예: 국소 학습 계수, Local Learning Coefficient), 또는 광범위한 그래디언트 접근을 필요로 한다. 결정적으로, 현재까지 어떤 방법도 순전파나 역전파 없이 오직 네트워크의 파라미터만을 통해 계산할 수 있는 구체적인 데드 디렉션을 제공하지 못했다.

방법론
본 논문은 KFAC(Kronecker-factored approximate curvature) 분해를 통해 데드 디렉션을 도출하는 Shirodkar(2026)의 프레임워크를 기반으로, LayerNorm(LN) 트랜스포머에 대한 폐쇄형 진단법(closed-form diagnostic)을 개발한다. 핵심 통찰은 LayerNorm의 순전파 맵에 내재된 평균 차감 투영기(mean-subtraction projector)가 포스트 노멀라이제이션(post-normalization) 활성화 공분산의 특정 커널 방향을 대수적으로 강제한다는 점이다.

저자들은 모든 LayerNorm 탑재 트랜스포머에 대해, LayerNorm 아핀 파라미터의 역스케일 방향인 $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ 가 임의의 입력 분포에 대해 포스트 파이널 노름 중심 활성화 공분산의 정확한 대수적 커널임을 제안한다. 이 방향은 학습된 스케일 파라미터 $\gamma$ 로부터 직접 읽을 수 있다.

본 방법론은 14개의 사전 학습된 트랜스포머(160M에서 35B 파라미터에 이르는 언어 및 비전 모델, LayerNorm 및 RMSNorm 포함)를 대상으로 세 가지 주요 진단 테스트를 수행한다:

대수적 베이스라인 검증: 무작위 초기화 상태에서, 예측된 방향 $v^*$ 를 활성화 공분산의 하단 특이 방향( $u_\perp$ )과 비교한다.
노름 측의 이분법 (Norm-Side Dichotomy): 이 보편적인 커널 방향의 존재 여부를 사용하여 정규화 방식(LayerNorm vs. RMSNorm)을 분류한다.
학습 유도 간극 (Training-Induced Gap): 슈어 비율(Schur ratio) $R(h)$ 와 그 보충 항인 $\Delta_\gamma = 1 - R(h)$ 를 측정하여, 훈련 후 실제 데드 디렉션이 건축적 베이스라인에 비해 얼마나 더 깊어지는지 정량화한다.
깊이 불변성 (Depth-Invariance): 아이덴티티 스킵 연결(identity skip connections)과 비상쇄 가설(non-cancellation hypothesis)로부터 유도된 성질인, 잔차 스트림(residual stream)의 최소 특이값( $\sigma_{\min}$ )이 블록 간에 보존되는지 테스트한다.

모든 측정은 그래디언트 접근이나 샘플링 체인 없이, 수치적 노이즈 플로어를 피하기 위해 fp64 중심 공분산 누적을 사용하여 단일 순전파만으로 수행된다.

주요 기여

LayerNorm을 위한 대수적 데드 디렉션: 모든 LayerNorm 트랜스포머에 대해 방향 $\gamma^{-1}/\|\gamma^{-1}\|$ 가 포스트 파이널 노름 중심 활성화 공분산의 데드 디렉션임을 증명하고 실증적으로 검증한다. 이 방향은 순전파 없이 아핀 파라미터 $\gamma$ 만으로 읽을 수 있다.
RMSNorm의 음의 차별성: 평균 차감 투영기가 없는 RMSNorm은 $\gamma$ 에만 의존하는 그러한 보편적 데드 디렉션을 갖지 않음을 증명한다. 이는 두 정규화 유형 사이의 엄격한 대수적 이분법을 생성한다.
잔차 스트림 $\sigma_{\min}$ 의 깊이 불변성: 비상쇄 가설 하에서 잔차 스트림의 최소 특이값은 블록 간에 감소할 수 없다( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ )는 폐쇄형 추론을 제시한다.
슈어 비율 진단법: 건축적 베이스라인(무작위 초기화)과 훈련된 특이 구조 사이의 간극을 측정하는 정량적 지표( $\Delta_\gamma$ )를 도입한다. 이 간극은 축적된 특이 구조를 진단하는 순전파 전용 진단 도구 역할을 한다.

결과
예측은 다양한 목적(다음 토큰 예측, 이미지 분류, 자기 지도 학습)을 가진 14개의 모델(LayerNorm 9개, RMSNorm 5개)에서 테스트되었다.

대수적 일치: 무작위 초기화 시, 예측된 방향 $\gamma^{-1}/\|\gamma^{-1}\|$ 는 모든 9개의 LayerNorm 모델에서 측정된 하단 특이 방향과 네 자리 소수점까지 일치하였다( $|\cos| \ge 0.9999$ ). 평균 정렬도는 0.99999였다.
RMSNorm의 부재: 5개의 RMSNorm 모델은 $\gamma$ 유도 방향과 어떠한 정렬도 보이지 않았으며( $|\cos| \le 0.10$ ), 무작위 방향의 영점(null)에 위치함을 확인했다.
학습 간극: 훈련된 체크포인트에서 슈어 비율 $\Delta_\gamma$ 는 모든 모델 크기에 걸쳐 $\approx 1$ 로 포화되었으며, 이는 훈련이 LayerNorm에 의해 설정된 건축적 베이스라인보다 약 $10^3$ 배 더 깊은 데드 디렉션을 형성함을 나타낸다.
깊이 불변성: $\sigma_{\min}$ $σ_{m i n}$ 깊이 불변성은 자체 입력 분포에서 읽었을 때 14개 모델 중 13개에서 성립했다.
- 유일한 예외인 Gemma 4-31B는 잔차 스트림의 $\sigma_{\min}$ 이 출력에서 약 18배 감소하는 진정한 내재적 데드 디렉션을 보여주었다.
- 다른 Gemma 4 변체인 Gemma 4-E4B는 텍스트 전용 캘리브레이션 하에서 하락을 보였으나, 멀티모달(텍스트+이미지+오디오) 캘리브레이션 하에서는 사라졌으며, 이를 통해 이것이 분포 관련 데드 디렉션이지 내재적 데드 디렉션이 아님을 식별했다.
동적 검증: Pythia-1B 훈련 궤적에서 $\sigma_{\min}$ 비율은 매 단계마다 $\ge 1$ 을 유지했으며, $\gamma$ 가 분산됨에 따라 예측 커널과의 정렬도 높은 상태( $\ge 0.998$ )를 유지했다. 이는 예측이 초기화가 아닌 학습된 $\gamma$ 를 추적함을 확인시켜 준다.

의의 및 주장
본 논문은 순전파나 역전파 없이 단일 파라미터( $\gamma$ )의 검사만으로 가능한, LayerNorm에 특화된 "가장 저렴한 데드 디렉션 판독법"을 제공한다고 주장한다. 이를 통해 실무자는 다음을 수행할 수 있다:

데드 서브스페이스 식별: 샘플링이나 그래디언트 접근 없이 동결된 모델에서 데드 디렉션을 탐지한다.
아키텍처 분류: 파라미터만을 통해 사전 학습된 모델의 정규화 방식(LN vs. RMSNorm)을 결정한다.
병리 현상 진단: $\sigma_{\min}$ 깊이 프로파일을 사용하여, 수치적 노이즈 플로어 때문에 표준 파이프라인이 놓칠 수 있는 아키텍처적 이상 징의(예: Gemma 4의 MLP 국소 붕괴)를 실시간으로 감지한다.
설계 정보 제공: 새로운 정규화 방식이 $\gamma$ 유도 보편 커널을 가질지 예측하는 구조적 테스트를 제공한다.

저자들은 본 프레임워크가 건축적으로 보장된 데드 디렉션(LayerNorm의 무작위 초기 시점에 존재하는)과 훈련에 의해 유도된 데드 디렉션(LN 및 RMSNorm 모델 모두에서 커널을 심화시키는)을 구분한다는 점을 강조한다. 이 두 상태 사이의 간극은 훈련 과정 동안 축적된 특이 구조에 대한 진단 역할을 한다. 본 논문은 Gemma 4의 이상 현상의 기원을 해결한다고 주장하는 것이 아니라, 이를 MLP 서브 레이어로 국소화하고 캘리브레이션 아티팩트와 구별하는 데 성공했다.