Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

기술 요약: 트랜스포머 잔여 흐름의 역학

문제 제기
대규모 언어 모델 (LLM) 이 놀라운 능력을 보여주고 있지만, 계산이 레이어를 통해 전파되는 메커니즘은 여전히 잘 이해되지 않고 있습니다. 회로 분석과 희소 오토인코더와 같은 기존 해석 도구들은 어떤 구성 요소가 무엇을 나타내는지 식별하지만, 교란 (perturbations) 이 레이어 간에 어떻게 증폭, 압축 또는 재지향되는지 설명하지는 못합니다. 동역학 시스템 이론은 깊이를 이산 시간으로, 잔여 흐름을 동역학 시스템으로 취급함으로써 이를 위한 형식주의를 제공합니다. 그러나 이전 분석들은 스칼라 요약, 근사 선형화, 또는 무작위 초기화 시에만 수행된 연구에 의존해 왔습니다. 결과적으로, 훈련된 생산 규모 자코비안 (Jacobian) 의 전체 스펙트럼 기하학, 특히 고유값 분포, 비정규성 (non-normality) 구조, 그리고 회전 역학은 여전히 특징화되지 않았습니다. 또한, 네트워크의 계산적 위상 (커뮤니티 구조) 과 그 동역학적 행동 간의 관계는 대규모 규모에서 검증되지 않았습니다.

방법론
저자들은 Llama 3.1 8B, OLMo 3 7B, Gemma 4 E4B 의 세 가지 생산 규모 디코더 전용 트랜스포머에 대한 완전한 스펙트럼 특징화를 수행합니다.

• 자코비안 계산: 1,000 개의 WikiText-2 샘플 전반에 걸쳐 모든 서브레이어 경계 (어텐션 전 및 MLP 전) 에서 정확한 샘플별 자코비안 ($J_\ell = \partial h_{\ell+1} / \partial h_\ell$) 을 계산합니다.
• 스펙트럼 분석: 평균 자코비안에 대해 완전한 고유분해와 특이값 분해 (SVD) 를 수행합니다. 주요 지표로는 조건수, 자기 정렬 (입력/출력 특이 부분 공간 간의 중첩), Henrici 이탈 (비정규성 측정), 그리고 확장 모드의 비율이 포함됩니다.
• 훈련 대 아키텍처 분해: OLMo 3 7B 를 사용하여 세 가지 체크포인트를 비교합니다: 단계 0 (무작위 초기화), 단계 471k, 그리고 단계 1.41M (최종 사전 훈련). 단계 0 은 아키텍처와 깊이를 공유하지만 학습된 가중치는 없으므로, 학습된 속성을 아키텍처 사전 지식과 구별하기 위한 널 모델 (null model) 로 작용합니다.
• 위상 분석: 각 레이어에 대해 활성화 상관 그래프를 구성하고, 부호화된 Leiden CPM 을 사용하여 커뮤니티로 분할합니다. 이 연구는 커뮤니티 위상 (특히 여러 커뮤니티를 연결하는 "경계 노드") 과 자코비안 역학 간의 결합을 분석합니다.
• 개입: 슈어 분해를 사용하여 자코비안의 비정규 성분 ($N_\ell$) 을 분리합니다. 스펙트럼 ($\Lambda_\ell$) 과 기저 ($Q_\ell$) 를 고정하면서 $N_\ell$을 스케일링함으로써, 저자들은 관찰된 차원 병목 현상이 고유값 스펙트럼에서 기인하는지 아니면 비정규 순방향 구조에서 기인하는지 테스트합니다.

주요 결과

1. 단조로운 비정규성 기울기:
   훈련된 모델은 연산자 유형에서 깊이 의존적인 뚜렷한 전환을 보입니다. 초기 레이어는 비정규적이고 회전 중심적인 역학이 지배적이며 (고유값의 약 98% 가 복소 켤레 쌍으로 나타남), 후기 레이어는 거의 대칭적인 연산자 쪽으로 전환됩니다. 이 기울기는 주로 학습된 것입니다; 초기화 시 (OLMo 단계 0) 에는 레이어가 이미 거의 대칭적이었으며, 훈련은 초기 및 중간 레이어를 회전 쪽으로 끌어당깁니다.

2. 누적 차원 병목 현상:
   자코비안을 끝에서 끝까지 합성하면 교란이 심하게 깔때기 모양으로 수렴하는 것이 드러납니다. Llama 3.1 8B 의 경우, 누적 자코비안의 유효 랭크가 (단일 레이어 기준) 약 436 에서 (전체 깊이 기준) 약 7 로 떨어지며, 이는 임베딩에서 로그 (logit) 까지 소수의 유효 채널만 살아남음을 의미합니다. 이 붕괴는 아키텍처적이지 않습니다 (단계 0 에서 유효 랭크는 여전히 높음) 하지만 훈련에 의해 설치됩니다. 중요하게도, 슈어 수술 실험은 스펙트럼을 보존하면서 비정규 성분 ($N_\ell$) 을 제거하면 이 병목 현상이 대부분 해소됨을 보여줍니다. 이는 깔때기 현상이 고유값이 아닌 훈련된 비정규 순방향 구조의 속성임을 나타냅니다.

3. 위상 - 역학 결합:
   이 연구는 네트워크의 커뮤니티 위상과 그 역학 사이의 학습된 결합을 확인합니다. 활성화 그래프의 여러 커뮤니티를 연결하는 단위 (경계 노드) 는 자코비안에 의해 선택적으로 증폭되거나 억제됩니다.

   • 부호 의존성: 이 결합의 부호는 지역 연산자 유형에 의해 결정됩니다. 거의 대칭적인 레이어에서는 경계 단위가 증폭되는 반면, 강한 비정규성을 가진 레이어에서는 감쇠됩니다.
   • 탄생: 이 결합은 초기화 시에는 존재하지 않으며 훈련 과정에서 단조롭게 나타납니다. OLMo 에서 FDR 유의 레이어의 수는 단계 0 에서 0 개, 단계 471k 에서 14 개, 단계 1.41M 에서 24 개로 증가합니다.

의의 및 주장
이 논문은 훈련 후 생산 규모 트랜스포머 자코비안에 대한 최초의 완전한 고유값 수준의 설명을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

• 격차 해소: 초기화 시 이론 (이러한 구조 중 어느 것도 예측하지 않음) 과 근사 선형화 (스펙트럼을 지배하는 회전 역학을 해결할 수 없음) 간의 격차를 메웁니다.
• 기작적 통찰: LLM 에서 관찰된 "차원 붕괴"가 아키텍처적 필연성이나 스펙트럼 인공물이 아닌, 비정규성에 의해 주도되는 학습된 속성임을 입증합니다.
• 위상 - 역학 연결: 네트워크의 기능적 위상 (커뮤니티 구조) 이 정적 특징일 뿐만 아니라 신호 전파와 역동적으로 상호작용하며, 이 상호작용의 성격 (증폭 대 억제) 은 레이어의 연산자 유형의 학습된 함수임을 확립합니다.

저자들은 메조 규모 커뮤니티 구조 자체가 부분적으로 아키텍처적 (초기화 시 존재) 이지만, 경계 노드와 자코비안 증폭 사이의 구체적인 결합은 학습된 현상이라고 지적합니다. 이 연구는 향후 해석 노력은 특이값 분해에만 의존하는 대신, 특히 비정규성과 회전 역학을 포함한 전체 스펙트럼 기하학을 고려해야 함을 시사합니다.