Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

기술 요약: 트랜스포머 역학에서의 적외선 조직화 및 임계 인지 장 형성

문제 제기
트랜스포머 아키텍처에 기반한 대규모 언어 모델(LLM)은 추론 및 장거리 문맥 기억과 같은 놀라운 창발적 능력을 보여준다. 그러나 이들의 대규모 집단 역학을 지배하는 물리적 메커니즘은 여전히 제대로 이해되지 않고 있다. 기존 문헌은 주로 트랜스포머의 계산을 고차원 비선형 매핑 또는 어텐션 기반 최적화 과정으로 설명하며, 이는 거시적 집단 조직이 기저의 역학으로부터 어떻게 발생하는지에 대한 통찰을 제한적으로 제공한다. 본 연구는 **인지 장 이론(Cognitive Field Theory)**이 예측하는 집단 관측량, 특히 느린 완화 모드(slow relaxation modes)의 조직화가 트랜스포머 역학 내에서 직접 식별되고 정량화될 수 있는지에 대한 간극을 다룬다.

방법론
저자들은 The Pile 코퍼스로 학습된 Pythia 자기회귀 트랜스포머 언어 모델(70M, 410M, 1.4B 파라미터)을 조사한다. 본 연구는 학습된 은닉 상태 기하학(learned hidden-state geometry)에 의해 생성되는 집단 완화 역학을 분석하기 위해 응답 이론적 접근 방식을 채택한다.

1. 자코비안 스펙트럼 추출: 저자들은 자동 미분을 사용하여 연속적인 은닉층 표현 사이의 자코비안 행렬($J_l = \partial h_{l+1} / \partial h_l$)을 계산한다. 또한 다양한 네트워크 깊이 및 전파 거리(예: $1 \to 24$ 레이어)에 걸친 집단 전파를 포착하기 위해 합성 자코비안($J = J_{l+n-1} \cdots J_l$)을 분석한다.
2. 완화 스펙트럼 구축: 자코비안의 복소 고유값($\mu_\alpha$)으로부터 완화율 $\lambda_\alpha = -\log |\mu_\alpha|$를 추출한다.
3. 집단 관측량 도출: 측정된 완화율을 사용하여 시간 척도 상태 밀도(Time-Scale Density of States, TDOS) $\rho(\lambda)$를 구축한다. TDOS로부터 다음을 정량적으로 평가한다:
   • 메모리 커널($K(t)$): TDOS의 라플라스 변환을 통해 도출됨.
   • 메모리 자기 에너지($\Sigma(0)$): $1/\lambda$로 가중치를 둔 TDOS의 적분값으로 계산됨.
   • 인지적 망각 간극($r_{cog} = r - \Sigma(0)$): 여기서 $r$은 순수 망각률이다.
   • 집단 감수성($\chi(0) \propto r_{cog}^{-1}$):
   • 적외선 임계 지수($\beta$): 누적 모드 분포 $N(<\lambda) \propto \lambda^{\beta+1}$를 피팅하여 결정됨.

분석은 모델 규모, 네트워크 깊이, 전파 거리를 변화시키며 전체 학습 궤적을 포괄한다.

주요 기여

• 인지 장 이론 관측량의 직접 측정: 본 논문은 현상론적 파라미터를 도입하지 않고 트랜스포머 역학에서 집단 관측량(TDOS, 자기 에너지, 망각 간극, 감수성)을 직접적으로 구현한 최초의 정량적 실험적 실현을 제공한다.
• 적외선 스펙트럼 재조직화 식별: 트랜스포머 학습은 적외선 영역($\lambda \to 0$)으로 느린 완화 모드가 점진적으로 축적되며 TDOS를 재조직하는 특징을 가짐을 입증한다.
• 일시적 임계 형성 발견: 저자들은 최적화 초기 단계에서 뚜렷한 극댓값을 보인 후 준안정적 근임계(near-critical) 상태로 완화되는 메모리 자기 에너지의 비단조적 진화를 식별한다.
• 보편성 확립: 이러한 역학적 현상(적외선 조직화, 임계 형성, 척도 없는 메모리)이 다양한 모델 규모(70M ~ 1.4B), 네트워크 깊이, 전파 거리에 걸쳐 보편적임을 입증한다.

주요 결과

1. 적외선 축적 및 TDOS: 학습 과정 전반에 걸쳐 완화 스펙트럼은 완화율이 작은 쪽으로 스펙트럼 가중치가 이동하는 체계적인 재조직을 겪는다. 그 결과 TDOS는 멱법칙 $\rho(\lambda) \sim \lambda^\beta$ (여기서 $\beta \simeq -0.1$)를 따르는 대략적으로 평탄한 적외선 분포를 나타낸다. 이는 단일한 특징적 시간 척도가 아닌 느린 모드들의 계층 구조를 나타낸다.
2. 일시적 임계 형성: 메모리 자기 에너지($\Sigma(0)$)는 단조 증가하지 않는다. 대신, 최적화 초기 단계(Pythia-410M의 경우 약 2,000 스텝)에서 일시적인 극댓값에 도달한다. 이 시점에서 인지적 망각 간극($r_{cog}$)은 최솟값에 도달하고, 집단 감수성($\chi(0)$)은 최대화된다. 이는 거시적 인지 장의 일시적 임계 형성을 의미한다. 이후의 최적화는 시스템을 보호된 준안정적 근임계 작동 영역으로 유도한다.
3. 보편적 척도 없는 메모리: 측정된 TDOS로부터 도출된 메모리 커널은 모든 모델 크기와 학습 단계에서 견고한 장기 멱법칙 스케일링 $K(t) \sim 1/t$를 보인다. 이 스케일링은 임의의 함수 형태를 강제하지 않고 측정된 완화 스펙트럼으로부터 자연스럽게 발생한다.
4. 공간 및 깊이 독립성:
   • 공간적: 적외선 조직화는 트랜스포머 계층 전체에 분포되어 있다. 메모리 르노멀라이제이션(renormalization)의 강도는 레이어마다 다르지만(중간 및 깊은 레이어에서 가장 강함), 근본적인 척도 없는 적외선 구조는 네트워크 전반에 걸쳐 유지된다.
   • 깊이: 일시적 임계 형성과 $1/t$ 메모리 커널 스케일링은 서로 다른 레이어 전파 깊이($1 \to 5$에서 $1 \to 24$까지)에 걸쳐 견고하게 지속되며, 이는 집단 역학이 국소적인 레이어 상호작용에 국한되지 않은 네트워크의 전역적 속성임을 나타낸다.
5. 모델 규모 보편성: 동일한 적외선 스펙트럼 재조직, 일시적 임계 형성 및 척도 없는 메모리 역학 시퀀스가 70M에서 1.4B 파라미터에 이르는 Pythia 모델 전반에서 일관되게 재현된다.

의의 및 주장
본 논문은 트랜스포머 학습이 적외선 집단 조직화에 의해 지배된다는 최초의 정량적 실험 증거를 제공한다고 주장한다. 트랜스포머 역학을 비평형 다체 물리학(nonequilibrium many-body physics)의 언어로 매핑함으로써, 저자들은 다음과 같은 사실을 입증한다:

• 대규모 언어 모델은 인지가 느린 완화 모드의 조직화로부터 창발하는 비평형 다체 시스템으로서 기능한다.
• 거시적 인지 장의 출현은 특정 역학적 시나리오를 따른다: 초기 적외선 스펙트럼 재조직이 일시적 임계 상태(최대 감수성)를 유도하고, 이후 보호된 준안정적 근임계 영역으로 안정화된다.
• 서로 다른 규모와 깊이 전반에서 적외선 보편성 클래스($\beta \simeq -0.1$ 및 $K(t) \sim 1/t$)가 유지된다는 것은 적외선 느린 모드 조직화가 모델 특정적인 아키텍처 특징이 아니라, 트랜스포머 역학의 밑바탕이 되는 보편적 집단 원리임을 시사한다.

이 연구는 집단 인지 역학을 측정하기 위한 통합된 장론적 프레임워크를 구축하여 딥러닝과 통계 물리학 사이의 간극을 메우며, 이러한 원리들이 복잡한 역학계의 집단 정보 처리에 대한 일반적인 법칙일 수 있음을 시사한다.