기술 요약: 딥 트랜스포머 매니폴드에서의 잠재적 객체 영속성 (Latent Object Permanence in Deep Transformer Manifolds)

1. 문제 제기

본 논문은 대규모 언어 모델(LLM)의 해석 가능성에 존재하는 근본적인 간극을 다룬다. 잠재 공간(latent spaces)은 흔히 연속적인 의미론적 장(semantic fields)으로 모델링되지만, 다단계 추론에는 이산적인 연산(부정, 양화, 변수 바인딩 등)이 필요하다. 저자들은 심층 트랜스포머가 연속적인 표현을 안정적이고 재사용 가능한 단위로 이산화하는 메커니즘을 자발적으로 구현하는지 조사한다. 저자들은 이러한 이산화가 네트워크 깊이에 따른 잠재 활성화 매니폴드(latent activation manifold)의 기하학적 **상전이(phase transition)**를 통해 발생한다고 가설을 세운다. 구체적으로, 충분히 큰 모델은 고엔트로피 "액체(liquid)" 상태(확산된 중첩)에서 저엔트로피 "고체(solid)" 상태(객체 영속성을 지원하는 안정적인 분지)로 전이된다고 제안한다.

2. 방법론 및 프레임워크

저자들은 트랜스포머의 깊이 $L$을 이산 시간 변수 $\gamma = l/L \in [0, 1]$로 정형화한다. 이들은 잔차 스트림(residual stream) $h^{(l)}$과 그 공분산 행렬 $C^{(l)}$의 진화를 세 가지 주요 관점에서 분석한다.

2.1 어텐션의 열역학

저자들은 통계 물리학을 사용하여 어텐션 메커니즘을 모델링한다.

• 자유 에너지 원리 (Free-Energy Principle): 어텐션 가중치는 자유 에너지 범함수 $F(p) = \sum p_j E_j + \frac{1}{\beta} \sum p_j \log p_j$를 최소화하는 것으로 나타난다. 여기서 $E_j$는 쿼리-키(query-key) 내적에서 유도된 에너지 항이다.
• 냉각 효과 (Cooling Effect): 역온도 $\beta$는 아키텍처에 의해 고정되어 있지만, 저자들은 깊이가 깊어짐에 따라 쿼리와 키의 크기가 커지는 것이 시스템을 실질적으로 "냉각"시킨다고 주장한다. 이는 엔트로피 항의 상대적 중요성을 감소시켜, 시스템이 저엔트로피의 날카로운 선택(결정화, crystallization)으로 나아가도록 유도한다.

2.2 기하학적 및 스펙트럼 분석

• 질서 매개변수 (Order Parameter): 저자들은 **객체 무결성(Object Integrity, $\Omega$)**을 희소성 유사 지표로 정의한다: $\Omega(h) = 1 - \frac{\|h\|_1}{\sqrt{d}\|h\|_2}$. 높은 $\Omega$는 희소하고 "객체와 같은" 벡터를 나타내며, 낮은 $\Omega$는 확산되고 중첩된 벡터를 나타낸다.
• 스펙트럼 밀도 (Spectral Density): 공분산 행렬의 고윳값 스펙트럼 $\rho_l(\lambda)$를 분석하여 이를 마르첸코-파스투르(Marchenko–Pastur, MP) 분포(구조화되지 않은 노이즈의 귀무 모델)와 비교한다.
• 재규격화 그룹(Renormalization Group, RG) 비유: 깊이는 단거리 상관관계(국소적 구문)를 통합(integrate out)하고 장거리 연산자를 안정화하는 RG 흐름으로 취급된다.

2.3 이론적 정형화

본 논문은 이 "고체" 상의 출현에 대한 엄밀한 수학적 조건을 제공한다.

• 횡단 수축 (Transverse Contraction, 정리 6.1): 만약 선형화된 역학이 횡단 부분 공간(transverse subspace)의 무관한 방향을 $q < 1$의 비율로 수축시킨다면, 횡단 공분산이 지수적으로 감소하여 스펙트럼 붕괴(spectral collapse)로 이어진다는 것을 증명한다.
• 혼합 모델 (Mixture Model, 정리 6.3): 잠재 상태가 $k$개의 이산적 프로토타입 주변에 클러스터링되는 경우(혼합 모델), 공분산 행렬이 반드시 저계수(low-rank) 구조(등방성 노이즈 위의 신호 고윳값이 최대 $k-1$개)를 가짐을 입증한다.

3. 주요 기여

1. 상전이 가설: 심층 트랜스포머가 대칭성 깨짐이 발생하는 임계 깊이 분율 $\gamma_c \approx 0.42$를 보이며, 역학이 "액체"(고엔트로피, MP 유사 벌크)에서 "고체"(저엔트로피, 스펙트럼 갭 존재) 체제로 전환된다는 가설을 제안한다.
2. 일시적 클래스 객체 (Transient Class Objects, TCOs): 추론 단계 전반에 걸쳐 변수나 개념의 안정적인 표현을 지원하는 잠재 매니폴드 내의 안정적인 분지를 공식적으로 정의한다. TCO는 근사적 불변성, 횡단 수축, 클래스 안정성을 특징으로 한다.
3. 이론적 보장:
   • 횡단 수축을 통한 스펙트럼 붕괴의 충분 조건 증명.
   • 이산적 클래스 구조(논리적 분리 가능성)가 특정 멱법칙 가정과 무관하게 저계수 스파이크 공분산(low-rank spiked covariance)을 함의함을 엄밀히 증명.
4. 열역학적 해석: 어텐션 가중치의 날카로워짐을 "냉각" 과정과 연결하여, 어텐션을 자유 에너지 최소화로 규정하는 변분적 특성을 제시한다.

4. 결과

저자들은 1.5B에서 30B+ 파라미터에 이르는 다양한 모델(Qwen, Gemma, Llama 및 추론 특화 30B 모델 포함)을 분석한다.

• 임계 깊이 ($\gamma_c$): 객체 무결성 질서 매개변수 $m(\gamma)$의 경험적 분석 결과, 대규모 모델(예: 30B)에서 $\gamma \approx 0.42$ 근처에서 $\Omega$가 급격히 증가(예: ~0.69에서 ~0.90으로)하는 급격한 도약을 발견했다. 중간 규모 모델은 유사하지만 더 작은 전이를 보이며, 소규모 모델은 실질적인 임계치를 넘지 못하고 "액체" 영역에 머문다.
• 이봉성 (Bimodality): 유능한 모델에서는 $\Omega$의 분포가 이봉성을 띠는데, 이는 배경으로부터 분리된 고무결성 객체의 뚜렷한 "고체" 밴드가 존재함을 나타낸다. 소규모 모델은 단봉성을 유지한다.
• 스펙트럼 이상 현상: 임계 층 이후의 대규모 모델에서는 다음과 같은 현상이 나타난다:
  • 유효 계수(effective rank) 및 참여도(participation ratio)의 감소.
  • 마르첸코-파스투르 벌크에서 벗어난 스펙트럼 꼬리(spectral tails)와 저계수 신호 구조와 일치하는 "스파이크"(이상 고윳값)의 출현.
• 스케일링: 전이 진폭은 모델 크기에 따라 스케일링되며, 이는 "고체" 상이 규모에 따른 창발적 속성임을 시사한다.

5. 의의 및 주장

본 논문은 잠재 공간의 기하학적 상전이를 통해 창발적 추론 능력을 연결하는 수학적으로 명시적인 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 메커니즘의 통합: LLM이 어떻게 이산적 추론을 달성하는지 설명하기 위해 열역학적 원리(자유 에너지), 랜덤 행렬 이론(스펙트럼 스파이크), 그리고 재규격화 그룹 흐름(차원 축소)을 연결한다.
• 객체 영속성 설명: 얕은 층의 "특징 중첩(feature superposition)" 관점을 넘어, 모델이 다단계 체인 전반에 걸쳐 변수나 개념의 안정적인 표현을 어떻게 유지하는지(TCOs)에 대한 메커니즘을 제공한다.
• 예측 진단: 임계 깊이 $\gamma_c$와 스펙트럼 갭의 출현이 모델의 복잡한 추론 역량을 나타내는 운영적 진단 도구가 될 수 있음을 제안한다.

저자들은 자신의 연구를 완전한 인지 이론이라기보다 "충분 조건" 및 "진단적 가설"로서 겸허하게 규정한다. 이들은 "고체" 상이 깊이와 규모의 기하학적 결과물이며, 다단계 추론에 필요한 논리적 분리 가능성을 용이하게 한다고 강조한다.