1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 일반적으로 다음 토큰 예측 (NTP) 목적 함수로 훈련됩니다. 이론적으로 모델은 오직 다음 토큰을 예측하는 데 필요한 정보만 내부 표현 (hidden representations) 에 담아야 합니다. 그러나 최근 연구들은 트랜스포머가 입력 텍스트의 추상적 특징을 재구성하거나, 데이터 생성 과정의 고수준 구조를 추론하여 '세계 모델 (world models)'을 형성하고, 심지어 여러 토큰 앞을 예측하는 등 NTP 에 직접적으로 필요하지 않은 (NTP-useless) 특징들을 학습한다는 것을 보여줍니다.
기존의 기계적 해석 (mechanistic interpretability) 연구는 훈련된 모델의 알고리즘 내에서 이러한 특징들이 어떤 역할을 하는지 (목적론적 관점) 에 초점을 맞추었지만, 훈련 과정에서 어떤 그래디언트 신호가 이러한 특징들의 출현을 유도하는지에 대해서는 충분히 연구되지 않았습니다.

2. 방법론 (Methodology)

저자들은 정보 흐름의 구조를 분석하여 NTP 훈련 중 그래디언트 신호가 모델 파라미터에 전달되는 세 가지 경로를 정의하고, 이를 통해 특징 학습의 원인을 추적하는 프레임워크를 제안했습니다.

2.1 정보 흐름 분해 (Information Flow Decomposition)

특정 위치 $i$와 레이어 $k$의 잔여 스트림 (residual stream) $r^k_i$에 도달하는 그래디언트 신호를 세 가지로 분류합니다 (그림 1 참조):

1. 직접 학습 (Direct Learning): 위치 $i$의 표현이 바로 다음 토큰 ($i+1$) 예측에 기여하여 발생하는 그래디언트. 이는 NTP 에 직접적으로 유용한 특징 학습의 원천입니다.
2. 프리캐싱 (Pre-caching): 위치 $i$의 정보가 미래 위치 ($j > i+1$) 의 예측 손실에 영향을 미쳐, 해당 미래 위치의 그래디언트가 역전파되어 $i$의 표현을 업데이트하는 경로입니다. 이는 "앞을 내다보는 (look-ahead)" 특징 학습을 가능하게 합니다.
3. 회로 공유 (Circuit Sharing): Transformer 블록은 모든 위치에서 동일한 파라미터를 공유하므로, 특정 위치 $j$에서 학습된 특징이 다른 위치 $i$의 파라미터 업데이트에도 영향을 미치는 현상입니다.

2.2 실험적 검증 기법

• Ablation (제거 실험):
  • Myopic Training: 프리캐싱을 차단하기 위해, 현재 위치와 미래 위치 간의 그래디언트 흐름을 차단하는 훈련 방식입니다.
  • m-untied Training: 회로 공유를 차단하기 위해, 모델의 파라미터를 위치별 (또는 구간별) 로 분리하여 훈련하는 방식입니다.
• Influence Estimation (영향도 추정):
  • 훈련 중 각 단계에서 그래디언트 성분 (직접, 프리캐싱, 공유) 이 특정 특징의 형성 (feature mismatch 감소) 에 기여하는 정도를 정량화하는 '영향도 (Influence)' 지수를 정의합니다.
  • 대규모 모델 (LLM) 의 경우 전체 훈련 궤적을 재현하기 어렵기 때문에, 훈련된 모델에서 특징을 조작 (ablation/steering) 하여 즉각적 예측과 미래 예측에 미치는 영향을 비교하는 지수 $Q(w)$를 제안합니다.

3. 주요 결과 (Key Results)

3.1 소규모 모델 및 토이 태스크 (Toy Tasks)

• Majority/Conditioned Majority 태스크: NTP 에 불필요한 특징 (예: 현재까지의 빈도수, 이전 토큰 정보) 이 학습되려면 프리캐싱과 회로 공유가 필수적임이 확인되었습니다. 프리캐싱을 차단한 'Myopic' 모델은 이러한 특징을 학습하지 못하거나 매우 취약하게 학습했습니다.
• OthelloGPT (세계 모델): 바둑판 상태 중 다음 수에 직접 영향을 주지 않는 칸 (NTP-useless) 들도 학습되지만, 직접적인 수 (NTP-useful) 들보다는 표현력이 낮았습니다. 이는 프리캐싱과 공유 그래디언트가 NTP-useless 특징에도 학습 신호를 제공하기 때문이며, 이로 인해 OthelloGPT 의 세계 모델이 취약할 수 있음을 설명합니다.

3.2 소형 언어 모델 (Small Language Model)

• 구문 (Syntax) vs 문맥 (Context): POS 태그나 의존성 태그 같은 단순 구문 정보는 프리캐싱 없이도 (Myopic) 잘 학습됩니다. 반면, 이야기의 전체적인 흐름이나 위치 정보 (Positional feature) 와 같은 고수준 문맥 정보는 프리캐싱이 필수적입니다.

3.3 대규모 언어 모델 (Gemma 2)

• 공식 추론 (Formal Reasoning) 과 프리캐싱: Gemma 2 모델의 특징 (SAE features) 을 분석한 결과, $Q(w)$ 값이 극단적으로 높은 (즉, 미래 토큰 예측에 큰 영향을 미치는) 특징들은 주로 코드 (Code), 프로그래밍, 수학 등 형식적 추론과 관련된 영역에 집중되어 있었습니다.
• Look-ahead 현상의 재해석: Wu et al. (2024) 의 가설과 달리, 미래 토큰 예측 능력 (Look-ahead) 은 오직 프리캐싱된 특징들 때문이 아니라, 서로 다른 위치에서 예측에 필요한 특징들의 유사성 (breadcrumbs hypothesis) 에서 비롯된다는 것을 발견했습니다. 즉, 프리캐싱 특징이 Look-ahead에 기여하는 정도는 직접적인 특징보다 낮았습니다.

4. 주요 기여 (Key Contributions)

1. 이론적 설명: NTP 훈련을 받는 트랜스포머가 왜 당장 필요하지 않은 복잡한 특징을 학습하는지에 대한 그래디언트 기반의 설명 (직접 학습, 프리캐싱, 회로 공유) 을 제시했습니다.
2. 추적 방법론: 특정 특징의 발달에 기여한 그래디언트 성분 (직접, 프리캐싱, 공유) 을 정량적으로 추적하고 분류하는 새로운 방법론을 제안했습니다.
3. 새로운 통찰:
   • OthelloGPT 의 세계 모델 취약성을 그래디언트 신호의 부재로 설명.
   • 텍스트 생성에서 프리캐싱이 문법적 구조가 아닌 고수준 문맥 이해에 필수적임을 규명.
   • 대규모 LLM 에서 형식적 추론 (코드 등) 특징이 강한 프리캐싱 특성을 보임을 발견.

5. 의의 (Significance)

이 연구는 기계적 해석학의 관점을 정적 (static) 인 목적론적 관점에서 동적 (developmental) 인 관점으로 전환시켰습니다. 즉, "특징이 최종 알고리즘에서 어떤 역할을 하는가"가 아니라, "어떤 그래디언트 신호가 훈련 과정에서 그 특징을 만들어내는가"를 분석함으로써, 모델이 어떻게 학습되는지에 대한 깊은 이해를 제공합니다. 또한, 모델의 훈련 방식을 변경하거나 (Myopic training 등) 훈련된 모델의 내부 상태를 조작하여 특징의 기원을 추적하는 방법론은 향후 LLM 의 해석 가능성과 훈련 효율성 향상에 중요한 기여를 할 것으로 기대됩니다.