기술 요약: 희소 어텐션 패턴 학습으로부터의 무작위적 창발적 능력 발생

문제 제기

뉴럴 스케일링 법칙(Neural scaling laws)은 트랜스포머 모델의 파라미터가 증가함에 따라 사전 학습 손실(pretraining loss)이 매끄럽게 개선될 것이라고 예측한다. 그러나 인컨텍스트 러닝(in-context learning)이나 구문 습득(syntax acquisition)과 같은 다운스트림 능력은 특정 모델 규모에서 갑작스럽게 나타나며, 결정적으로 모델 초기화 상태에 따라 확률적으로 나타나는 현상이 관찰된다. 선행 연구들이 이러한 창발성이 시드(seed)에 따라 무작위적이고 본질적으로 불연속적이라는 점을 밝혀냈음에도 불구하고, 이 현상의 근본적인 메커니즘적 원인은 여전히 불분명하다. 특히, 모델 내부에서 능력이 창발될 때 어떤 변화가 일어나는지, 왜 더 큰 모델이 이러한 능력을 더 안정적으로 습득하는지, 그리고 필요한 내부 표현을 학습하는 난이도를 결정하는 요인이 무엇인지는 알려져 있지 않다.

방법론

저자들은 사전 학습된 언어 모델에 대한 메커니즘 분석과 합성 태스크(synthetic tasks)에 대한 통제된 학습 실험을 결합한 두 갈래의 접근 방식을 사용한다.

1. 사전 학습된 모델 분석 (Pythia 제품군):

• 모델: 연구는 다양한 무작위 초기화 시드를 가진 Pythia 제품군 언어 모델(14M ~ 410M 파라미터)을 활용한다.
• 태스크: 저자들은 문자 반복(string repetition), 인컨텍스트 반복(in-context repetition), 패턴 완성(pattern completion), 간접 목적어 식별(indirect object identification) 등의 능력을 평가한다.
• 창발 탐지: 저자들은 "창발 지점"을 모델의 그리디 예측(greedy prediction)이 정답(ground truth)과 일치하는 최초의 학습 단계로 정의한다. 바이너리 서치(binary search)를 사용하여 체크포인트 전반에 걸쳐 이 단계를 정밀하게 찾아낸다.
• 인과적 절제 (Causal Ablation, Activation Patching): 창발의 메커니즘을 식별하기 위해 저자들은 인과적 개입을 수행한다. 아직 태스크를 해결하지 못한 "창발 전(pre-emergence)" 모델을 가져와서, 태스크를 해결한 "창발 후(post-emergence)" 모델의 특정 헤드(head)의 어텐션 맵을 패칭(patching)한다. 그 후 결과로 나타나는 정답 토큰의 확률 변화($\Delta p$)를 측정하여 "인과적 어텐션 헤드(causal attention heads)"를 식별한다.

2. 합성 태스크 학습:
자연어의 노이즈 없이 어텐션 학습에 영향을 미치는 요인들을 격리하기 위해, 저자들은 알려진 정답 어텐션 패턴을 가진 두 가지 합성 데이터셋에 트랜스포머를 학습시킨다.

• 선형 맵 (Linear Map): 모델이 이전 상태의 희소한 부분 집합의 패리티(parity)를 계산해야 하는 태스크이다 ($f(x) = Ax \mod 2$). 정답 어텐션 패턴은 희소 행렬 $A$에 의해 정의된다.
• 셀룰러 오토마타 (Cellular Automata): 모델이 국소적인 셀 윈도우와 룩업 테이블 규칙을 기반으로 다음 상태를 예측하는 태스크이다. $N > 1$인 규칙의 경우, 모델은 컨텍스트로부터 활성 규칙을 추론해야 한다.
• 변수: 저자들은 컨텍스트 길이(상태 크기 $S$, 궤적 길이 $T$), 어텐션 패턴 희소도($s/S$), 그리고 아키텍처 하이퍼파라미터(헤드 수 $H$, 헤드 차원 $d_{head}$)를 체계적으로 변화시킨다.
• 개입: 정답 어텐션 패턴을 로짓(logits)에 인위적으로 추가하는 어텐션 바이어스(attention bias) 개입을 적용하여, 어텐션 패턴을 학습하는 것이 유일한 병목 구간인지 테스트한다.

3. 아키텍처 비교:
저자들은 합성 태스크에 대해 표준 트랜스포머와 MLP-Mixer, Mamba, Gated DeltaNet, RWKV를 포함한 대안적인 토큰 믹싱(token-mixing) 메커니즘을 비교한다.

주요 결과

1. 어텐션 학습을 통한 무작위적 및 급격한 창발:

• 능력은 학습 과정 전반에 걸쳐 확률적으로 창발한다. 고정된 모델 규모에 대해, 어떤 초기화 시드는 태스크를 해결하는 반면 다른 시드는 완전히 실패한다.
• 창발은 태스크 관련 어텐션 패턴의 급격한 학습과 일치한다. 예를 들어, 반복 태스크에서 모델의 정답 토큰 확률은 특정 헤드들이 균등한 어텐션(uniform attention)에서 해석 가능한 "복사(copy)" 및 "이전 토큰(previous-token)" 패턴으로 전환될 때 급격히 상승한다.
• 인과적 증거: 소수의 인과적 헤드(예: $K=16$)의 어텐션 패턴을 창발 전 모델에 패칭하면 성능 격분의 대부분을 회복하며, 이는 특정 어텐션 패턴을 학습하는 것이 능력 창발의 병목임을 입증한다.

2. 학습 난이도를 결정하는 요인:

• 컨텍스트 길이와 희소도: 합성 태스크에서 어텐션 패턴을 학습하는 난이도는 컨텍스트 길이와 패턴 희소도에 의해 공동으로 결정된다.
  • 희소도: 중간 정도의 희소도를 가진 패턴(너무 희소하지도, 너무 조밀하지도 않은 패턴)이 가장 학습하기 어렵다.
  • 컨텍스트 길이: 컨텍스트 길이(상태 크기)가 증가할수록 학습은 현저히 어려워진다. 상태 크기가 클 경우(예: $S=512$), 모델은 진전을 보이지 못하고 긴 손실 평탄 구간(loss plateau)에 갇히는 경우가 많다.
• 어텐션 바이어스: 정답 어텐션 패턴에 대한 바이어스를 적용하면 손실 평탄 구간이 완전히 사라지고 즉각적인 수렴이 일어난다. 이는 병목이 이후의 계산이 아니라 올바른 어텐션 패턴을 찾는 '탐색(search)'에 있음을 확인시켜 준다.

3. 아키텍처 스케일링 및 대안:

• 헤드 스케일링: 어텐션 헤드의 수를 늘리는 것은 합성 태스크 모두에서 성능을 일관되게 향상시키는데, 이는 더 많은 헤드가 올바른 희소 패턴을 발견하기 위한 더 많은 후보를 제공함을 시사한다.
• 헤드 차원: 트레이드오프가 존재한다. 헤드 차원을 늘리는 것이 도움이 되지만, 최소한의 용량이 필요하다. 선형 맵 태스크의 경우, 많은 헤드와 작은 차원($H=128, d_{head}=1$)을 가진 모델이 성공하는 반면, 셀룰러 오토마타의 경우 규칙 정보를 저장하기 위한 최소 헤드 차원이 필요하다.
• MLP-Mixer: 복잡하고 고정된 위치 패턴을 학습해야 하는 선형 맵 태스크에서 MLP-Mixer는 트랜스포머보다 한 자릿수 더 뛰어난 성능을 보이며 훨씬 빠르게 학습한다. 그러나 MLP-Mixer는 셀룰러 오토마타 태스크에서는 성능이 떨어지는데, 이는 컨텍스트 의존적인 토큰 믹싱 패턴을 점곱(dot-product) 어텐션만큼 효율적으로 매개변수화하지 못하기 때문으로 보인다.
• 깊이(Depth): 층의 수를 늘리는 것은 선형 맵 태스크에서는 성능을 저하시키지만(희소 패턴을 합성하는 어려움 때문으로 추정), 다중 규칙 셀룰러 오토마타 태스크에서는 도움이 된다.

4. 프리-프리트레이닝 (Pre-pretraining):
예비 실험 결과, 합성 형식 언어(Dyck)나 뉴럴 셀룰러 오토마타에서 프리-프리트레이닝을 수행하는 것이 인컨텍스트 능력의 창발을 가속화할 수 있음을 시사하지만, 결과는 태스크와 시드에 따라 다양하다.

의의 및 주장

본 논문은 창발적 능력의 "신기루(mirage)"에 대한 메커니즘적 설명을 제공한다고 주장한다. 저자들의 논지는 다음과 같다:

1. 창발은 연속적인 스케일링 현상이 아니다. 대신, 희소 어텐션 패턴의 급격한 학습에 의해 주도되는 일련의 불연속적인 상전이(phase changes)이다.
2. 병목은 어텐션 학습이다: 고차원 공간에서 올바른 희소 어텐션 패턴을 찾는 난이도가 능력의 창발 여부와 시점을 결정한다.
3. 더 큰 모델이 더 자주 성공하는 이유는 일반적인 의미에서 "더 나은" 표현을 학습하기 때문이 아니라, 증가된 탐색 용량(더 많은 헤드) 덕분에 훈련 초기에 올바른 희소 어텐션 패턴을 발견할 확률이 높기 때문이다.
4. 아키텍처 설계가 중요하다: 토큰 믹싱 메커니즘(예: 점곱 어텐션 vs MLP)의 선택은 특정 유형의 패턴을 학습하는 효율성에 상당한 영향을 미친다.

저자들은 향-후 연구가 창발적 능력의 병목을 제거하고 효율적인 스케일링을 가능하게 하기 위해, 어텐션 개입이나 귀납적 편향(inductive biases)을 통해 희소 어텐션 패턴의 학습을 촉진하는 데이터셋 및 아키텍처를 설계하는 데 집중해야 한다고 결론짓는다. 또한, 현재의 연구 결과가 1B 미만의 모델과 기초적인 능력들에 국려되어 있으며, 더 큰 모델과 복잡한 추론 태스크로의 일반화는 여전히 열린 과제임을 겸허히 언급한다.