When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

기술 요약: 능력 발달 궤적 및 어텐션 싱크(Attention-Sink)의 출현

문제 제기
본 논문은 트랜스포머 언어 모델의 사전 학습 역학에 대한 기계론적 이해의 공백을 다룬다. 선행 연구들은 두 가지 뚜렷한 현상을 식별해 왔다. 하나는 인덕션 헤드(induction heads, $A \dots A \to B$ 복사 패턴을 구현하며 인컨텍스트 학습과 연결됨)이고, 다른 하나는 어텐션 싱크(attention sinks, 내용과 상관없이 첫 번째 토큰에 안정적으로 어텐션을 집중함)이다. 이들은 흔히 "어텐션 출현(attention emergence)"이라는 하나의 범주 아래 혼용되어 왔다. Olsson 등[2022]은 인덕션 형성을 급격한 "상전이(phase transition)"로 설명한 반면, Xiao 등[20-24]은 어텐션 싱크를 안정적인 추론 속성으로 기록했다. 본 논문은 다음과 같은 질문을 던진다: 이 두 현상은 단일한 전이로서 동시에 발생하는가, 아니면 시간적으로 분리 가능한가? 또한, 아키텍처(Dense vs. Mixture-of-Experts)와 사전 학습 코퍼스(The Pile vs. DCLM)는 1B급 모델의 이러한 출현 시점과 형태에 어떤 영향을 미치는가?

방법론
저자들은 두 가지 아키텍처와 두 가지 코퍼스에 걸친 세 가지 1B급 모델의 발달 궤적을 추적한다:

1. Pythia 1B: The Pile 데이터로 학습된 Dense 트랜스포머.
2. OLMo 1B-0724-hf: DCLM 데이터로 학습된 Dense (Llama 스타일) 트랜스포머.
3. OLMoE 1B-7B-0924: DCLM 데이터로 학습된 Mixture-of-Experts (활성 파라미터 1B/전체 7B) 트랜스포머.

본 연구는 30회의 런(run) 개발 패널을 활용하며, 각 모델당 10개의 로그 간격 리비전(revision)에 대해 3단계 기계론적 해석 레시피를 적용한다:

• 합성 인덕션 배치(Synthetic Induction Batch): 인덕션 능력을 조사하기 위해 사용되는 통제된 데이터셋인 2,000개의 시퀀스($A \dots A \to B$).
• 참여 비율(Participation Ratio, PR) 스펙트럼 신호: 두 번째-$A$ 위치에서의 per-head 어텐션 출력에 대해 계산된다. PR은 헤드 출력의 스펙트럼 다양성을 측정하며, 전문화된 연산의 신호 역할을 한다.
• 능력 특화 선택성 스크린(Capability-Specific Selectivity Screen): 어텐션 선택성 비율을 기반으로 헤드를 6가지 범주(induction, previous-token, duplicate-token, BOS/first-token, self, local)로 분류하는 전 헤드 스크린. 선택성이 특정 임계값(예: induction의 경우 50배, BOS의 경우 30배)을 초과할 때 해당 클래스로 할당된다.
• 인과적 검증(Causal Verification): 식별된 회로의 기능적 역할을 확인하기 위한 그룹 제거(group ablation).

주요 결과

1. L0/L1 Zero-BOS Floor는 아키텍처적 특성이다 (F1)
모든 30회의 리비전과 세 모델 모두에서, 레이어 0과 1은 BOS-attractor로 분류되는 헤드를 제로(zero) 생성한다. 이 "zero-BOS floor"는 무작위 초기화부터 학습 종료 시점까지 유지된다. 저자들은 이를 아키텍처적 제약으로 해석한다: L0 입력은 문맥화되지 않은 토큰 임베딩이며, L1 출력은 교차 토큰 통합이 결여되어 있어, 어텐션 싱크(비자명한 교차 위치 정보가 필요함)가 형성되는 것이 불가능하기 때문이다. 이는 데이터의 결과물이 아니라 학습된 결과이다.

2. BOS-Attractor의 상이한 출현 형태 (F2)
BOS-attractor 분율의 형성은 데이터-아키텍처 쌍에 따라 세 가지 질적으로 다른 궤적을 따른다:

• Pythia 1B (Pile, Dense): 0%에서 ~58%까지 점진적이고 단조로운 상승(monotonic ramp).
• OLMo 1B (DCLM, Dense): 급격한 상전이. 분율이 117B 토큰에서 7.4%였다가 264B 토큰에서 70.3%로 급증한다 (인접한 체크포인트 사이에서 63-퍼센트 포인트 증가).
• OLMoE 1B-7B (DCLM, MoE): Pythia와 유사하게 점진적이고 단조로운 상승을 보이지만, 더 높은 포화 수준(~76%)에 도달한다.
  이는 어텐션 싱크 전이의 "급격함(sharpness)"이 데이터(DCLM)의 보편적 속성이 아니라, 아키텍처(Dense vs. Moe)에 의해 조절된다는 것을 보여준다.

3. 인덕션과 어텐션 싱크는 시간적으로 분리 가능하다 (F3)
DCLM으로 학습된 모델에서, 인덕션 회로의 형성은 BOS-attractor 형성보다 토큰 수 기준으로 한 자릿수(order of magnitude) 앞선다:

• OLMo 1B: 인덕션 회로는 23B 토큰에서 형성되며, BOS-attractor는 264B 토큰에서 50% 포화에 도달한다 (11.5배 차이).
• OLMoE 1B-7B: 인덕션은 20B 토큰에서 형성되며, BOS-attractor는 419B 토큰에서 50%에 도달한다 (21배 차이).
  본 논문은 능력-회로 형성과 어텐션 싱크 형성이 두 개의 별개 전이이지, 단일한 상전이 이벤트가 아니라고 결론짓는다.

4. 능력 스크린의 조기 수렴 (F4)
능력 특화 스크린은 전체 학습 예산의 아주 작은 부분만을 사용하여 최종 인덕션 회로에 수렴한다.

• OLMo 1B: 최종 인덕션 회로의 67%가 10B 토큰(~전체 학습의 0.3%) 시점에 식별된다.
• OLMoE 1B-7B: 67%가 41B 토큰(~0.8%) 시점에 식별된다.
• Pythia 1B: 67%가 6B 토큰(~2.0%) 시점에 식별된다.
  이는 회로 발견을 위해 최종 모델을 기다릴 필요 없이, 중간 체크포인트만으로도 식별 가능한 회로의 대부분을 포함하고 있음을 의미한다.

5. 스펙트럼 신호가 선택성 임계값보다 앞선다 (F5)
샘플링된 모든 최종 체크포인트 인덕션 헤드에 대해, per-head 참여 비율(PR)은 해당 헤드의 능력-선택성 비율이 분류 임계값을 넘어서는 리비전 시점과 같거나 그 이전에 유의미하게 상승한다. Pythia 1B의 경우, 상위 인덕션 헤드의 PR 신호는 선택성 임계값을 통과하기보다 약 12배 더 일찍(토큰 수 기준) 상승했다. 이는 스펙트럼 신호가 전문화의 조기 지표임을 시사한다.

의의 및 주장
본 논문은 스펙트럼 엣지 역학에 관한 파라미터 공간 분석을 보완하는, 출현에 관한 광범위한 연구의 "활성화 공간(activation-space) 절반"으로서 자리매김한다. 주요 기여는 다음과 같다:

• "인덕션 상전이"의 정교화: 저자들은 "인덕션 상전이"라는 용어가 모호하다고 주장한다. 1B 규모의 DCLM 데이터에서 이는 두 가지 별개의 사건, 즉 초기 능력 전이(인덕션)와 후기 데이터 및 아키텍처 의존적 전이(어텐션 싱크)를 의미한다.
• 기계론적 이론을 위한 제약 조건: 본 연구는 어텐션 싱크에 관한 모든 이론에 다음과 같은 구체적인 제약을 부과한다:
  1. L0/L1의 zero-BOS floor를 설명해야 한다.
  2. 동일한 데이터(DCLM)가 왜 dense 모델에서는 급격한 전이를, MoE 모델에서는 점진적 상승을 만들어내는지 설명해야 한다.
  3. 능력의 출현 시점과 싱크의 출현 시점을 구분해야 한다.
• 방법론적 유용성: 본 논문은 최종 모델을 기다리지 않고도 중간 체크포인트(0.3~2% 학습 단계)에서 효과적으로 기계론적 해석을 수행할 수 있음을 입증하며, 후기 학습 단계에서 지배적인 BOS-attractor 인구와 능력 헤드를 구분하기 위해 특정 스크리닝 방법이 필요함을 보여준다.

저자들은 이러한 결과가 특정 학습 런에 기반한 것이며 모든 시드(seed)에 대한 보편적 기대를 나타내는 것은 아니라고 명시하면서도, 관찰된 질적 패턴(L0/L1 floor, 전이의 분리)은 테스트된 구성 전반에서 견고하게 나타난다고 언급하였다.