기술 요약: 내추럴 언그로킹 (Natural Ungrokking)

문제 정의

본 논문은 **내추럴 언그로킹(natural ungrokking)**이라 명명된 현상을 조사한다. 이는 사전 학습(pretraining) 과정 중 학습된 능력이 실행 중에 역전되는 현상을 의미한다. "그로킹(grokking, 지연된 일반화)"이나 데이터셋 축소로 인한 "언그로킹(ungrokking)"과 달리, 내추럴 언그로킹은 정적인 데이터상에서 발생한다. 즉, 모델이 특정 언어 규칙을 습득하고 이를 성공적으로 적용했음에도 불구하고, 해당 규칙의 증거가 학습 스트림에 여전히 존재함에도 불구하고 스스로 그 규칙을 포기하는 현상이다.

핵심 사례 연구는 웹 텍스트로 학습된 11.5M 파라미터 디코더 전용 트랜스포머를 대상으로 한다. 이 모델은 대명사-성별 규칙(예: "Sue cried because"를 코퍼스 우선순위인 "he"가 아닌 "she"로 해결하는 것)을 학습한다. 학습 925단계에서 모델은 홀드아웃 갈등 프로브(held-out conflict probes)에 대해 0.94의 정확도를 달성한다. 그러나 3,500단계에 도달하면, 데이터 분포가 변하지 않았고 손실 곡선(loss curve)에서도 이러한 행동 변화의 흔적이 나타나지 않음에도 불구하고, 정확도는 거의 0에 가깝게 붕괴된다. 모델은 문법적 구조는 유지하지만, 표면적 우선순위(surface-level priors)와 충돌할 때 특정 규칙을 적용하는 것을 중단한다.

방법론

실험 설정

• 모델: 4개 레이어의 디코더 전용 트랜스포머 ($d_{model}=256$, 어텐션 헤드 2개, 11.5M 파라미터)를 4,400 스텝 동안 학습.
• 코퍼스: 두 가지 데이터셋 사용:
  1. TinyStories: 대명사-성별 규칙이 밀도 높게 지원되는 합성 코퍼스.
  2. Filtered Web Corpus: 규칙의 지원 빈도가 경쟁하는 표면 패턴에 비해 낮은 ClimbMix에서 유도된 코퍼스.
• 변수: 본 연구는 규칙의 **지원 빈도(support frequency, $f$)**와 **데이터 대 파라미터 비율($D/N$)**을 변화시킨다.
• 평가: 고정된 템플릿 프로브 세트를 사용하여 "갈등" 항목(규칙 vs. 우선순위가 불일치하는 경우)과 "일치" 제어 항목(규칙과 우선순위가 일치하는 경우)에 대한 성능을 측정한다. 분류기는 궤적을 Recovered(회복됨), Displaced(치환됨), Partial(부분적), Never(발생하지 않음), 또는 Unstable(불안정함)로 분류한다.
• 메커니즘 지표: **대조 마진(Contrast Margin, CM)**은 규칙을 따르는 지속(continuation)과 우선순위를 따르는 경쟁자 간의 로그 확률 차이를 추적한다.
• 엄밀성: 모든 확인 지표, 임계값 및 방향성 예측은 데이터 검사 전에 **사전 등록(pre-registered)**되었다. 블라인드 복제 시드 세트는 격리되었다.

인과적 개입 (Causal Interventions)

인과 관계를 확립하기 위해 저자들은 학습 코퍼스에 대한 "인플레이스(in-place)" 편집을 수행했다:

1. Kill (제거): 단일 코퍼스 내에서 특정 비율($p$)로 규칙을 지원하는 토큰을 반대 증거로 바꿈 (예: 여성 이름 뒤에 "she" 대신 "he"를 사용).
2. Rescue (구조): 붕괴된 웹 코퍼스에 TinyStories에서 생존에 필요한 밀도보다 최대 3배 높은 용량으로 규칙 지원 증거를 다시 주입.
3. Second Rule (두 번째 규칙): 일반화 가능성을 테스트하기 위해 관련 없는 다른 규칙($a/an$ 이형태)에 대해 'Kill ladder'를 재현.

주요 결과

1. 지원 빈도가 운명을 결정한다

규칙의 생존은 단일 코퍼스 통계량인 지원 빈도(학습 스트림에서 규칙이 승리하는 빈도)로부터 예측 가능하다:

• 생존: TinyStories(높은 지원)에서는 모든 데이터 예산에 걸쳐 규칙이 천장 정확도(ceiling accuracy)에서 생존한다.
• 붕괴: 웹 코퍼스(낮은 지원)에서는 규칙이 초기에 나타나지만, $D/N$ 비율에 관계없이 학습 종료 시점까지 정확도가 거의 0으로 붕괴된다.
• 조절: $D/N$ 비율은 붕괴의 깊이(정확도가 얼마나 낮게 떨어지는지)를 조절하지만, 생존 여부 자체를 바꾸지는 못한다. 높은 데이터 볼륨도 낮은 지원 빈도를 가진 규칙을 구할 수 없다.

2. 비대칭적 제어 ("Kill/Restore" 비대칭성)

본 논문은 규칙의 생존을 제어하는 데 있어 극명한 비대칭성을 보여준다:

• 파괴는 쉽고 용량 의존적이다: 지원을 반대 증거로 바꾸는 것은 엄격하게 단조적인 용량-반응(dose-response)을 보이며 규칙을 파괴한다. 전체 플립($p=1.0$) 시, 모든 시드에서 규칙이 사멸한다.
• 복구는 불가능하다: 붕괴된 코퍼스에 자연적인 유지 밀도의 450배(및 TinyStories 밀도의 최대 3배)에 달하는 지원을 주입하더라도 행동을 복구하는 데 실패했다.
  • 내부 메커니즘(대조 마진)은 일치하는 용량에서 양(+)의 값 쪽으로 약간 이동하지만, 행동적 정확도는 여전히 붕괴된 상태를 유지한다.
  • 이는 주입이 붕괴 단계 이전에 집중되었더라도 마찬가지였으므로, 타이밍이 실패의 유일한 원인은 아님을 입증한다.

3. 메커니즘: 삭제가 아닌 치환

규칙의 상실은 구성의 삭제가 아니라 경쟁하는 표면 패턴에 의한 **치환(displacement)**이다.

• 증거: "일치(agree)" 제어 조건(규칙과 우선순위가 일치하는 경우)은 붕괴 과정 중에도 천장 정확도로 계속 해결된 상태를 유지한다.
• 대조 마진: CM은 행동적 붕괴가 발생하는 시점과 정확히 일치하여(100 스텝 이내) 0을 통과한다. 붕괴된 실행에서는 맥락적 경로(어텐션/MLP 기여도)가 음(-)의 마진을 가져 규칙을 압도한다.
• 표현: 최종 레이어에서의 큐-성별(cue-gender) 해독 가능성이 웹 데이터에서 우연 수준(chance levels)으로 감소하며, 이는 규칙의 표현이 로짓(logits) 상류에서 치환되었음을 나타낸다.

4. 공개 체크포인트로의 일반화

이 현상은 특정 11.5M 모델의 산물이 아니다. Pythia(70M–1.4B) 및 OLMo-1B의 공개 체크포인트에서도 동일한 "출현 후 붕괴(emerge-then-collapse)" 시그니처가 나타난다. 붕키의 깊이는 모델 규모에 따라 순서가 매겨지며, 이는 예측과 일치하게 더 작은 모델일수록 더 깊게 붕괴함을 보여준다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 역량 상실의 예측 가능성: 규칙의 학습 종료 시점의 운명은 학습이 끝나기 전 측정 가능한 코퍼스 통계량(지원 빈도)에 의해 예측 가능하다. 이는 손실 곡선이 역량 유지를 모니터링하기에 충분하다는 가설에 도전한다.
2. 비대칭적 인과관계: 본 논문은 지원 빈도가 파괴에는 인과적으로 충분하지만, 복구에는 불충분함을 입립한다. 일단 규칙이 강력한 우선순위에 의해 치환되면, 증거를 재도입하더라도(막대한 양이라 할지라도) 역량을 회복할 수 없다.
3. 메커니즘적 통찰: 상실은 경쟁하는 표면 패턴이 학습된 규칙을 압도하는 물리적 치환으로 식별되며, 이는 대조 마진이 0을 통과하는 것으로 측정 가능하다.

실무적 시사점:

• 학습 중 평가: 학습 중간 단계의 체크포인트에서 관찰된 역량이 최종 모델에서도 존재한다는 보장은 없다.
• 데이터 필터링: 희귀한 규칙의 지원을 줄이는 것은 단 하나의 예시를 삭제하지 않고도 그 규칙을 파멸에 이르게 할 수 있다.
• 지속적 사전 학습(Continual Pretraining): 데이터 믹스의 변화는 베이스 모델이 이미 학습했던 역량을 소리 없이 "언그로킹"할 수 있다.

저자들은 생존 여부를 가르는 정확한 경계 지점을 빈도 축 위에서 예측하는 것은 향로 과제로 남아 있다고 명시하면서도, (생존 여부를 결정하는) 질적 법칙(지원 빈도가 운명을 결정함)은 확립되었다고 밝히고 있다. 이 연구는 훈련 역학, 메모리, 일반화에 대한 이해를 위한 건설적인 기여로 프레임되었으며, 특히 경쟁하는 우선순위 존재 하에서 학습된 규칙의 취약성에 초점을 맞추고 있다.