기술적 요약: 지시 튜닝 언어 모델의 수렴 격차

1. 문제 제기

현재 모델 차분 (model-diffing) 진단은 사전 학습 (PT) 및 지시 튜닝 (IT) 체크포인트 간의 비교를 최종 출력 점수 (예: 정확도 또는 퍼플렉시티) 로 축소하는 경향이 있습니다. 이러한 접근법은 순전파 (forward pass) 중 모델이 언제 예측을 확정하는지를 흐리게 만듭니다. 본 논문은 공개된 지시 따르기 (instruction-following) 체크포인트가 단순히 다른 분포에서 종료되는 것이 아니라, 서로 다른 안정화 궤적을 따르며, 사전 학습된 대응 모델들보다 네트워크 스택의 더 깊은 단계에서 최종 다음 토큰 예측에 도달할 수 있다고 주장합니다. 핵심 문제는 최종 결과뿐만 아니라 예측 안정화의 시기를 측정하는 진단 도구의 부재입니다.

2. 방법론

2.1 수렴 격차 (Convergence Gap) 지표

저자들은 수렴 격차를 도입했습니다. 이는 레이어 $l$에서 디코딩된 다음 토큰 분포 ($p_l$) 와 모델의 최종 다음 토큰 분포 ($p_L$) 간의 Kullback-Leibler (KL) 발산으로 정의된 레이어별 진단 지표입니다:
$$\text{수렴 격차}_l = \text{KL}(p_l || p_L)$$
이 지표는 특정 레이어가 모델의 최종 예측으로부터 얼마나 떨어져 있는지를 정량화합니다. 후기 레이어에서 격차가 크다는 것은 모델이 스택을 통과하는 동안 여전히 예측을 크게 변경하고 있음을 나타냅니다.

2.2 실험 설정

• 모델: Gemma 3 4B, Llama 3.1 8B, Qwen 3 4B, Mistral 7B, OLMo 2 7B, DeepSeek-V2-Lite 등 6 개의 짝을 이룬 PT/IT 체크포인트가 분석되었습니다.
• 히스토리: 모든 비교는 일치하는 토큰 히스토리를 활용했습니다. 발견 곡선 (discovery curves) 은 수백만 개의 토큰 단계에 걸쳐 집계된 토큰별 레이어 판독값을 기반으로 합니다.
• 통제 조건:
  • 종단점 매칭 (Endpoint Matching): PT 및 IT 토큰 단계는 최종 신뢰도, 엔트로피, 그리고 top-1/top-2 마진에 기반하여 매칭되어 격차가 서로 다른 종단점 신뢰도의 인공물 (artifact) 이 아님을 보장합니다.
  • 종단점 무관 검사 (Endpoint-Free Checks): 동일한 교사 강제 (teacher-forced) 히스토리 하에서 원본 동일 레이어 출력 분포를 비교하며, 최종 종단점을 전혀 참조하지 않습니다.
  • 고정 히스토리 재생 (Fixed-History Replay): 원본 채팅 템플릿을 원시 및 튜닝된 모델을 통해 재생하여 템플릿으로 인한 직렬화 효과를 통제합니다.

2.3 개입 (매칭 접두어 MLP 이식/교환)

이 현상의 아키텍처적 위치를 규명하기 위해 저자들은 대칭적 인과적 개입을 수행했습니다:

• 이식 (Grafts): PT 호스트의 특정 MLP 창 (초기, 중간, 후기) 을 해당 IT 가중치로 교체합니다.
• 교환 (Swaps): IT 호스트의 특정 MLP 창을 해당 PT 가중치로 교체합니다.
• 창 (Windows): 모델 깊이의 약 40% 로 정의되며, 초기, 중간, 후기 영역을 중심으로 설정됩니다 (예: Llama 3.1 8B 의 경우 후기는 레이어 19–31).
• 무작위 통제: 후기 레이어에 매칭된 무작위 잔차 투영 교란을 적용하여, 특정 IT 업데이트가 아닌 임의의 큰 교란이 효과를 유발하는지 테스트했습니다.

3. 주요 결과

3.1 지시 튜닝 모델은 더 늦게 안정화됨

6 개 모델 패밀리 전반에 걸쳐 지시 튜닝 체크포인트는 더 큰 후기 수렴 격차를 보입니다. IT 곡선은 PT 모델에 비해 스택 깊숙이 들어갈수록 더 높게 (최종 분포에서 더 멀리) 유지됩니다.

• 종단점 매칭: 종단점 신뢰도와 엔트로피를 통제하더라도 격차는 유지됩니다 (원시: +0.425 nats; 튜닝: +0.762 nats).
• 종단점 무관: 인접 레이어 간 이동 (JS 발산) 과 미래 top-1 전환율은 IT 모델에서 더 높아, 순전파 후반부에 예측을 변경함을 확인시켜 줍니다.
• 템플릿 효과: 원시/템플릿 없는 재생은 시그니처를 약화시키지만, 원본 채팅 템플릿의 고정 히스토리 재생 하에서도 효과는 양수이며 유의미하게 유지됩니다.

3.2 후기 MLP 가 주요 레버리지 포인트임

개입 실험은 후기 MLP 창이 안정화 지연에 대한 가장 강력한 양방향 핸들임을 규명했습니다:

• PT 호스트 + 후기 IT 이식: 후기 KL 격차를 +0.34 nats 증가시킵니다 (초기 대비 -0.03, 중간 대비 -0.05).
• IT 호스트 + 후기 PT 교환: IT 지연을 -0.51 nats 감소시킵니다 (초기 대비 -0.10, 중간 대비 -0.23).
• 무작위 통제: 매칭된 무작위 후기 교란은 효과를 재현하지 못했습니다 (+0.003 nats 대 참 이식 +0.327 nats), 단순 크기 기반 설명을 배제합니다.

3.2 행동 사례 연구 (Gemma)

Gemma 3 4B 에 대한 사전 선정된 사례 연구는 후기 PT 교환의 하류 영향을 테스트했습니다:

• 선호도: 블라인드 쌍별 평가는 어시스턴트 레지스터 프롬프트의 **94.7%**에서 원본 IT 를 후기 PT 교환보다 선호했습니다.
• 점수: 어시스턴트 레지스터 점수는 원본 (4.733) 에서 후기 교환 (3.929) 으로 하락했으나, 초기 교환은 미미한 영향을 미쳤습니다.
• 견고성: 프로그래밍적 검사 (MMLU, 추론) 는 완전한 붕괴를 보이지 않아, 이 효과가 지시 따르기 역학에 특화된 것이지 능력의 일반적 저하가 아님을 시사합니다.

4. 기여 및 의의

본 논문은 포스트 트레닝 분석 방식의 전환으로 제시되는 세 가지 주요 기여를 합니다:

1. 예측 역학 대상: 수렴 격차는 "모델이 언제 정착하는가"에 대한 측정 가능한 대상을 제공하여, 정적 종단점 비교를 넘어 예측에 이르는 경로를 분석합니다.
2. 엄격한 통제: 종단점 매칭 판독값과 종단점 무관 동일 히스토리 검사를 통해, 지연된 안정화가 신뢰도 수준이나 템플릿 포맷팅의 인공물이 아닌 지시 튜닝의 견고한 시그니처임을 입증합니다.
3. 인과적 국소화: 매칭 접두어 개입은 후기 MLP 창을 지연된 안정화에 대한 가장 큰 테스트된 양방향 핸들로 격리합니다. 이는 "지시 따르기" 역학이 가장 유연한 특정 아키텍처 영역을 식별합니다.

5. 범위 및 한계 (저자의 목소리)

저자들은 자신의 주장의 범위와 한계를 명시적으로 진술합니다:

• 완전한 메커니즘 아님: 본 논문은 지시 따르기의 전체 메커니즘을 설명하거나 보편적인 조향 방향을 제공한다고 주장하지 않습니다.
• 벤치마크 예측기 아님: Gemma 사례 연구는 가장 명확한 패밀리를 위한 "행동 지향적 다리"일 뿐, 수렴 격차가 모든 작업이나 패밀리의 벤치마크 성능을 예측한다는 주장은 아닙니다.
• 명명된 기능 부재: 이 작업은 견고한 레이어별 시그니처와 가장 강력한 MLP 핸들을 식별하지만, 전체 회로를 재구성하거나 SAE 나 크로스코더를 통해 명명된 희소 기능을 식별하지는 않습니다.
• 템플릿 의존성: 이 효과는 채팅 템플릿에 의해 조절됩니다. 논문은 템플릿 없는 프롬래팅을 시그니처를 약화시키지만 소거하지는 않는 분포 외 직렬화 (out-of-distribution serialization) 로 간주합니다.
• MoE 주의사항: DeepSeek-V2-Lite 는 발견 곡선에 포함되었으나, MoE 라우팅이 조밀한 MLP 창 교환의 해석을 복잡하게 하므로 인과 평균에서는 제외되었습니다.

결론: 본 논문은 공개된 지시 튜닝 체크포인트가 순전파 후반부에 정착하는 경향이 있으며, 일치된 히스토리 하에서 후기 MLP 계산이 해당 지연에 대한 가장 강력한 테스트된 양방향 핸들임을 결론지었습니다. 이는 포스트 트레닝을 단순히 종단점이 아닌 예측에 이르는 경로의 변화로 재정의합니다.