기술적 요약: 지시 튜닝은 후기 판독을 조건화하는 상류 상태의 변화를 유발함

문제 제기

최근 기계적 해석 가능성 연구는 거절, 페르소나, 지시 따르기 등의 사후 훈련 행동을 특정 방향, 특징 및 레이어, 종종 트랜스포머 스택의 중후반 단계에 국소화해 왔습니다. 그러나 초기 계산과 후기 스택 간의 협력을 이해하는 데 있어 중요한 격차가 남아 있습니다. 구체적으로, 사후 훈련의 차이점이 주로 후기 특징 자체의 변화에서 비롯되는지, 아니면 이러한 특징을 활성화하는 상류 잔여 상태의 변화에서 비롯되는지 명확하지 않습니다. 핵심 질문은 다음과 같습니다: 지시 튜닝이 단순히 후기 판독 레이어를 수정하는 것일 뿐인지, 아니면 이러한 후기 특징을 효과적으로 만들기 위해 필요한 상류 상태를 근본적으로 변화시키는 것일까요?

방법론: 최초 발산 교차 패칭

이를 해결하기 위해 저자들은 지시 튜닝 (IT) 의 효과를 상류 의존적 성분과 직접적인 후기 스택 성분으로 분해하는 진단 도구인 **최초 발산 교차 패칭 (first-divergence cross-patching)**을 도입했습니다.

1. 개입 지점

주어진 프롬프트에 대해, 사전 훈련된 베이스 (PT) 모델과 지시 튜닝된 (IT) 대응 모델이 상위 1 위 다음 토큰에 대해 이견을 보이는 최초 생성 토큰 위치를 식별합니다. 이러한 토큰을 각각 $t_{PT}$와 $t_{IT}$라고 합니다.

2. 4 셀 요인 설계

이 발산 지점에서 저자들은 한 모델의 상류 잔여 상태 ($U$) 와 다른 모델의 후기 스택 ($L$) 을 짝지어 네 가지 하이브리드 순전파를 구성합니다. 후기 스택은 최종 약 40% 의 레이어 (약 60% 깊이부터 시작) 로 정의됩니다.
네 가지 구성은 다음과 같습니다:

1. $Y(U_{PT}, L_{PT})$: 베이스 상류 + 베이스 후기 스택 (대조군)
2. $Y(U_{PT}, L_{IT})$: 베이스 상류 + IT 후기 스택
3. $Y(U_{IT}, L_{PT})$: IT 상류 + 베이스 후기 스택
4. $Y(U_{IT}, L_{IT})$: IT 상류 + IT 후기 스택 (대조군)

점수 $Y$는 로그 오차 (logit margin) 로 정의됩니다: $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. 분해

핵심 지표는 상호작용 효과로, 다음과 같이 계산됩니다:
$$\text{Interaction} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
이는 IT 후기 스택이 베이스 (PT) 상류 상태에 비해 자신의 (IT) 상류 상태를 읽을 때 얼마나 더 도움이 되는지를 측정합니다.

• 직접 후기 스택 효과: PT 상류와 짝지어졌을 때의 IT 후기 스택 기여도 ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• 상류 의존적 효과: IT 후기 스택이 IT 상류 상태를 읽을 때의 추가 이득.

4. 검증 및 통제

이 연구는 하이브리드 상태가 인공물이 아님을 보장하기 위해 엄격한 통제를 적용합니다:

• 하이브리드 상태 무결성: PT 와 IT 상태 간의 보간은 매끄럽습니다. 무작위 부호 치환은 효과를 재현하지 못합니다.
• 선택 편향: (최초 발산이 아닌) 무작위 지역적 이견은 감소되었으나 동일한 부호의 상호작용을 보이며, 발산 전 점수는 거의 0 에 가깝습니다. 이는 최초 발산이 효과를 집중시킴을 확인시켜 줍니다.
• 네이티브 히스토리: 공유 접두사 대신 네이티브 IT 또는 PT 생성 히스토리를 사용할 때에도 효과가 유지됩니다.

주요 결과

1. 상류 - 후기 결합

5 개의 밀집 모델 계열 (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B) 에서 결과는 강력한 상류 - 후기 결합을 보여줍니다:

• 직접 효과: PT 상류 상태와 짝지어졌을 때 IT 후기 스택은 IT 토큰 방향으로 +0.76 로그트를 추가합니다.
• 상류 의존적 효과: IT 상류 상태와 짝지어졌을 때 IT 후기 스택은 +2.44 로그트를 추가합니다.
• 상호작용: 상호작용 항은 +1.68 로그트이며, 다섯 계열 모두에서 양수입니다.
• 해석: 후기 스택은 실제 직접 효과를 가지지만, IT 체크포인트에서 관찰된 행동 변화의 대부분은 후기 스택이 자신의 사후 훈련된 상류 상태를 읽을 때만 나타납니다.

2. 훈련 레시피 분리

이 진단 도구는 다양한 사후 훈련 레시피를 구분합니다:

• 지시 따르기 계보 모델: 강력한 상류 의존성 (큰 상호작용) 을 보입니다. 그들의 후기 효과는 자신만의 특정 상류 상태를 필요로 합니다.
• OpenMath2 (수학 도메인): Llama 3.1 베이스를 공유함에도 불구하고, OpenMath2 의 수학 도메인 후기 효과는 대체로 이식 가능합니다. 베이스 상류 상태를 읽을 때도 큰 효과를 보이며 (상호작용 $\approx -0.15$).
• 통제된 연속 사전 훈련 (CPT): 도메인 NLL 을 성공적으로 개선한 코드 및 생의학 CPT 어댑터는 주요 지지체에서 지시 프롬프트 상호작용 패턴을 재현하지 않습니다 (상호작용이 0 에 가까움). 이는 상류 의존성이 지시 따르기 정렬에 특화된 것이지 일반적인 도메인 적응이 아님을 시사합니다.

3. 기계적 증거

• 희소 최종 레이어 특징: 최종 MLP 레이어의 크로스코더는 상호작용을 부분적으로 매개하는 희소 특징을 식별합니다. 품질 게이트가 적용된 계열에서 상위 200 개 인과 특징을 제거하면 상호작용의 품질이 26–48% 감소합니다.
• 상류 구동: 약한 하이브리드에 IT 상류 계산을 패칭하면 +1.71 로그트가 회복되며, 그 일부는 이러한 최종 레이어 특징에 의해 매개됩니다. 이는 초기 상태가 최종 레이어 특징 활성화를 주도하는 '인계 (handoff)' 메커니즘을 지지합니다.
• 구조화된 상태: 계보 모델과 베이스 모델의 경계 상태 차이에 대한 PCA 투영은 누락된 마진의 상당 부분을 메우며, 이는 누락된 상류 상태가 구조화된 저랭크 형태를 가짐을 나타냅니다.

4. 하류 결과

• 강제 토큰 점수 매기기: IT 가 선호하는 발산 토큰을 강제하면 콘텐츠 추론 프롬프트에서 접미사 전용 정확한 답변 성공률이 +0.157만큼 향상됩니다.
• 제약된 연속 생성: 상호작용은 짧은 시간 범위 (최대 $N=8$개 토큰) 에서 유지되며, 무작위 순서로 뒤섞인 꼬리보다 일관된 네이티브 꼬리가 더 많은 상호작용을 전달합니다.

중요성 및 주장

이 논문은 지시 튜닝이 모델 행동을 어떻게 변화시키는지에 대한 국소적, 인과적 분해를 제공하며, 단순한 특징 국소화를 넘어 그들의 조건부 활성화를 이해하는 것을 목표로 합니다.

1. 자기 완결적 후기 스택의 반박: 결과는 후기 레이어가 자기 완결적이라는 관점을 지지하지 않습니다. IT 체크포인트에서 측정된 큰 후기 효과가 반드시 계산이 독립적임을 의미하는 것은 아닙니다. 이는 종종 IT 훈련 레시피에 의해 생성된 특정 상류 상태에 의존합니다.
2. 레시피 특이적 메커니즘: "상류 의존성" 서명은 지시 따르기 정렬의 고유한 속성으로, 도메인별 파인튜닝 (OpenMath2 와 같은) 이나 일반적인 연속 사전 훈련과 구별됩니다.
3. 운영적 진단: 저자들은 후기 레이어에 차이를 국소화하는 모든 연구가 해당 효과가 다른 체크포인트의 상류 상태 하에서도 생존하는지 테스트해야 한다고 제안합니다. 효과가 사라지거나 현저히 축소된다면, 후기 스택은 자기 완결적이지 않습니다.
4. 범위 제한: 저자들은 명시적으로 이러한 것이 최초 발산 시의 국소적 다음 토큰 판독 테스트라고 밝힙니다. 평균 배포 행동을 추정하거나 지시 따르기의 완전한 회로 재구성을 제공한다고 주장하지 않습니다. 발견 사항은 밀집 트랜스포머 계열과 특정 프롬프트 지지체에 국한됩니다.

요약하자면, 이 논문은 지시 튜닝이 상류 계산과 후기 판독 간의 협력을 재구성한다고 주장합니다. 여기서 지시 따르기 출력을 생성하는 후기 스택의 능력은 튜닝된 모델의 초기 레이어에 의해 생성된 특정 잔여 상태에 크게 조건화됩니다.