1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능을 향상시키기 위한 지시 튜닝 (Instruction Tuning) 은 사용자 지시에 따라 유용한 응답을 생성하도록 모델을 학습시키는 과정입니다. 최근에는 고성능 LLM 을 사용하여 대량의 지시 - 응답 쌍을 자동 생성하는 방식이 널리 사용되고 있습니다.

그러나 기존 연구들은 LLM 이 생성한 응답이 가진 근본적인 한계를 간과하고 있습니다.

• 혼합된 능력: LLM 이 생성한 응답은 사전 학습 (Pre-training) 을 통해 습득한 세계 지식과 사후 학습 (Post-training, 즉 지시 튜닝 등) 을 통해 습득한 지시 따르기 능력이 혼재되어 있습니다.
• 노이즈 문제: 기존 연구 (Gudibande et al., 2024 등) 에 따르면, 교실 모델 (Teacher) 의 사전 학습 지식을 학생 모델 (Student) 에게 지도 학습 (Supervised Fine-Tuning) 으로 전달하는 것은 효과적이지 않으며, 오히려 학습 신호를 방해하는 노이즈로 작용할 수 있습니다.
• 가설: 따라서 응답 생성 과정에서 사전 학습 지식을 억제하고, 오직 지시 따르기 능력 (Instruction-following capabilities) 만을 분리하여 추출한다면, 더 효과적인 지시 튜닝 데이터셋을 구축할 수 있을 것입니다.

2. 제안 방법: CoDIT (Methodology)

저자들은 CoDIT (Contrastive Decoding for Instruction-Tuning Dataset) 라는 새로운 방법을 제안합니다. 이는 지시 튜닝 데이터셋을 생성할 때 대조적 디코딩 (Contrastive Decoding) 기법을 적용하여 사전 학습 지식을 제거하고 지시 따르기 능력만을 증폭시키는 방식입니다.

핵심 메커니즘

1. Expert 와 Amateur 모델 설정:
   • Expert: 지시 튜닝이 완료된 모델 (Post-trained model, $\theta_{post}$).
   • Amateur: 동일한 아키텍처의 사전 학습 모델 (Pre-trained model, $\theta_{pre}$).
2. 대조적 점수 (Contrastive Score) 계산:
   • 각 토큰 $v$에 대해 두 모델의 로그 확률 차이를 계산합니다.
   • $s(v) = \log P(v | \text{context}; \theta_{post}) - \log P(v | \text{context}; \theta_{pre})$
   • 이 점수가 높은 토큰을 선택함으로써, 두 모델의 차이 (즉, 지시 튜닝으로 인한 변화) 를 극대화하고 공통된 사전 학습 지식은 억제합니다.
3. 가능성 제약 (Plausibility Constraint):
   • 무제한 대조적 디코딩은 문맥에 맞지 않는 토큰을 선택할 수 있으므로, Expert 모델이 부여한 확률이 일정 임계값 ($\alpha$) 이상인 토큰만 후보로 제한하여 유창성을 보장합니다.

이론적 해석: 채팅 벡터의 텍스트 공간 증류

• Chat Vector ($\Delta\theta$): 사후 학습 전후의 파라미터 차이 ($\theta_{post} - \theta_{pre}$) 를 의미하며, 이는 지시 따르기 능력을 인코딩합니다.
• 텍스트 공간 증류 (Text-space Distillation): CoDIT 는 파라미터 공간에서의 차이를 텍스트 생성 과정에서 직접적으로 구현합니다. 대조적 점수는 Chat Vector 와 로그 가능도 기울기 (Gradient) 의 내적과 근사되므로, CoDIT 를 통해 생성된 텍스트는 Chat Vector 를 텍스트 공간으로 증류 (Distill) 한 결과로 해석됩니다.
• 의의: 이 방식은 파라미터 공간 연산 없이도 서로 다른 아키텍처나 크기의 모델 간에 지시 따르기 능력을 전이시킬 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. CoDIT 방법론 제안: 응답 생성 시 사전 학습 지식을 억제하고 지시 따르기 능력만을 분리하여 추출하는 새로운 데이터 증류 프레임워크를 제안했습니다.
2. SOTA 성능 달성: CoDIT 로 구축된 데이터셋으로 학습한 모델들은 직접 생성된 응답 (Vanilla) 이나 기존 공개 데이터셋 (WildChat, Magpie-Pro 등) 으로 학습한 모델들보다 다양한 벤치마크에서 일관되게 우수한 성능을 보였습니다.
3. 이론적 및 실증적 증명: CoDIT 가 Chat Vector 의 텍스트 공간 증류임을 이론적으로 유도하고, 실험을 통해 이를 입증했습니다. 이를 통해 아키텍처와 무관한 능력 전이가 가능함을 보였습니다.

4. 실험 결과 (Results)

저자들은 Qwen3, Gemma-3 등 다양한 Teacher 모델과 Llama-3, Qwen 등 Student 모델을 사용하여 실험을 수행했습니다.

• 벤치마크 성능:
  • WildBench, AlpacaEval 2.0, MT-Bench 등 주요 벤치마크에서 CoDIT 기반 데이터로 학습한 모델이 Vanilla (직접 생성) 및 Best-of-N (다수 생성 후 선택) 베이스라인을 압도적으로 능가했습니다.
  • 특히 WildBench 와 AlpacaEval 2.0 에서 WB-Score 와 Win Rate 가 크게 향상되었습니다.
• 기존 데이터셋 비교:
  • WildChat, Llama-3.1-LMSYS-Chat-1M-Synth, Magpie-Pro 등 기존 공개 지시 튜닝 데이터셋보다 CoDIT 데이터셋으로 학습한 모델의 성능이 모든 학생 모델에서 더 높았습니다.
• 응답 품질 분석:
  • 생성된 텍스트의 품질 (유창성, 사실성 등) 은 Vanilla 모델과 유사하게 유지되었습니다. 즉, 성능 향상은 단순히 텍스트 품질이 좋아져서가 아니라, 지시 따르기 능력이 더 순수하게 추출되었기 때문임을 확인했습니다.
• Chat Vector 증류 검증:
  • CoDIT 로 학습된 모델의 파라미터 업데이트 방향이 Teacher 모델의 Chat Vector 와 더 높은 코사인 유사도를 보였습니다. 이는 CoDIT 가 지시 튜닝 능력을 효과적으로 증류하고 있음을 의미합니다.
• RL (강화 학습) 의 영향:
  • 지시 튜닝 (IT) 만을 거친 모델과 RL 을 추가한 모델 모두에서 CoDIT 가 유효했으며, RL 을 거친 모델이 생성한 데이터가 오히려 더 강력한 증류 신호를 제공함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 지시 튜닝 데이터 생성 패러다임에 중요한 통찰을 제공합니다.

• 질적 전환: 단순히 "더 좋은 LLM 으로 더 많은 데이터를 만드는 것"을 넘어, "어떤 능력을 추출할 것인가" 에 초점을 맞춘 데이터 증류 기법을 제시했습니다.
• 범용성: Chat Vector 증류의 관점에서 CoDIT 는 모델의 아키텍처나 크기에 구애받지 않고 지시 따르기 능력을 전이할 수 있는 강력한 프레임워크임을 증명했습니다.
• 미래 방향: 추론 (Reasoning), 다중 턴 대화, 안전성 정렬 (Safety Alignment) 등 더 복잡한 작업에 대한 CoDIT 의 확장 가능성을 제시하며, 대조적 디코딩을 통한 능력 선택적 증폭이 LLM 개발의 새로운 표준이 될 수 있음을 시사합니다.

요약하자면, CoDIT는 LLM 의 "지식"과 "지시 따르기 능력"을 분리하여 후자만을 정제된 데이터로 추출함으로써, 더 효율적이고 강력한 지시 튜닝을 가능하게 하는 혁신적인 방법론입니다.