이 논문은 **"Post-training(후속 학습) 과정에서 출력 다양성 붕괴 (Output Diversity Collapse) 가 어디서 발생하는가?"**라는 질문에 답하기 위해 수행된 연구입니다. 저자들은 언어 모델이 후속 학습 (SFT, DPO, RL 등) 을 거치면서 기본 모델 (Base Model) 에 비해 출력이 획일화되는 현상이 단순히 학습 알고리즘의 문제인지, 아니면 학습 데이터의 구성에 기인하는 것인지, 그리고 추론 시의 생성 형식 (Chain-of-Thought 등) 이 다양성 감소의 원인인지 규명했습니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 유용성, 안전성, 지시 준수 등을 높이기 위해 후속 학습 (Post-training) 을 거칩니다. 그러나 이 과정에서 모델의 출력 다양성이 급격히 감소하는 '다양성 붕괴 (Diversity Collapse)' 현상이 발생합니다.

• 이는 요약, 추론, 창의적 생성 등 다양한 작업에서 관찰됩니다.
• 다양성 붕괴는 Self-consistency(자기 일관성), Pass@k 샘플링, 추론 시 계산 확장 (Test-time scaling) 등 다양한 확장 기법의 효과를 떨어뜨립니다.
• 기존 연구들은 붕괴를 특정 알고리즘 (예: DPO, RLHF) 에만 귀인했으나, **학습 데이터의 구성 (Data Composition)**과 **학습 방법 (Training Method)**을 분리하여 분석한 연구는 부족했습니다. 또한, CoT(Chain-of-Thought) 와 같은 생성 형식 자체가 다양성을 제한하는지, 아니면 모델 가중치에 내재된 문제인지 명확하지 않았습니다.

2. 연구 방법론 (Methodology)

저자들은 오픈 가중치 및 오픈 데이터 모델인 Olmo 3를 기반으로 한 3 가지 병렬 학습 계보 (Lineage) 를 추적하여 실험을 설계했습니다. 총 13 개의 체크포인트와 15 가지 작업, 4 가지 다양성 지표를 사용했습니다.

• 학습 계보 (Lineages):
  1. Think: CoT(Chain-of-Thought) 증류 학습. 2 명의 교사 모델 (QwQ-32B, DeepSeek-R1) 에서 생성된 약 230 만 개의 합성 CoT 데이터로 SFT 후 DPO, RL 을 거침.
  2. Instruct: Think-SFT 에서 시작하여 다양한 소스 (GPT-3.5/4 등) 의 다중 소스 데이터로 SFT 후 DPO, RL 을 거침. (Think 와 동일한 3 단계 레시피 사용 but 데이터 구성 다름)
  3. RL-Zero: SFT 와 DPO 를 완전히 우회하고 기본 모델 (Base) 에서 직접 RL 을 적용한 모델.
• 핵심 실험 설계:
  • 단계별 다양성 추적: SFT, DPO, RL 각 단계마다 15 가지 작업에서 다양성 지표 (SBERT, EAD, NLI, Vendi Score) 를 측정.
  • CoT 억제 실험: Think 모델에서 추론 시 CoT 생성을 강제로 제거 (Empty block 채우기) 하고, 모델 가중치만 유지한 채 다양성이 회복되는지 확인.
  • 품질 필터링 분해: 다양성 감소를 '잘못된 출력 제거 (품질 통제)'와 '정답 내의 진정한 축소 (Residual narrowing)'로 분해하여 분석.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 붕괴 위치는 데이터 구성에 따라 달라짐 (Data Composition Drives Collapse)

• Think 계보: SFT 단계에서 가장 큰 다양성 손실 (평균 62% 감소) 을 겪었습니다. 이는 2 명의 교사 모델에서 나온 좁은 범위의 CoT 데이터로 학습했기 때문입니다. 이후 DPO 단계에서는 추가 감소가 미미했습니다.
• Instruct 계보: SFT 단계에서는 Think 보다 덜 붕괴되었으나, DPO 단계에서 가장 큰 손실을 겪었습니다. 이는 다중 소스 데이터로 SFT 후 DPO 가 기존에 남아있던 다양성을 강력하게 압축했기 때문입니다.
• RL-Zero: SFT 와 DPO 를 우회했으므로 기본 모델의 다양성을 90% 이상 유지하며 붕괴가 거의 발생하지 않았습니다.
• 결론: 동일한 3 단계 학습 레시피 (SFT→DPO→RL) 를 사용하더라도 **상류 데이터의 구성 (Data Composition)**이 다양성 붕괴가 언제, 얼마나 심하게 발생하는지를 결정합니다.

② 다양성 붕괴는 모델 가중치에 내재됨 (Collapse is in Weights, not Format)

• Think 모델에서 추론 시 CoT 형식을 제거하고 직접 답변을 생성하도록 했을 때, 정확도는 하락했으나 다양성은 회복되지 않았습니다.
• 이는 CoT 형식 자체가 다양성을 제한하는 것이 아니라, 학습 데이터 (좁은 CoT 증류) 를 통해 모델 가중치에 다양성 붕괴가 이미 고정되었음을 의미합니다.
• CoT 는 어려운 문제에서 모델이 학습된 전략을 수행하는 데 도움을 주지만 (정확도 향상), 답변 수준의 다양성 분포를 넓히지는 못합니다.

③ 작업 의존적 분해 (Task-Dependent Decomposition)

• 다양성 감소를 '오류 제거'와 '정답 내 축소'로 나누어 분석한 결과, 그 비율은 작업에 따라 달랐습니다.
  • 코드/수학 작업: 다양성 감소의 상당 부분이 잘못된 답을 제거하는 '품질 통제' 효과였습니다.
  • 창의적 글쓰기/가치 다원성 작업: 정답이 존재하지 않거나 다양한 관점이 필요한 작업에서는 '진정한 축소 (Genuine narrowing)'가 발생하여 모델이 특정 관점만 고수하게 되었습니다.
• 중요한 발견: Think 모델은 전체적으로는 다양성이 크게 감소했으나, 정답이 맞는 출력 내에서는 Instruct 모델보다 더 많은 다양성을 유지했습니다. 이는 RL-Zero 와 같은 모델이 높은 다양성을 유지하면서도 정확도가 낮을 수 있음을 시사합니다.

4. 의의 및 시사점 (Significance)

• 학습 데이터의 중요성: 다양성 붕괴는 추론 시의 파라미터 조절 (Temperature 등) 로 해결될 수 없으며, 학습 단계의 데이터 구성에서 결정됩니다. 따라서 SFT 데이터에 다양한 교사 모델이나 소스를 포함시키는 것이 붕괴를 완화하는 핵심입니다.
• 알고리즘 vs 데이터: 기존에 알고리즘 (DPO, RLHF) 을 비난하기보다, 어떤 데이터로 학습했는지가 더 중요함을 보여줍니다.
• 실무적 제안:
  1. SFT 데이터의 소스를 다양화 (다중 교사, 다양한 스타일) 하여 SFT 단계의 급격한 붕괴를 완화해야 합니다.
  2. KL 페널티가 없는 RL (RL-Zero 방식) 은 DPO 로 인한 의미적 축소를 부분적으로 되돌릴 수 있으나, 품질 저하와 트레이드오프가 존재합니다.
  3. 창의적 작업이나 가치 판단이 필요한 작업에서는 단일 관점의 붕괴가 치명적이므로, 데이터 구성을 신중하게 설계해야 합니다.

이 논문은 LLM 의 출력 다양성 문제가 단순히 모델의 '알고리즘'적 결함이 아니라, 학습 데이터의 편향과 구성에서 비롯된다는 점을 체계적으로 증명하고, 이를 해결하기 위한 데이터 중심의 접근법을 제시했다는 점에서 중요한 의의를 가집니다.