기술 요약: 추론을 위한 데이터 선택의 용량 의존적 효과

문제 정의

추론 작업(reasoning tasks)을 위한 대규모 언어 모델(LLM)의 지도 미세 조정(SFT) 과정에서, 단일 지시문에 대한 후보 응답들의 이질성(heterogeneity)은 중요한 과제로 부상한다. 강력한 교사 모델(teacher models)에 의해 생성된 응답이라 할지라도, 학생 모델(student model)의 현재 분포와 얼마나 잘 일치하는지는 크게 다를 수 있다. GRAPE(Zhang et al., 2025)와 같은 최근 연구는 안정적인 최적화를 보장하기 위해 고확률 응답(학생의 현재 정책과 가장 유사한 응답)을 선택할 것을 제안했다. 반면, 전통적인 능동 학습(active learning) 및 데이터 선택 문헌은 모델을 현재 역량 너머로 밀어붙이기 위해 저확률(어려운) 예시를 옹호하는 경우가 많다.

본 논문은 다음과 같은 근본적인 갈등을 조사한다: 고확률 데이터가 항상 최상의 추론 성능을 보장하는가, 아니면 그 효용성이 학생 모델의 용량(capacity)과 훈련 기간에 따라 달라지는가? 저자들은 "쉬운"(고확률) 데이터가 항상 선호된다는 가설에 이의를 제기하며, 확률 기반 선택의 가치는 학생 모델이 도전적인 감독(supervision)을 흡수할 수 있는 충분한 표현 용량을 보유하고 있는지 여부에 달려 있다고 주장한다.

방법론

저자들은 데이터의 가능도(likelihood)와 모델 용량의 효과를 분리하기 위해 다양한 모델 규모와 훈련 기간에 걸쳐 통제된 실험을 수행한다.

• 데이터셋 및 모델: 실험에는 MATH12K 데이터셋을 활용한다. 교사 모델(Qwen2.5-72B 및 Gemma-3-27B-it)은 각 지시문에 대해 여러 개의 후보 응답을 생성한다. 학생 모델은 다양한 Qwen 및 Llama 제품군을 포함하여 1.5B에서 8B 파라미터 범위에 이른다.
• 선택 전략: 각 지시문에 대해 두 가지 구별된 데이터셋을 구축한다:
  • $D_{high}$: 베이스 학생 모델 하에서 로그 가능도(log-likelihood)가 가장 높은 응답들.
  • $D_{low}$: 베이스 학생 모델 하에서 로그 가능도가 가장 낮은 응답들.
• 훈련 프로토콜: 모델은 5 에포크(epoch) 동안 전체 파라미터 SFT를 거친다. 성능은 10개의 다양한 수학적 추론 벤치마크(예: AIME, AMC, GPQA, MATH)에 대한 pass@1을 사용하여 평가된다.
• 분석: 연구는 두 가지 관점에서 학습 역학(learning dynamics)을 분석한다:
  1. 교사 관점(Teacher View): 학생의 출력을 교사 모델 하에서 측정하여 교사 분포와의 정렬도를 평가한다.
  2. 원래 모델 관점(Original Model View): 학생의 출력을 학생 자신의 베이스 모델 하에서 측정하여 분포 변화(distribution shift)를 평가한다.
• 이론적 프레임워크: 저자들은 선형 분류기를 사용하여 용량 제한이 있는 증류(capacity-constrained distillation)에 대한 이론적 분석을 제공한다. 학생의 가용 파라미터 공간을 부분 공간(subspace)으로 모델링하고, 데이터 스팬(data span)의 이 부분 공간에 대한 투영을 기반으로 지식이 교사로부터 학생으로 어떻게 전달되는지 분석한다.

주요 결과

1. "빠른 적응 / 느린 이득" 패턴 (The "Fast-Fit / Slow-Gain" Pattern)

실험 결과, 학습 역학에서 명확한 용량 의존적 이분법이 드러났다:

• 소형 모델 (예: 1.5B, 3B): 고확률 데이터는 뚜렷한 초기 이점("Fast-Fit")을 제공한다. 이 모델들은 신속하고 안정적인 개선을 달성하며 종종 조기에 정점에 도달한다. 저확률 데이터는 의미 있는 이득을 제공하지 못하며, 모델은 감독 내용을 흡수하는 데 어려움을 겪어 종종 추론 능력을 향상시키지 못하는 반복적이거나 얕은 출력만을 생성한다.
• 대형 모델 (예: 7B, 8B): 고확율 데이터가 여전히 강력한 초기 이득을 제공하지만, 저확률 데이터는 "Slow-Gain" 궤적을 보여준다. 초기에 뒤처지기는 하지만, 충분한 훈련 기간(예: 2~5 에포크 이후)이 주어지면 이 모델들은 고확률 데이터로 훈련된 모델의 성능을 결국 추월한다. 저확률 데이터는 대형 모델을 교사 분포로 밀어붙여, 고확률 데이터로는 도달할 수 없는 더 강력한 추론 능력을 끌어낸다.

2. 학습 역학 및 분포 변화

• 교사 정렬 (Teacher Alignment): 저확률 데이터로 훈련된 소형 모델은 교사 분포에 가까워지지 못하고 때로는 더 멀어지기도 한다. 반면, 대형 모델은 저확률 데이터로 훈련될 때 교사 손실(teacher loss)을 성공적으로 감소시켜 효과적인 지식 전달을 보여준다.
• 안정성: 소형 모델은 저확률 데이터에 노출될 때 불안정한 학습 역학과 분포 변화를 보이며, 종종 단순 암기식 반복으로 회귀한다. 대형 모델은 더 안정적이고 집중적인 방식으로 적응하며, 더 높은 전역 정점(global peaks)에 도달하기 위해 최적화 경관(optimization landscape)을 성공적으로 통과한다.

3. 이론적 통찰

이론적 분석은 이러한 관찰을 공식화한다. 이는 지식 전달가 데이터 스팬(데이터가 교사에 대해 드러내는 것)과 학생의 가용 파라미터 공간(학생이 표현할 수 있는 것)의 교차점에 의해 제한된다고 상정한다.

• 고용량 학생의 경우, 가용 공간은 어려운(저확률) 데이터가 드러내는 지식 격차를 포착할 만큼 충분히 크다.
• 저용량 학생의 경우, 가용 공간은 엄격한 부분 공간이다. 만약 저확률 데이터에 의해 드러난 지식이 이 부분 공간 밖에 있다면, 학생은 이를 학습할 수 없으므로 감독은 효과가 없다. 고확률 데이터는 학생의 현재 표현과 더 가깝기 때문에 이 가용 공간 내에 존재하며, 점진적이지만 제한적인 개선을 가능하게 한다.

주요 기여

1. 용량 의존적 데이터 선택: 본 논문은 고확률 데이터가 보편적으로 최적은 아님을 입증한다. 확률 기반 선택의 효용성은 데이터 분포, 모델 용량, 그리고 컴퓨팅 예산 사이의 상호작용에 의해 결정된다.
2. 학습 역학 분석: 저자들은 "Fast-Fit / Slow-Gain" 현상을 규명하여, 소형 모델은 빠른 수렴을 위해 쉬운 데이터의 혜택을 받는 반면, 대형 모델은 장기적인 능력 확장을 위해 어려운 데이터가 필요함을 보여준다.
3. 이론적 프레임워크: 증류에 대한 용량 제한적 관점을 개발하여, 성공적인 전달을 위해서는 노출된 교사의 지식이 학생의 표현 가능한 부분 공간 내에 있어야 함을 보여준다. 이는 왜 저확률 데이터가 소형 모델에게는 실패하지만 대형 모델에게는 성공하는지를 설명한다.

의의 및 주장

본 논문은 추론을 위한 데이터 선택 전략이 일률적인 규칙(one-size-fits-all)으로 취급되어서는 안 된다고 결론짓는다. 대신, 실무자들은 자신의 설정에 따른 구체적인 제약 조건을 고려해야 한다:

• 소형 모델 또는 제한된 컴퓨팅 예산의 경우: 빠르고 안정적이며 효율적인 초기 개선을 달성하기 위해 고확률 데이터가 바람직하다.
• 충분한 훈련 예산이 있는 대형 모델의 경우: 저확률 데이터가 점점 더 가치 있어지며, 모델을 교사 분포로 밀어붙임으로써 최종 성능을 크게 높일 수 있는 잠재력을 제공한다.

저자들은 "최선의" 데이터 선택 전략은 맥락 의존적이며, 학생의 용량과 가용한 훈련 기간에 의해 공동으로 결정된다는 점을 강조한다. 이 연구는 단순한 휴리스틱을 넘어 더 미묘하고 용량 인지적인 접근 방식을 통해 증류와 데이터 엔지니어링에 대한 이해를 정교화한다.