Test-Time Scaling Makes Overtraining Compute-Optimal

1. 문제 정의 (Problem Statement)

기존의 LLM 스케일링 법칙은 전처리 단계와 추론 단계를 분리하여 다루는 한계가 있었습니다.

• Chinchilla 스케일링 (Hoffmann et al., 2022): 주어진 전처리 예산 ($C_{train}$) 하에서 모델 크기 ($N$) 와 학습 토큰 수 ($D$) 를 최적화하여 손실 (Loss) 을 최소화하는 것을 목표로 합니다. 하지만 이는 추론 비용이나 반복 샘플링을 고려하지 않습니다.
• 테스트 시간 스케일링 (Test-Time Scaling): 추론 시 반복 샘플링 (Repeated Sampling, pass@k) 을 통해 성능을 높이는 전략입니다. 최근 연구들은 작은 모델을 여러 번 샘플링하는 것이 큰 모델 한 번을 사용하는 것보다 효율적일 수 있음을 보였습니다.
• 핵심 문제: 현재까지 전처리 결정 (모델 크기, 학습 데이터 양) 과 테스트 시간 전략 (샘플링 횟수) 을 동시에 최적화하는 프레임워크가 부재했습니다. 작은 모델은 샘플당 비용이 저렴하지만 성능이 낮고, 큰 모델은 그 반대입니다. 이 두 가지의 트레이드오프를 통합하여 전체 예산 (전처리 + 추론) 하에서 최적의 성능을 내는 모델을 찾는 것이 필요합니다.

2. 방법론 (Methodology: Train-to-Test Scaling)

저자들은 Train-to-Test (T2) 스케일링 법칙을 제안하며, 모델 크기 ($N$), 학습 토큰 수 ($D$), 추론 샘플 수 ($k$) 를 통합적으로 최적화합니다.

A. 계산 비용 모델

• 전처리 비용: $C_{train} \approx 6ND$
• 추론 비용: $C_{inf} \approx 2Nk$ (순전달 1 회당 $2N$ FLOPs 가정)
• 제약 조건: 총 예산 $C_{total} = C_{train} + C_{inf}$ 하에서 성능을 최적화합니다.

B. 두 가지 모델링 접근법

논문은 두 가지 서로 다른 접근법을 통해 T2 스케일링을 정립했습니다.

1. 접근법 1: 손실 (Loss) 기반 모델링

   • Chinchilla 손실 함수에 반복 샘플링 효과를 추가합니다.
   • $k$번 샘플링 시의 성공 확률인 $pass@k$를 음의 로그 우도 (Negative Log-Probability) 형태로 변환하여 손실 함수에 통합합니다.
   • 수식: $\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$
   • 여기서 $k$에 대한 항은 $pass@k$의 특성을 반영한 멱함수 (Power-law) 항입니다.

2. 접근법 2: 정확도 (Accuracy) 기반 모델링

   • 직접적으로 $pass@k$ 정확도를 모델링합니다.
   • 단일 샘플 정확도 ($p$) 와 손실 ($L$) 간의 관계를 시그모이드 함수로 매핑하고, 각 질문별 정확도 분포를 Beta 분포로 가정합니다.
   • Beta 분포의 매개변수를 손실 함수와 연결하여, $k$번 샘플링 시의 기대 정확도 $E[1-(1-Acc)^k]$를 계산합니다.
   • 이 접근법은 실제 태스크 성공 확률 (pass@k) 을 더 직관적으로 예측합니다.

C. 추론 비용 보정 (Inference Cost Correction)

• 고정된 추론 예산 ($C_{inf}$) 하에서, 작은 모델은 더 많은 샘플 ($k$) 을 할당받고, 큰 모델은 적은 샘플을 할당받도록 $k = \frac{C_{inf}}{2N}$ 관계를 적용합니다.
• 이를 통해 전처리 결정이 추론 비용에 어떻게 영향을 미치는지 분석합니다.

3. 주요 기여 (Key Contributions)

1. 종단간 (End-to-End) 최적화: 모델 크기, 데이터 양, 추론 샘플 수를 하나의 계산 예산 하에서 동시에 최적화하는 프레임워크를 정립했습니다.
2. 과훈련 (Overtraining) 의 재정의: 기존 Chinchilla 법칙 (토큰:파라미터 비율 약 20:1) 이 아닌, 극단적인 과훈련이 계산적으로 최적임을 입증했습니다.
3. 이중 검증: 손실 기반과 정확도 기반 두 가지 모델링 접근법 모두 동일한 결론 (과훈련 선호) 을 도출하여 결과의 견고성을 입증했습니다.
4. 실증적 검증: 예측된 과훈련 영역에서 실제로 모델을 학습시켜 성능 향상을 확인했고, SFT(지도 미세조정) 후에도 이 결론이 유효함을 보였습니다.

4. 실험 결과 (Results)

저자들은 100 개 이상의 모델 체크포인트 (5M~901M 파라미터) 와 8 가지 태스크 (LAMBADA, ARC, SciQ 등) 를 사용하여 실험을 수행했습니다.

• RQ1: 전처리 결정이 바뀌어야 하는가?

  • 결과: 예. 테스트 시간 예산을 고려할 때, Chinchilla 가 권장하는 것보다 훨씬 작고 더 많이 훈련된 (과훈련된) 모델이 최적입니다.
  • Figure 2 와 3 에서 보듯, 최적의 모델 크기는 Chinchilla 최적선보다 작아지고, 토큰 대 파라미터 비율은 20:1 을 훨씬 초과하는 방향으로 이동합니다.
  • 작은 모델을 여러 번 샘플링하는 전략이 큰 모델을 한 번 사용하는 것보다 효율적입니다.

• RQ2: T2 스케일링이 과훈련 체크포인트로 외삽 가능한가?

  • 결과: 예. T2 법칙으로 예측된 과훈련 영역 (20:1 이상) 에서 학습한 모델들은 Chinchilla 최적 모델보다 일관되게 우수한 성능을 보였습니다.
  • Table 1 에서 보듯, 추론 비용 보정 후 모든 태스크에서 과훈련 모델이 Chinchilla 모델을 압도했습니다.

• RQ3: T2 스케일링은 미세조정 (Post-training) 후에도 유효한가?

  • 결과: 예. SFT(지도 미세조정) 를 거친 후에도 과훈련 모델이 Chinchilla 모델보다 우세한 경향을 유지했습니다.
  • Figure 5 와 Table 2 에서 보듯, 과훈련 모델이 미세조정이 어렵다는 기존 연구 (Springer et al., 2025) 와 달리, T2 관점에서의 최적 전략은 미세조정 후에도 유효합니다. 다만, 최적 과훈련 정도는 베이스 모델 때보다 약간 완화되는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 개발 패러다임에 중요한 통찰을 제공합니다.

• 과훈련의 정당화: 현재 많은 선진 모델 (Llama, Gemma 등) 이 Chinchilla 권장치보다 훨씬 많은 토큰으로 훈련되고 있는데, 이는 단순히 실용적인 이유 (추론 비용 절감) 때문이 아니라, **반복 샘플링을 전제로 할 때 계산적으로 최적 (Compute-Optimal)**이기 때문임을 이론적으로 증명했습니다.
• 실무자 가이드: 만약 추론 시 반복 샘플링 (Test-time scaling) 을 사용할 계획이라면, 작은 모델을 더 오래 훈련시키는 전략이 더 효율적입니다.
• 미래 방향: 추론 비용 모델의 정교화, 더 큰 스케일에서의 검증, 그리고 미세조정 단계와의 통합 모델링이 향후 과제로 제시되었습니다.

요약하자면, **"테스트 시간의 계산 자원을 고려하면, 작은 모델을 Chinchilla 기준보다 훨씬 더 많이 훈련시키는 (과훈련) 것이 전체 시스템의 성능과 효율성을 극대화하는 길이다"**라는 것이 이 논문의 핵심 결론입니다.