💬 NLP

Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs

이 논문은 최종 모델 가중치를 기반으로 학습 데이터 배치의 시점에 따른 성능을 평가하는 '학습 재평가 곡선 (TREC)'을 제안하고, 이를 사전에 예측하여 고품질 데이터를 최적의 시점에 배치함으로써 대규모 언어 모델의 학습 효율성을 극대화하는 새로운 데이터 커리큘럼 전략을 제시합니다.

원저자: Shane Bergsma, Nolan Dey, Joel Hestness

게시일 2026-02-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shane Bergsma, Nolan Dey, Joel Hestness

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 거대 언어 모델 (LLM) 을 가르칠 때, **"어떤 데이터를 언제 가르치는 것이 가장 효과적인가?"**라는 질문에 대한 놀라운 해답을 제시합니다.

기존의 일반적인 생각은 "가장 좋은 데이터 (고품질 데이터) 는 학습이 거의 끝날 때, 즉 학습률 (Learning Rate) 이 매우 작아진 마지막 단계에 넣는 것이 좋다"는 것이었습니다. 마치 학생이 시험 직전에 가장 중요한 요약 노트를 외우는 것과 비슷하죠.

하지만 이 논문의 저자들은 **"아니요, 그건 틀렸습니다. 좋은 데이터는 학습 곡선의 '가장 깊은 골짜기'에 넣어야 합니다"**라고 말합니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

1. TREC(학습 재평가 곡선): "과거를 돌아보는 거울"

이 논문의 핵심 도구를 TREC이라고 부릅니다. 이를 **"과거를 돌아보는 거울"**이라고 상상해 보세요.

상황: 모델이 학습을 마쳤다고 가정합시다. 이제 이 완성된 모델에게 "너가 처음 배웠던 내용 (학습 초기 데이터) 을 기억해?"라고 물어보고, "너가 막 배운 내용 (학습 후기 데이터) 은 기억해?"라고 다시 물어봅니다.
결과: 놀랍게도 모델은 학습 초기에 배운 내용은 많이 잊어버렸고, 학습 중반이나 특정 시점에 배운 내용은 잘 기억하고 있습니다.
TREC 곡선: 이 '기억하는 정도 (손실 값)'를 학습 시간 순서대로 그래프로 그리면, 마치 산과 골짜기가 있는 지형도처럼 생깁니다.
- 높은 곳: 모델이 그 시점의 데이터를 잘 잊어버린 곳 (기억력이 나쁨).
- 낮은 골짜기 (Valley): 모델이 그 시점의 데이터를 가장 잘 기억하는 곳 (기억력이 좋음).

핵심 통찰: 좋은 데이터를 넣을 때는 무조건 "마지막"이 아니라, 이 TREC 곡선이 가장 낮은 골짜기가 되는 시점에 넣어야 모델이 그 데이터를 가장 잘 흡수하고 기억합니다.

2. 왜 마지막이 아닌가요? (학습률의 함정)

기존의 생각은 "학습률이 작아지면 모델이 더 세밀하게 학습하므로 마지막에 좋은 데이터를 넣으면 효과가 클 것"이라고 믿었습니다.

하지만 저자들은 이를 **"학습이 끝날 무렵, 모델의 머릿속이 너무 굳어서 새로운 것을 받아들이기 힘든 상태"**라고 설명합니다.

비유: 학생이 시험을 치기 직전, 머릿속이 이미 꽉 차서 새로운 개념을 받아들이기보다 기존 지식을 정리하는 상태라면, 그 시점에 아주 중요한 새로운 공식을 가르쳐도 머리에 잘 들어오지 않습니다.
TREC 의 발견: TREC 곡선을 보면, 학습률이 떨어지기 시작하는 시점 (학습 중반) 에 오히려 모델이 새로운 정보를 가장 잘 받아들이고 오래 기억하는 '골짜기'가 형성됩니다.

3. 예측하기: "미래를 보는 수정구슬"

그런데 TREC 곡선을 보려면 모델을 일단 다 훈련시킨 뒤, 다시 과거 데이터를 하나하나 돌려보며 평가해야 합니다. 이는 시간과 돈이 너무 많이 듭니다. (이미 배운 학생에게 다시 시험을 보게 하는 셈이죠.)

이 논문은 **"우리는 이 곡선을 미리 예측할 수 있다"**고 말합니다.

비유: 마치 날씨 예보처럼, "오늘 비가 올지"를 알기 위해 하늘을 다 봐야 하는 게 아니라, 구름의 모양과 바람의 세기만 보면 비가 올지 예측할 수 있는 것과 같습니다.
예측 방법: 모델이 사용하는 최적화 알고리즘 (AdamW) 의 수학적 특성 (특히 '지수 이동 평균'이라는 개념) 을 분석하면, 학습이 끝난 후의 TREC 곡선 모양을 미리 계산해 낼 수 있습니다.
효과: 이렇게 하면 모델을 실제로 다 훈련시키기 전에, "어디에 좋은 데이터를 넣어야 할지" 미리 설계할 수 있습니다.

4. 실제 적용 사례: "수학 천재 만들기"

저자들은 이 방법을 실제로 적용해 보았습니다.

실험: 39 억 개의 파라미터를 가진 거대 모델을 훈련시켰습니다.
방법: 수학 관련 고품질 데이터를 학습의 마지막에 넣는 경우와, TREC 곡선이 가장 낮은 **중반 (골짜기)**에 넣는 경우를 비교했습니다.
결과: 중반에 넣은 경우가 훨씬 더 좋은 성능을 보였습니다. 이는 "좋은 데이터는 끝이 아니라, 모델이 가장 잘 받아들이는 골짜기에 넣어야 한다"는 가설이 맞았음을 증명합니다.

5. 요약: 우리가 배울 점

이 논문의 결론은 매우 간단하고 실용적입니다.

데이터 순서가 중요하다: 무작위로 섞거나, 무조건 마지막에 넣는 것은 비효율적입니다.
골짜기를 찾아라: 모델이 학습하는 과정에서 데이터를 가장 잘 기억하는 '골짜기 (TREC 최소점)'를 찾아야 합니다.
미리 계산하라: 이 골짜기는 모델을 다 훈련시키기 전에 수학적 공식으로 미리 예측할 수 있습니다.

한 줄 요약:

"거대 모델을 가르칠 때, 최고의 데이터를 '시험 직전'에 주지 말고, 학생이 가장 잘 받아들이는 '수업 중반의 골짜기'에 주면 훨씬 더 똑똑해질 수 있습니다. 그리고 그 골짜기는 미리 계산해서 알 수 있습니다."

이 방법은 앞으로 더 크고 똑똑한 AI 를 만들 때, 불필요한 시행착오를 줄이고 데이터를 더 효율적으로 활용하는 길잡이가 될 것입니다.

1. 문제 정의 (Problem)

LLM 훈련의 성공에 데이터 커리큘럼 (고품질 데이터나 도메인 특화 데이터를 훈련 후반부에 포함시키는 전략) 이 핵심 요소로 부상했습니다. 그러나 어떤 시점에 어떤 데이터를 배치해야 최적의 성능을 얻을 수 있는지에 대한 원칙은 여전히 불명확합니다.

기존 관행: 많은 연구자들이 학습률 (Learning Rate, LR) 이 0 에 수렴하는 훈련의 마지막 단계에 고품질 데이터를 배치하는 것이 효과적이라고 가정합니다.
한계: 이 가정이 항상 옳은 것은 아니며, 최적의 데이터 배치를 찾기 위해 수많은 비용이 드는 실험 (Ablation studies) 을 반복해야 하는 비효율성이 존재합니다.

2. 방법론 (Methodology)

2.1 훈련 재평가 곡선 (TREC) 의 정의

저자들은 TREC를 도입했습니다. 이는 훈련이 완료된 최종 모델 가중치 ( $\theta_T$ ) 를 사용하여, 훈련 과정에서 순차적으로 보았던 각 배치 ( $B_t$ ) 에 대한 손실 (Loss) 을 다시 평가한 곡선입니다.

수식: $L_{re}(t) := L(B_t; \theta_T)$
의미: TREC 가 낮을수록 해당 시점의 데이터가 최종 모델에 더 잘 유지 (Retain) 되었다는 것을 의미합니다. 즉, 모델이 훈련 초기의 데이터를 잊어버리고 (Catastrophic forgetting), 후반부 데이터를 더 잘 기억하는 경향을 보여줍니다.

2.2 핵심 가설 (Hypothesis)

가설 1: 고정된 수량의 고품질 데이터 (HQ Data) 를 TREC 가 **가장 낮은 지점 (Valley)**에 배치할 때, 타겟 태스크의 성능이 최대화됩니다.
가설 2: TREC 의 모양은 **AdamW 옵티마이저의 EMA(Exponential Moving Average) 시간 척도 (Timescale, $\tau$ $τ$ )**에 의해 주로 결정됩니다.
- $\tau = \frac{1}{\eta \lambda T} = \frac{B}{\eta \lambda D}$ (여기서 $\eta$ 는 학습률, $\lambda$ 는 가중 감쇠, $B$ 는 배치 크기, $D$ 는 토큰 수, $T$ 는 총 스텝 수)
- $\tau$ 가 커질수록 TREC 의 최소값 (Valley) 이 훈련 초기로 이동합니다.

2.3 예측 모델 (Predictive Model)

완전한 모델을 훈련한 후 TREC 를 측정하는 것은 비효율적이므로, 저자들은 사전 예측이 가능한 모델을 제안합니다.

AdamW EMA 계수: 최종 가중치에 대한 각 업데이트의 기여도를 나타내는 계수 $c(\hat{t})$ 를 계산합니다.
최소점 이동 (Minimizer Drift): 훈련fraction ( $\hat{t} = t/T$ ) 에 따라 국소 최소점 (Local Minimizer) 이 이동하는 현상을 고려합니다.
예측 식:
$\hat{L}_{re}(\hat{t}) = 1 - c(\hat{t})^p \cdot \hat{t}^m$
여기서 $m$ 은 훈련 분수 지수로, TPP(Tokens Per Parameter) 와 $\tau$ 의 멱함수 (Power-law) 관계로 예측됩니다 ( $m^* = C \cdot \text{TPP}^{\mu_1} \cdot \tau^{\mu_2}$ ).

3. 주요 기여 (Key Contributions)

TREC 도입 및 검증: 1 억 1 천만 (111M) 에서 39 억 (3.9B) 파라미터까지 다양한 규모의 모델과 20 에서 1280 TPP 까지 다양한 데이터셋에서 600 개 이상의 TREC 를 분석하여, 고품질 데이터 배치가 TREC 최소점과 일치할 때 검증 손실이 개선됨을 입증했습니다.
AdamW 시간 척도 ( $\tau$ ) 와 TREC 의 관계 규명: 학습률 스케줄, 가중 감쇠, 배치 크기 등을 변화시켜도 $\tau$ 가 동일하면 TREC 의 모양이 일치함을 발견했습니다. 이는 모델 스케일과 무관하게 TREC 를 예측할 수 있는 이론적 기반을 제공합니다.
예측 모델의 정립: AdamW 의 EMA 계수와 훈련 분수 보정항을 결합하여, 실제 훈련 전에 TREC 모양을 높은 정확도로 예측하는 수학적 모델을 제시했습니다.
실제 적용 사례:
- MoE(Mixture of Experts) 분석: 희소 MoE 구조에서 전문가 수 (Expert count) 가 증가하면 유효 TPP 가 감소하여 TREC 최소점이 더 일찍 나타남을 설명했습니다.
- 기존 연구 재해석: Llama-3 405B 가 GSM8k 데이터로 성능 향상을 얻지 못한 이유를, 학습률이 0 에 수렴하는 매우 짧은 구간 (TREC 가 다시 상승하는 구간) 에 데이터를 배치했기 때문으로 설명했습니다.
- 지속적 사전 훈련 (CPT) 개선: 39 억 파라미터 모델의 CPT 과정에서 TREC 최소점에 고품질 수학 데이터를 배치함으로써, 훈련 끝부분에 배치하는 기존 방식보다 OpenWebMath 검증 성능을 개선했습니다.

4. 실험 결과 (Results)

배치 위치 최적화: Step Decay, Linear Decay 등 다양한 학습률 스케줄에서, TREC 최소점에 고품질 데이터를 배치한 모델이 균일 배치나 훈련 끝부분 배치보다 검증 손실이 유의미하게 낮았습니다.
스케일 불변성 (Scale Invariance): 모델 크기 (111M ~ 3.3B) 와 TPP 가 달라도, $\tau$ 와 TPP 가 일정하게 유지되면 TREC 의 모양이 정렬 (Align) 되었습니다.
예측 정확도: 111M 모델로 학습된 멱함수 계수를 사용하여 3.3B 모델의 TREC 를 예측했을 때, 형태 상관관계 (Pearson correlation) 가 약 98% 에 달했습니다.
CPT 실험: 3.9B 모델의 CPT 단계에서 TREC 최소점 (훈련 중간) 에 고품질 데이터를 배치한 것이, 학습률이 0 에 수렴하는 끝부분에 배치한 것보다 더 좋은 성능을 보였습니다. (단, 학습률이 너무 높으면 과적합/기억화 현상으로 인해 성능이 저하되기도 함)

5. 의의 및 결론 (Significance)

원칙 기반의 커리큘럼 설계: TREC 는 데이터 배치에 대한 경험적 휴리스틱 (Heuristic) 이나 고비용 실험을 대체할 수 있는 이론적이고 예측 가능한 도구를 제공합니다.
비용 절감: 모델을 여러 번 훈련하지 않고도, 작은 모델이나 예측 모델을 통해 최적의 데이터 배치 시점을 사전에 파악할 수 있어 연산 비용을 크게 절감할 수 있습니다.
기존 전략의 한계 극복: "훈련 마지막에 고품질 데이터를 넣는다"는 관행이 항상 최선이 아님을 증명하고, 학습률 스케줄과 옵티마이저 동역학에 기반한 정밀한 배치를 가능하게 합니다.
미래 지향성: 이 연구는 LLM 훈련의 "기억 (Memorization)"과 "일반화 (Generalization)" 사이의 균형을 이해하고, 지속적인 학습 (Continual Learning) 및 커리큘럼 학습을 최적화하는 데 중요한 통찰을 제공합니다.

요약하자면, 이 논문은 TREC라는 새로운 지표를 통해 LLM 이 훈련 데이터 중 어떤 시점의 데이터를 가장 잘 기억하는지를 정량화하고, 이를 바탕으로 고품질 데이터를 최적의 시점에 배치하는 예측 가능한 프레임워크를 제시함으로써 LLM 훈련 효율성을 획기적으로 높였습니다.