💬 NLP

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

이 논문은 일반적인 직관과는 반대로, 사고 사슬(chain-of-thought) 데이터에 대한 지도 미세 조정이 단일 에포크를 위해 데이터셋 크기를 키우기보다는 완전한 암기에 도달할 때까지 더 작은 데이터셋으로 반복 학습함으로써 더 우수한 추론 성능을 달성한다는 것을 입증한다.

원저자: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 주의력이 산만한 학생에게 복잡한 수학 문제나 심오한 과학 질문 같은 매우 어려운 퍼즐을 푸는 법을 가르치려 한다고 상상해 보십시오. 인공지능의 세계에서 이 학생은 텍스트를 읽으며 학습하는 컴퓨터 프로그램인 '언어 모델'입니다. 모델이 추론을 잘할 수 있도록 만들기 위해, 과학자들은 '지도 미세 조정(Supervised Fine-Tuning, SFT)'이라는 과정을 사용합니다. 이것은 마치 학생에게 거장인 선생님이 작성한 예시 풀이들을 뭉치로 주는 것과 같습니다. 학생은 이 예시들을 읽고, 스스로 유사한 문제를 해결할 수 있을 때까지 단계별로 사고하는 과정을 모방하려고 노력합니다.

오랫동안 머신러닝의 황금률은 "많을수록 좋다"였습니다. 직관은 간단합니다. 학생이 잘 배우기를 원한다면, 방대한 양의 독특한 책들을 주어야 한다는 것입니다. 더 많은 다양한 예시를 볼수록 새로운 상황에 더 잘 일반화할 수 있다는 논리입니다. 이는 10,000권의 서로 다른 이야기를 읽는 것이 항상 100권의 같은 이야기를 반복해서 읽는 것보다 낫다고 믿는 것과 같습니다. 하지만 만약 이 규칙이 틀렸다면 어떨까요? 만약 이러한 특정 유형의 "추론" 학습을 위해서라면, 비밀은 더 큰 도서관이 아니라 더 작은 도서관에 대한 깊은 이해에 있다면 어떨까요? 이것이 COLM 2026 컨퍼런스에서 발표된 한 새로운 논문이 던지는 질문이며, AI가 생각하는 법을 배우는 방식에 대한 우리의 기본 가정을 뒤흔들고 있습니다.

이 연구의 연구자들은 "많을수록 좋다"는 규칙을 테스트하기 위해 일련의 통제된 실험을 수행하기로 했습니다. 그들은 표준 AI 모델을 가져와 '사고의 사슬(Chain-of-Thought)' 데이터, 즉 모델이 답을 내기 전에 문제를 단계별로 생각하는 과정을 배우는 길고 상세한 추론 흔적을 가지고 학습시켰습니다. 그들은 엄격한 예산을 설정했습니다: 고정된 "컴퓨팅 노력"(마치 학생에게 허용된 공부 시간과 같은 개념)입니다. 그런 다음 두 가지 전략을 비교했습니다. 전략 A는 학생에게 엄청난 양의 독특한 예시(51,200개 샘 샘플)를 주되, 전체 뭉치를 단 한 번만 읽게 하는 것이었습니다. 전략 B는 아주 적은 양의 예시(적게는 200개 또는 400개 샘플)를 주되, 그 작은 뭉치를 여러 번, 아주 많이—최대 128번까지—읽게 하는 것이었습니다.

결과는 놀랍고도 직관에 반했습니다. 연구 결과, 작은 뭉치를 반복해서 읽은 학생(전략 B)이 방대한 도서관을 단 한 번 훑어본 학생보다 새로운 어려운 문제를 해결하는 데 훨씬 더 뛰어난 능력을 보였습니다. AIME 수학 경시 대회나 GPQA 과학 퀴즈와 같은 어려운 벤치마크에서, 400개의 샘플을 128 에포크(반복 횟수) 동안 학습한 모델은 51,200개의 샘플을 단 1 에포크 동안 학습한 모델보다 압도적인 차이로 앞섰으며, 정확도를 12~26%포인트나 향기시켰습니다. 이는 마치 몇 가지 핵심 이야기를 완벽하게 암기한 학생이 수천 권의 책을 대충 훑어본 학생보다 새로운 미스터리를 더 잘 풀 수 있는 것과 같습니다.

논문은 또한 왜 이런 현상이 발생하는지, 그리고 그 한계는 무엇인지 탐구했습니다. 연구진은 이 개선이 새로운 사실을 배웠기 때문이 아니라, 추론의 구조를 "암기"했기 때문에 발생했다는 것을 발견했습니다. 모델이 작은 데이터셋을 반복함에 따라, 모델은 훈련 예시의 다음 단어를 거의 완벽한 정확도(100%)로 예측할 수 있는 지점에 도달했습니다. 모델이 훈련 데이터에 대해 이 "완전한 암기" 상태에 도달했을 때, 새로운 테스트에 대한 성능 향상은 멈추고 정체되었습니다. 이는 이 특정 유형의 학습을 위해, 목표는 가능한 한 많은 서로 다른 예시를 보는 것이 아니라, 추론의 패턴이 체득될 때까지 그것을 내면화하는 것이라는 점을 시사합니다.

흥미롭게도, 연구진은 이 "반복"이 모델이 알고 있던 다른 모든 것을 잊게 만드는 현상(이를 '파괴적 망각'이라 부릅니다)을 일으키는지 확인했습니다. 그들은 작은 데이터셋을 반복하는 것이 방대한 데이터셋을 한 번 읽는 것보다 오히려 망각을 덜 일으킨다는 것을 발견했습니다. 추론 구조를 깊이 연습함으로써, 모델은 자신의 논리에 더 확신을 갖게 되었고, 일반적인 지식을 잃지 않으면서 과업을 수행하는 데 도움이 된 것으로 보입니다.

하지만 저자들은 이것이 모든 문제를 해결하는 마법의 탄환이라고 부르는 것에는 주의를 기울입니다. 예를 들어, 예시를 제공하는 교사가 약하거나 예시가 틀렸을 경우, 이 이점은 달라집니다. 또한 그들은 "반복의 이점"이 견고하긴 하지만, 왜 데이터를 암기하는 것이 일반화에 도움이 되는지에 대한 정확한 이유는 여전히 미스터리라는 점을 언급했습니다. 그들은 모델이 완전히 새로운 것을 배우기보다는 이미 가지고 있던 숨겨진 능력을 끌어내고 있는 것일 수도 있다고 제안합니다.

요약하자면, 이 논문은 AI에게 추론을 가르치는 데 있어 우리가 점점 더 큰 데이터셋을 찾는 데 시간을 낭비하고 있을지도 모른다는 점을 시사합니다. 대신, 작지만 고품질인 추론 예시 세트를 가져와서 모델이 그것을 속속들이 알 때까지 공부하게 함으로써 더 나은 결과를 얻을 수 있습니다. 저자들은 새로운 실질적인 규칙을 제안합니다: 모델이 훈련 텍스트를 완벽하게 예측할 수 있을 때까지 작은 데이터셋으로 계속 학습시키고, 그 후에 멈추라는 것입니다. 비록 그들은 왜 이런 현상이 일어나는지에 대해 완전히 설명하지는 못했지만, 때로는 AI의 세계에서 같은 페이지를 100번 읽는 것이 100개의 서로 다른 페이지를 훑어보는 것보다 훨씬 더 강력할 수 있음을 보여주었습니다.

기술 요약: Long-CoT 지도 미세 조정(SFT)에서 데이터 반복이 데이터 스케일링보다 우수하다

문제 정의

표준적인 머신러닝 직관은 더 많은 고유 샘플로 학습하는 것이 더 나은 일반화 성능을 낸다고 가정하며, 이는 대규모 언어 모델(LLM)의 사전 학습 및 사후 학습 과정에서 고유 코퍼스 규모를 키우는 원동력이 되어 왔습니다. 그러나 고품질의 긴 Chain-of-Thought(CoT) 데모는 희소하며, 종종 값비싼 인간 주석이나 더 큰 모델로부터의 정교한 증류(distillation)를 필요로 합니다. 이러한 희소성은 중요한 질문을 던집니다: 고정된 계산 예산(총 그래디언트 업데이트 횟수) 하에서, 대규모 데이터셋을 1 에포크(epoch) 동안 학습하는 것이 더 효과적인가, 아니면 작은 데이터셋을 여러 에포크 동안 학습하는 것이 더 효과적인가? 본 논문은 데이터 다양성이 항상 우월하다는 기존의 가설에 이의를 제기하며, 추론 모델의 지도 미세 조정(SFT) 단계에서 데이터 반복이 데이터 스케일링을 대체할 수 있는지 조사합니다.

방법론

저자들은 총 업데이트 예산을 일정하게 유지하면서 데이터 반복과 데이터 스케일링의 효과를 분리하기 위해 통제된 실험을 수행합니다.

모델: 실험에는 최근 3가지 언어 모델인 Olmo3-7B, Qwen3-8B, Qwen3-4B의 베이스 체크포인트를 사용합니다. 이 모델들은 SFT 역학을 위한 깨끗한 시작점을 확보하기 위해 지시어 튜닝(instruction tuning) 전 단계의 상태로 사용됩니다.
데이터셋: 주요 데이터셋은 수학, 코딩, 지시 이행을 다루는 증류된 긴 CoT 데모 모음인 "Dolci SFT 7B"입니다. 저자들은 200개에서 51,200개 샘플에 이르는 중첩된 훈련 분할(nested training splits)을 생성하여, 작은 세트가 큰 세트의 부분 집합이 되도록 보장합니다. 추가 실험에서는 Qwen3-0.6B 및 Qwen3-8B 교사 모델로부터 증류된 수학 특화 데이터를 사용하며, 최종 정답의 정확도(긍정적 궤적 vs 부정적 궤적)에 따라 구분하였습니다.
실험 그리드: 핵심 실험 설계는 고유 샘플 수( $N$ )와 훈련 에포크 수( $E$ )를 변화시키되, 그 곱인 $N \times E$ (업데이트 예산)를 일정하게 유지하는 것입니다. 예를 들어, 51,200개의 업데이트 예산은 51,200개의 샘플을 1 에포크 동안 학습하거나, 3,200개의 샘플을 16 에포크 동안 학습하거나, 200개의 샘플을 256 에포크 동안 학습함으로써 달성됩니다.
평가: 모델은 세 가지 까다로운 추론 벤치마크인 AIME 2024, AIME 2025, GPQA를 통해 평가됩니다. 평가지표는 다음과 같습니다:
- Accuracy@n: $n$ 번의 독립적인 생성에 대한 평균 정확도.
- Pass@n: $n$ 번의 시도 중 적어도 한 번 문제를 해결한 비율.
- 종료율(Termination Rate): 종료 토큰(end-of-sequence token)으로 성공적으로 결론을 맺는 생성의 비율.
- 파괴적 망각(Catastrophic Forgetting): 일반 지식 보유 능력을 평가하기 위해 MMLU 성능을 통해 측정.
훈련 역학: 연구는 모델의 암기(memorization), 검증 손실(validation loss), 예측 엔트로피(prediction entropy)를 추적하여 수렴 동작을 이해합니다.

주요 결과

1. 반복의 이점

표준적인 스케일링 법칙과는 반대로, 실험 결과는 고정된 업데이트 예산 하에서 작은 데이터셋에 대해 더 많은 에포크 동안 학습하는 것이 더 적은 에포크 동안 대규모 데이터셋을 학습하는 것보다 실질적으로 더 우수한 성능을 보임을 입증합니다.

성능 향상: 51,200 업데이트 예산을 가진 Olmo3-7B 모델의 경우, 400개 샘플로 128 에포크 동안 학습하는 것이 51,200개 샘플을 1 에포크 동안 학습하는 것보다 AIME 및 GPQA 벤치마크에서 12~26% 포인트 더 높은 성능을 보였습니다.
일관성: 이러한 경향은 다양한 모델 크기(Olmo3-7B, Qwen3-8B, Qwen3-4B), 다양한 벤치마크, 그리고 다양한 데이터 소스(일반 Dolci 데이터셋 vs 수학 특화 증류 데이터) 전반에 걸쳐 나타납니다.
포화 지점: 추가 에포크에 따른 성능 향상은 약 32~64 에포크 부근에서 정체되기 시작하며, 이는 더 이상의 반복이 한계 효용 체감을 유발하는 포화 지점이 존재함을 시사합니다.

2. 암기(Memorization)를 통한 중단 기준

저자들은 훈련 세트 암기와 다운스트림 성능 사이의 강력한 상관관계를 확인했습니다.

토큰 정확도: 에포크 수가 증가함에 따라 훈련 세트 토큰에 대한 모델의 정확도는 100%에 근접합니다(완전 암기).
수렴 신호: 다운스트림 성능 향상은 모델이 훈련 데이터에 대해 거의 완벽한 토큰 수준의 정확도를 달성하는 시점에 정확히 정체됩니다. 이는 훈련 토큰 정확도가 무분별한 데이터 스케일링을 대체할 수 있는 실용적이고 데이터 독립적인 에포크 스케일링 중단 기준으로 사용될 수 있음을 시사합니다.

3. 종료(Termination) 및 추론 구조

종료율과 정확도 사이에는 강한 상관관계가 존재합니다. 단일 에포크 모델은 종종 종료에 실패하는 반면(종료율 24%), 다중 에포크 모델(32 에포크)은 높은 종료율(89%)을 달ей합니다. 이는 반복 학습이 단순히 추론 패턴뿐만 아니라 긴 추론 과정을 마무리하는 구조적 관습까지 모델이 내재화하도록 돕는다는 것을 나타냅니다.

4. 데이터 품질 및 오류에 대한 강건성

교사 모델의 품질: 반복의 이점은 증류된 데이터가 약한(0.6B) 교사 모델에서 왔는지 혹은 강한(8B) 교사 모델에서 왔는지와 관계없이 지속되었습니다. 그러나 약한 교사를 사용할 경우, 총 업데이트 예산을 늘리는 것(데이터 스케일링)은 오히려 성능 저하를 초래할 수 있으며, 이는 "약한 모델에서 강한 모델로의 일반화(weak-to-strong generalization)" 문제를 반영합니다.
부정적 궤적(Negative Trajectories): 놀랍게도 잘못된 추론 궤적(부정적 궤적)을 학습하는 것은 성능을 저하시키지 않으며, 일부 사례(AIME'24, GPQA)에서는 올바른 궤적을 학습했을 때와 비슷하거나 오히려 약간 더 나은 성능을 보이기도 했습니다. 이는 결함이 있더라도 어려운 추론 시도에 노출되는 것이 학생 모델에게 도움이 된다는 것을 시사합니다.

5. 파괴적 망각

작은 데이터셋에 대한 다중 에포크 학습은 과적합(검증 손실 상승, 엔트로피 감소)을 유발하지만, 단일 에포크 대규모 데이터 학습과 비교했을 때 추가적인 파괴적 망각을 일으키지는 않습니다. 사실, 에포크 스케일링은 데이터 스케일링보다 MMLU 벤치마크에서의 성능 저하가 적었으며, 추론 성능과 지식 보유 사이의 훨씬 더 나은 트레이드오프를 제공합니다.

의의 및 주장

본 논문은 긴 CoT SFT에서 작은 데이터셋의 완전한 암기가 어떻게 일반화 성능 향상과 일치할 수 있는지에 대한 역설적인 현상인 "반복의 이점"을 제시합니다.

실용적 휴리스틱: 저자들은 추론 SFT를 위한 실용적인 접근법으로, 고유한 데이터를 확장하는 대신 토큰 정확도가 포화될 때까지 에포크를 확장하는 방식을 제안합니다. 이는 방대한 양의 고유 CoT 데이터를 확보하는 것에 대한 비용 효율적인 대안이 됩니다.
열린 문제: 본 논문은 왜 반복 하의 암기가 이 특정 맥락에서 일반화를 개선하는지에 대한 설명을 커뮤니티의 새로운 열린 문제로 명시적으로 규정합니다. 저자들은 상관관계(암기, 종료 동작)를 식별했으나, 결정적인 인과 기제는 여전히 이해되어야 할 과제로 남겨두었습니다.
패러다임 전환: 본 연구의 결과는 사용 가능한 가장 큰 데이터셋을 사용하여 단일 에포크 학습을 하는 기존 업계의 관행에 도전하며, 추론 SFT에서 에포크 수와 데이터 크기가 제1순위 결정 변수로 취급되어야 함을 시사합니다.

결론적으로, 추론 중심의 SFT를 위해서는 "더 많은 고유 샘플"이 항상 좋은 것은 아니며, 고정된 계산량 하에서는 고품질의 작은 데이터셋에 대해 "더 많은 에포크"를 수행하는 것이 더 우수한 전략입니다.