🤖 machine learning

Less is More: Early Stopping Rollout for On-Policy Distillation

본 논문은 온-폴리시 증류에서 발생하는 "오프-폴리시 교사 붕괴" 문제를 규명하고, 초기 응답 토큰으로만 훈련을 제한하는 전략인 초기 중단 롤아웃 (ESR) 을 제안하며, 이는 "연쇄 정렬"과 "하위 모드 전념"과 같은 메커니즘을 통해 효율성과 안정성 측면에서 전체 롤아웃 방법보다 경험적으로 우월할 뿐만 아니라 교사 성능까지 능가함을 보여줍니다.

원저자: Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Less is More: Early Stopping Rollout for On-Policy Distillation"이라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 정리한 것입니다.

핵심 아이디어: 교사가 지쳐버리는 것을 막으세요

마스터 교사 (교사 AI) 가 어려운 수학 문제를 푸는 모습을 보며 학생 (학생 AI) 이 문제를 푸는 법을 배우려 한다고 상상해 보세요.

기존 방법 (온-정책 증류, On-Policy Distillation) 에서는 학생이 문제를 단계별로 풀려고 합니다. 학생이 한 글자나 숫자를 쓸 때마다 교사는 지금까지 학생이 쓴 내용을 보고 다음에 무엇을 써야 하는지에 대한 "점수"나 "힌트"를 줍니다. 그리고 학생은 교사의 스타일을 따라 하려고 노력합니다.

문제점: 이 논문은 이 과정에서 "오프-정책 교사 감쇠 (Off-Policy Teacher Decay)"라는 결함을 발견했습니다.

비유: 교사는 천재 요리사라고 가정해 봅시다. 요리 시작 단계에서 교사는 완벽한 지시를 내립니다. 하지만 학생이 요리를 시작하면서 사소한 실수를 하거나 교사가 의도하지 않은 이상한 경로를 택할 수 있습니다.
학생이 너무 오래 진행하면 (매우 긴 이야기나 해설을 작성하면), 교사는 결국 학생의 이상한 경로에 혼란을 느낍니다. 교사는 마스터 요리사처럼 행동하는 것을 멈추고, 학생의 논리를 교정하기보다는 문장을 마무리하기 위해 다음 단어를 추측하는 일반적인 자동 완성 도구처럼 행동하기 시작합니다.
학생이 긴 답변의 끝에 도달할 때쯤이면 교사의 조언은 더 이상 도움이 되지 않습니다. 그저 "빈칸을 채우는" 수준이 되어버린 것입니다.

해결책: "조기 중단" 규칙

저자들은 "조기 중단 롤아웃 (Early Stopping Rollout, ESR)"이라는 간단한 해결책을 제안합니다.

비유: 학생이 10 페이지 분량의 에세이를 모두 작성하게 하고 교사가 모든 단어를 채점하게 하는 대신, 학생에게 이렇게 말해 보세요. "처음 3 단락만 작성한 뒤 멈추세요."
교사는 그 처음 3 단락만 채점합니다.
마법 같은 효과: 교사가 에세이의 나머지 부분을 결코 보지 못하더라도, 학생은 그 처음 몇 단락에서 매우 잘 배워서 나머지 부분을 스스로 완성할 수 있습니다. 오히려 전체를 채점받았을 때보다 더 잘해내는 경우가 많습니다.

왜 이것이 작동할까요? (비밀 소스)

이 논문은 왜 조기 중단이 그토록 잘 작동하는지 조사했고, 두 가지 주요 이유를 발견했습니다.

1. "도미노 효과" (연쇄적 정렬)

비유: 이야기의 처음 몇 문장은 무대를 설정하는 것과 같습니다. 배경, 등장인물, 주요 목표를 올바르게 설정하면 이야기의 나머지는 자연스럽게 따라옵니다.
논문은 응답의 처음 100 개의 토큰 (단어) 에 보통 전략 (예: "이 삼각형의 넓이를 찾아야 해") 이 포함되어 있음을 발견했습니다. 응답의 나머지는 단순히 실행 (수학 계산 수행) 일 뿐입니다.
학생을 전략 부분 (첫 번째 부분) 에만 훈련시킴으로써, 학생은 교사의 "마인드셋"을 배우게 됩니다. 일단 전략이 고정되면, 학생은 모든 단계를 일일이 지시받지 않아도 자연스럽게 실행 방법을 파악하게 됩니다.

2. "최고의" 경로 선택 (하위 모드 확정)

비유: 때로는 교사가 다소 결단력이 부족할 수 있습니다. 문제를 푸는 두 가지 방법이 있을 수 있습니다. 길고 장황한 방법과 짧고 영리한 방법입니다. 학생에게 긴 답변 전체를 복사하도록 강요하면, 학생은 혼란을 겪고 장황함까지 따라 하려고 합니다.
하지만 학생에게 시작 부분만 보여준다면, 학생은 *"아, 교사는 짧고 영리한 방법으로 시작했구나!"*라고 깨닫게 됩니다. 학생은 그 짧고 효율적인 경로에 집중하게 됩니다.
학생이 교사의 길고 산만하게 이어지는 끝부분을 복사하도록 강요받지 않기 때문에, 학생은 결국 교사 자신보다 더 빠르고 뛰어나게 됩니다.

결과: 더 빠르고, 저렴하며, 똑똑해짐

이 논문은 수학, 코딩, 함수 호출 등 다양한 작업과 다양한 크기의 AI 모델을 대상으로 이를 테스트했습니다.

성능: "조기 중단" 방식은 "전체 길이" 방식보다 일관되게 우위를 점했습니다. 많은 경우, 학생 AI 가 실제로 교사 AI 보다 더 똑똑해졌습니다.
안정성: 교사 AI 와 학생 AI 가 서로 다른 "가족" (예: Qwen 모델이 Gemma 모델을 가르치는 경우) 일 때, 기존 방법은 종종 완전히 실패했습니다 (교사가 너무 혼란스러워함). 하지만 새로운 방법은 안정적으로 유지되며 잘 작동했습니다.
효율성: 이는 엄청난 승리입니다. AI 가 1,000 단어가 아닌 100 단어만 생성하기 때문에, 훈련 속도가 24 배 빨라지고 컴퓨터 메모리는 4 배 적게 사용됩니다. 마치 한 학기 분량의 학습을 한 오후에 모두 마치는 것과 같습니다.

요약

이 논문은 AI 훈련에서 **적은 것이 더 많다 (Less is More)**고 주장합니다. 훈련 과정을 일찍 중단하고 답변의 시작 부분에만 집중함으로써, 교사를 혼란스럽게 하는 것을 피하고 막대한 시간과 비용을 절약하며, 종종 교사보다 더 똑똑한 학생을 만들어냅니다. 학습에서 가장 중요한 부분은 끝이 아니라 시작이라는 것이 밝혀졌습니다.

기술 요약: Less is More: 온-폴리시 증류 (On-Policy Distillation) 를 위한 조기 종료 롤아웃

1. 문제 제기: 오프-폴리시 교사 붕괴

이 논문은 학생 모델이 자체 롤아웃 (rollout) 을 생성한 후, 교사 모델이 이를 평가하여 토큰 수준의 소프트 타겟을 제공하는 패러다임인 온-폴리시 증류 (OPD) 에서 발생하는 치명적인 실패 모드를 식별합니다. OPD 는 산업계에서 지배적인 관행이지만, 저자들은 이를 "오프-폴리시 교사 붕괴 (Off-Policy Teacher Decay)" 라고 명명된 현상으로 지적합니다.

기존 OPD 에서는 교사 모델이 모든 토큰 위치 $t$ 에서 학생의 생성물을 평가합니다. 그러나 학생이 더 많은 토큰을 생성할수록, 문맥 $y_{<t}$ 는 교사 모델의 학습 분포에 비해 점점 더 "오프-폴리시"가 됩니다. 논문은 교사 모델이 자신의 고확률 추론 영역과 다른 학생이 생성한 접두사에 조건부 (conditioned) 로 설정될 때, 교정 신호를 제공할 능력이 저하된다고 주장합니다. 교사가 학생이 문제를 해결하도록 교정하는 대신, 사전 학습 행위로 회귀하여 학생의 궤적을 자동으로 완성하는 (auto-completer) 역할을 하게 됩니다.

MATH-500 데이터셋에 대한 실증적 검증 결과, 300 토큰 길이의 학생 생성 접두사에서 계속할 경우 교사 모델의 정확도가 (~65% 에서 ~51% 로) 크게 하락하는 것을 확인했습니다. 이는 훈련되지 않은 학생 모델의 베이스라인 성능에 근접하는 수준입니다. 이는 전체 롤아웃 OPD 에서 후반부 토큰 점수가 신뢰할 수 있는 교정 신호가 아니라, 오히려 학생의 오프-폴리시 궤적에서 회복하지 못하는 교사 모델의 무능력을 반영한다는 것을 시사합니다.

2. 방법론: 조기 종료 롤아웃 (ESR)

이러한 붕괴를 해결하기 위해 저자들은 기존 OPD 루프에 최소한의 수정을 가한 조기 종료 롤아웃 (Early Stopping Rollout, ESR) 을 제안합니다.

핵심 메커니즘: 전체 길이의 응답을 생성하는 대신, 학생의 롤아웃을 처음 $N$ 개의 토큰 (여기서 $N \ll T$ , 전체 시퀀스 길이) 으로 잘라냅니다. 증류 손실 (Reverse KL 발산) 은 오직 이 초기 윈도우에서만 계산됩니다.
구현: 훈련 루프에서 단 한 줄의 코드 변경만으로 구현 가능합니다. 학생이 위치 $N$ 이전에 End-of-Sequence (EOS) 토큰을 방출하면, 롤아웃은 자연스럽게 종료됩니다.
토큰 정렬: 다른 토크나이저를 사용하는 교차 패밀리 (cross-family) 또는 교차 생성 (cross-generation) 쌍의 경우, 학생 롤아웃을 텍스트로 디코딩한 후 교사 모델의 토크나이저로 다시 인코딩하여 손실 계산을 위한 토큰 수준의 정렬을 보장합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

방법론적 개선: ESR 은 다양한 작업 (수학, 코드, 함수 호출), 모델 규모 (15 억~~320 억 파라미터 학생, 17 억~~720 억 파라미터 교사), 그리고 훈련 방식 (LoRA 및 전체 미세 조정) 에서 전체 롤아웃 OPD 보다 일관되게 우수한 성능을 보입니다. 특히 전체 롤아웃 OPD 가 자주 붕괴하는 교차 패밀리 및 교차 생성 시나리오에서 특히 효과적입니다.
효율성과 안정성: ESR 은 계산 비용을 획기적으로 줄여, 실제 경과 시간 (wall-clock time) 에서 최대 24 배의 속도 향상과 피크 GPU 메모리 사용량 4 배 감소를 달성합니다. 또한 전체 롤아웃 설정에서 관찰된 치명적인 실패 모드를 방지하여 훈련 안정성을 크게 높입니다.
메커니즘적 통찰: 저자들은 ESR 이 작동하는 이유를 심층적으로 분석하여 세 가지 핵심 현상을 규명했습니다:
- 오프-폴리시 교사 붕괴: 전체 롤아웃 실패의 근본 원인.
- 연쇄적 정렬 (Cascading Alignment): 초기 윈도우에서 훈련하는 것이 훈련되지 않은 후반 토큰의 정렬을 개선함.
- 하위 모드 전념 (Sub-mode Commitment): ESR 은 학생이 교사 분포의 특정 고품질 하위 모드에 전념함으로써 교사 성능을 초과할 수 있게 함.

4. 실험 결과

저자들은 포괄적인 설정 매트릭스 전반에 걸쳐 ESR 을 평가했습니다:

성능: ESR 은 모든 테스트된 구성에서 전체 롤아웃 OPD 와同等하거나 더 나은 성능을 보입니다. 특히 교차 패밀리 설정 (예: Gemma-2 에서 Qwen3 로) 에서 전체 롤아웃 OPD 는 종종 붕괴 (성능 10% 이상 하락 또는 수렴 실패) 하는 반면, ESR 은 일관되게 성능을 개선합니다.
교사 초과 달성: 많은 경우, ESR 로 훈련된 학생 모델이 교사 모델 자체의 성능을 초과하는데, 이는 기존 증류에서는 거의 볼 수 없는 현상입니다.
$N$ 에 대한 강건성: 이 방법은 특정 범위 내의 $N$ 선택 (예: $N \in [50, 200]$ ) 에 대해 강건하지만, 교차 패밀리 쌍은 동일 패밀리 쌍보다 $N$ 에 더 민감하게 반응합니다.
효율성: A6000 GPU 에서 ESR 은 전체 단계 시간을 OPD 의 194 초에서 8 초로 줄였으며, 이는 주로 점수를 위한 긴 시퀀스 생성 비용을 제거함으로써 달성되었습니다.

5. 메커니즘 분석

논문은 훈련을 초기 토큰으로 제한하는 것이 왜 그렇게 강력한 결과를 낳는지 조사합니다:

연쇄적 정렬: 손실이 처음 $N$ 개의 토큰에서만 계산되지만, 후속 훈련되지 않은 토큰에 대한 KL 발산은 30~40% 감소합니다. 저자들은 초기 토큰이 종종 전략적 계획과 문제 설정 (예: 변수 정의, 기하학적 설정) 을 포함한다고 가정합니다. 학생이 교사로부터 올바른 전략을 학습하면, 실행 (후반 토큰) 은 자연스럽게 따르게 되어 직접적인 감독 없이도 효과적으로 수행됩니다.
하위 모드 전념: Reverse KL 발산 ( $KL(\pi_s \parallel \pi_t)$ $K L (π_{s} ∥ π_{t})$ ) 은 모드 지향적 (mode-seeking) 입니다. 이는 학생이 지지되지 않는 토큰에 확률 질량을 배치하는 것을 벌하지만, 단일 지지 토큰에 질량을 집중하는 것은 벌하지 않습니다.
- 교사 모델은 종종 다중 모드 (간결하고 verbose 한 솔루션 모두 지원) 이며 장황합니다.
- 전체 롤아웃 OPD 는 이러한 모드들을 평균화하여 학생을 교사의 장황함 쪽으로 끌어당기는 경향이 있습니다.
- ESR 은 롤아웃을 잘라내어 학생이 교사의 장황한 꼬리 부분으로 끌려가는 것을 방지합니다. 대신 학생은 교사 분포의 특정, 종종 더 간결하고 정확한 하위 모드에 전념합니다. 이를 통해 학생은 때로 교사의 평균 행동을 능가할 수 있습니다.
위치 vs 신호: 제거 실험 (Ablation studies) 은 KL 발산이 높거나 엔트로피가 높은 토큰만 선택하는 것이 ESR 의 성공을 재현하지 못함을 보여줍니다. 실제로 KL 발산이 가장 높은 상위 100 개 토큰을 선택하는 것은 표준 OPD 보다 성능이 낮은 경우가 많습니다. 이는 위치가 신호 강도의 대변수가 아니라, 토큰 선택을 위한 독립적이고 결정적인 요소임을 시사합니다.

6. 중요성과 주장

이 논문은 ESR 이 온-폴리시 증류에 대한 "적은 것이 더 많다 (Less is More)"는 접근법을 제공한다고 주장합니다. 롤아웃을 초기 전략적 윈도우로 제한함으로써 ESR 은 교사 신호의 저하를 완화하고, 훈련 안정성을 개선하며, 자원 소비를 줄입니다.

저자들은 그들의 발견이 더 긴 롤아웃이 더 많은 학습 신호를 제공한다는 가정을 도전한다고 강조합니다. 대신, 교차 모델 시나리오에서는 후반 토큰에서 발생하는 오프-폴리시 교사 붕괴로 인한 "노이즈"가 추가 데이터의 이점보다 더 크다는 것을 보여줍니다. 하위 모드 전념을 통해 학생이 교사를 능가할 수 있다는 발견은, 교사의 전체 분포를 모방하는 것이 아니라 가장 효과적인 추론 전략을 추출하고 이에 전념하는 것을 목표로 하는 증류의 새로운 경로를 시사합니다.

한계점: 저자들은 실험이 학생 모델이 이미 기본적인 추론 능력을 갖춘 지시 튜닝 (instruction-tuned) 모델이라고 가정한다고 지적합니다. 처음부터 시작하는 모델 (사전 학습만 수행된 경우) 의 경우 전체 궤적 감독이 여전히 필요할 수 있음을 인정합니다. 또한, 막대한 데이터 예산을 가진 수조 파라미터 규모 모델에서 ESR 의 효능은 여전히 열린 질문으로 남아 있습니다.