💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

이 논문은 과도한 지도 미세 조정(SFT)이 롤아웃 분포를 압축하여 엔트로피 붕괴를 유발하고, 이것이 이후의 그룹 상대 정책 최적화(GRPO) 학습에서 순위 역전과 성능 저하로 이어진다는 것을 입증하며, 이러한 실패 모드는 RL 전 엔트로피와 초기 GRPO 역학을 모니터링함으로써 예측 및 완화될 수 있음을 보여준다.

원저자: Siddharth Aphale, Kelly Liu

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siddharth Aphale, Kelly Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 설명해 드립니다.

핵심 요약: "너무 완벽한" 함정

당신이 로봇에게 코딩을 가르치고 있다고 상상해 보세요. 표준 레시피는 두 단계로 구성됩니다:

지도 미세 조정 (SFT): 로봇이 패턴을 배울 수 있도록 수천 개의 올바른 코드 예시를 보여줍니다.
강화 학습 (RL): 로봇이 스스로 새로운 문제를 해결하도록 둡니다. 만약 정답을 맞히면 보상(간식)을 주고, 실패하면 아무것도 주지 않습니다.

문제점: 이 논문은 만약 1단계에서 로봇을 너무 많이 훈련시키면(1단계 과적합), 오히려 2단계에서 성능이 저하된다는 것을 발견했습니다.

보통 우리는 "1단계에서 로봇이 더 많은 예시를 암기할수록 더 잘하게 될 것"이라고 생각합니다. 하지만 저자들은 그 반대를 발견했습니다: 1단계에서 가장 많이 암기한 로봇이 사실 2단계에서 최악의 성적을 거둡니다. 실제로, 1단계에서 가장 적게 암기한 로봇이 챔피언이 됩니다.

비유: 뻣뻣한 무용수 vs 유연한 무용수

왜 이런 일이 발생하는지 이해하기 위해, 무작위 음악에 맞춰 즉흥적인 안무를 수행해야 하는 경기를 준비하는 두 명의 무용수를 상상해 보세요.

"과적합된" 무용수 (Deep SFT): 이 무용수는 똑같이 완벽한 10가지 안무를 수천 번 연습했습니다. 매우 정교하지만, 음악이 바뀌면 얼어붙어 버립니다. 오직 그 10가지 동작만 알 뿐입니다. 다른 방식으로 움직이는 법은 전혀 모릅니다.
"딱 적당한" 무용수 (Shallow SFT): 이 무용수는 기초를 연습하면서도 몸을 느슨하고 유연하게 유지했습니다. 규칙은 알지만, 음악이 바뀔 때 몸을 흔들거나 비틀거나 새로운 시도를 할 수 있습니다.

경쟁 (RL):
경기는 어떤 동작이 가장 효과적인지 확인하기 위해 여러 가지 동작을 동시에 시도할 것을 요구합니다.

과적합된 무용수는 매번 똑같은 완벽한 동작만 하려고 합니다. 모든 동작이 똑같아 보이기 때문에, 심사위원(알고리즘)은 어떤 동작이 더 나은지 구분할 수 없습니다. 무용수는 갇혀버리고 새로운 것을 배울 수 없게 됩니다.
유연한 무용수는 매우 다양한 동작을 시도합니다. 심사위원은 "아, 이 동작은 효과가 있었고, 저 동작은 아니구나!"라고 판단할 수 있으며, 무용수는 빠르게 학습합니다.

기술적 이유: 엔트로피 붕괴 (Entropy Collapse)

논문에서는 "다양성" 또는 "유연성"을 뜻하는 멋진 단어로 **엔트로피(Entropy)**라는 용어를 사용합니다.

엔트로피 붕괴: 로봇이 과적합되면, 로봇의 "마음"이 너무 좁아집니다. 다양한 가능성을 탐색하는 것을 멈추고 똑같은 몇 가지 답변만 반복합니다. 논문 용어로는 엔트로피가 붕괴되었다고 합니다.
신호의 소멸: 학습 알고리즘(GRPO라고 불림)은 서로 다른 답변들을 비교함으로써 작동합니다. 만약 로봇이 똑같은 답을 8번 연속으로 내놓는다면, 알고리즘은 혼란에 빠집니다. 비교할 차이가 없기 때문에 "그래디언트(개선 방향)"를 계산할 수 없습니다. 이는 마치 핸들이 앞을 향해 고정되어 있어 조향할 수 없는 자동차를 운전하려는 것과 같습니다.
순위 역전 (Rank Inversion): 이는 순위 역전이라는 이상한 결과를 초래합니다.
- 두 번째 훈련 단계가 시작되기 전에는, 과적합된 로봇은 천재처럼 보입니다 (연습 테스트에서 100% 정답을 맞힘).
- 두 번째 훈련 단계가 끝난 후에는, 그것은 재앙이 됩니다.
- 반면, 처음에는 약간 못해 보였던 "덜 완벽한" 로봇이 슈퍼스타가 됩니다.

두 모델: 두 도시 이야기

저자들은 이 현상을 두 가지 서로 다른 로봇 뇌(모델)를 통해 테스트했습니다:

Qwen (희생자): 이 모델은 함정에 빠졌습니다. 1단계 훈련을 많이 할수록 더 뻣뻣해졌습니다. "가장 좋아 보이는" 체크포인트(최고 점수)가 다음 단계를 위한 최악의 시작점이 되었습니다.
DeepSeek (생존자): 이 모델은 본래 더 유연했습니다. 집중 훈련 후에도 뻣뻣해지지 않았습니다. 여전히 학습할 수 있는 "안전 지대"에 머물러 있었습니다. 이는 문제가 두 번째 훈련 단계 자체에 있는 것이 아니라, 첫 번째 단계가 Qwen 모델의 유연성을 망가뜨렸다는 것을 증명합니다.

해결책: 2단계 점검법

저자들은 단순히 문제점을 찾아내는 데 그치지 않고, 시간과 돈을 낭비하기 전에 이를 포착할 수 있는 진단 도구를 만들었습니다.

1단계: "스트레칭" 테스트 (Pre-RL Entropy): 두 번째 훈련 단계를 시작하기 전, 로봇의 마음이 얼마나 "느슨한지" 확인합니다. 만약 로봇이 너무 경직되어 있다면(낮은 엔트로피), 위험도가 높은 것으로 분류합니다.
2단계: "조기 경보" 모니터링: 두 번째 단계를 시작하면 처음 몇 분 동안 관찰합니다. 만약 로봇이 새로운 시도를 멈추고 즉시 자기 자신을 반복하기 시작한다면, 자원을 아끼기 위해 훈련을 조기에 중단합니다.

효과가 없었던 것들

저자들은 표준적인 기법들을 사용하여 고장 난 로봇을 고치려 노력했습니다:

패널티 추가: "원래 훈련 내용에서 너무 벗어나지 마라." (이것은 상황을 더 악화시켰습니다).
레이블 평활화 (Smoothing the labels): "답변에 대해 조금 덜 확신해라." (이것은 로봇이 다시 자신감 있어 보이게 만들었지만, 경쟁에서는 여전히 실패했습니다).

결론: 경기가 진행되는 동안 뻣뻣한 무용수에게 "더 열심히 해봐"라고 말한다고 해서 고칠 수 있는 것이 아닙니다. 애초에 너무 경직되게 훈련하지 않는 것이 중요합니다. 이 논문은 모델이 계속 학습하기 위해서는 완벽함보다 다양성(엔트로피)이 더 중요하다는 것을 증명합니다.

기술 요약: SFT 과적합이 RLVR 하에서의 엔트로피 붕괴를 통한 순위 역전(Rank Inversion)을 예측함

문제 정의
코드 생성에서의 검증 가능한 보상(RLVR)을 위한 표준 휴리스틱은 RL 단계(예: GRPO)를 초기화하기 위해 가장 높은 pass@1 점수를 가진 지도 미세 조정(SFT) 체크포인트를 선택하는 것이다. 본 논문은 SFT 과적합이 모델의 롤아웃 분포를 압축할 때 이 휴리스틱이 실패함을 입증한다. 구체적으로, 장기적인 SFT는 "엔트로피 붕로(entropy collapse)"로 이어지며, 이는 모델의 출력 다양성이 감소하여 RL 알고리즘이 유의미한 그래디언트 신호를 생성할 수 없게 되는 지점까지 도달한다. 이 체제에서 가장 높은 pass@1 체크포인트를 선택하는 것은 체계적으로 최악의 성능을 보이는 RL 초기화 모델을 식별하게 되며, 결과적으로 더 깊은 SFT 모델보다 더 얕은 SFT 체크포인트가 RL 이후에 더 우수한 성능을 보이는 "순위 역전" 현상을 초래한다.

방법론
본 연구는 Qwen2.5-Coder-3B-Base와 DeepSeek-Coder-6.7B-Base 두 가지 모델 패밀리에 걸쳐 SFT 기간을 유일한 독립 변수로 격리하여 분석한다.

실험 설정: 두 모델 모두 5,000개의 중간 난이도 KodCode-V1 문제로 미세 조정되었다. 체크포인트는 다양한 SFT 깊이(Qwen은 1.0 ~ 5.8 epoch, DeepSeek는 1.0 ~ 9.6 epoch)에서 선택되었다.
RL 훈련: 모든 체크포인트는 동일한 GRPO 훈련(400 steps, group size $g=8$ , 이진 정답 보상)을 거쳤다.
지표: 성능은 홀드아웃된 40개 문제의 HumanEval+ 서브셋에 대해 pass@1 및 pass@10(편향되지 않은 추정치 사용)으로 측정되었다. 결정적으로, 저자들은 분포 붕괴를 진단하기 위해 사전 RL 엔트로피(T=1.0에서의 평균 차기 토큰 엔트로피)와 훈련 중 엔트로피를 추적하였다.
중재(Interventions): 실패가 하이퍼파라미터의 인위적 산물인지 테스트하기 위해, 저자들은 GRPO 중에 참조 정책(reference policy)에 KL 페널티를 적용하고, SFT 중에 레이블 스무딩(label smoothing)을 적용하여 엔트로피를 인위적으로 복구하고자 하였다.

주요 기여

그래디언트 붕괴의 이론적 임계값: 저자들은 이진 보상에 대해 기대 그룹 내 어드밴티지 분산이 $E[\sigma^2_G] = p(1-p)(g-1)/g$ 임을 도출하였다. 저자들은 올바른 롤아웃 확률( $p$ )이 이 값 아래로 떨어질 경우, 그룹 상대적 신호가 구조적으로 붕괴되어(대부분의 그룹이 동일한 보상을 받음) 그래디언트가 소멸되는 임계값 $p^*(g)$ 를 식별하였다.
순위 역전 사례 연구: Qwen2.5-Coder-3B에서 저자들은 명확한 순위 역전을 기록하였다: SFT 깊이가 증가함에 따라 사전 RL pass@1은 상승하지만, 사후 RL 피크 pass@10은 단조 감소한다(0.806에서 0.481까지). 가장 높은 pass@1을 가진 체크포인트(5.8 epoch)가 RL 하에서 가장 낮은 성능을 보였다.
대조 검증: 사전 RL pass@1이 이론적 붕괴 임계값 $p^*(8)$ 보다 현저히 높게 유지되는 DeepSeek-Coder-6.7B에서는 순위 역전이 발생하지 않았다. 대신 순위가 압축되었으며 모든 체크포인트가 개선되었는데, 이는 임계값 가설을 검증한다.
2단계 진단 프로토콜: 저자들은 RL 전 또는 초기에 고위험 체크포인트를 식별하기 위한 진단 프로토콜을 제안한다:
- 1단계 (사전 RL): 평균 차기 토큰 엔트로피가 임계값( $\tau_H = 0.18$ nats) 미만으로 떨어지는 체크포인트를 플래그 지정한다.
- 2단계 (초기 RL): GRPO 스텝 10과 150 사이의 최악 토큰 엔트로피의 상대적 감소량을 모니터링한다. 감소량이 50%를 초과하면 붕괴를 의미한다.
실패 국소화: 본 연구는 단순한 중재(KL 페널티 또는 레이블 스무딩)가 붕괴된 체크포인트를 구제하는 데 실패했음을 보여주며, 이는 실패가 튜닝 가능한 GRPO 하이퍼파라미터 문제가 아니라 SFT 단계의 가소성(plasticity) 및 엔트로피 고갈에 뿌리를 두고 있음을 시사한다.

결과

Qwen2.5-Coder-3B: 사전 RL pass@1과 피크 사후 RL pass@10 사이에 강한 음의 상관관계( $\rho = -0.75$ )가 존재한다. 5.8 epoch 체크포인트는 가장 높은 사전 RL pass@1(0.187)을 가졌음에도 불구하고 피크 pass@10이 0.481로 붕괴된 반면, 1.0 epoch 체크포인트는 0.806을 달성했다. 5.8 epoch 모델의 엔트로피는 훈련 중 78% 감소한 반면, 1.0 epoch 모델은 37% 감소했다.
DeepSeek-Coder-6.7B: 모든 체크포인트가 사전 RL pass@1을 붕괴 임계값( $p \geq 4.2 \times p^*(8)$ )보다 훨씬 높게 유지했다. 결과적으로 모든 암(arm)이 GRPO 하에서 개선되었으며, 사전 RL 순위는 사후 RL에서도 완벽하게 보존되었다( $\rho = +1.00$ ).
중재 효과: KL 페널티( $\beta=0.01$ )를 추가하는 것은 두 경우 모두 성능을 감소시켰으나 순위 역전을 되돌리지는 못했다. 5.8 epoch 체크포인트에 레이블 스무딩을 적용하여 사전 RL pass@1을 0.600으로 높였으나, 결과적으로 가장 낮은 사후 RL pass@10(0.214)을 기록했다. 이는 근본적인 솔루션 다양성을 복구하지 않은 채 분포를 인위적으로 평탄화하는 것은 불충분함을 나타낸다.

의의 및 주장
본 논문은 RL을 위해 가장 높은 pass@1 SFT 체크포인트를 선택하는 표준 관행이, SFT 과적합이 엔트로피 붕괴를 유발하는 체제에서는 오도될 수 있다고 주장한다. 저자들은 pass@1이 잘못된 온도( $T=0$ , 탐욕적)에서의 능력을 측정하며, $T=1.0$ 에서의 RL에 필요한 다양성을 포착하지 못한다고 주장한다.

본 연구의 의의는 엔트로피 붕괴를 SFT 과적합과 RL 실패 사이의 메커니즘적 연결 고리로 식별했다는 점에 있다. 저자들은 이 실패가 GRPO 하이퍼파라미터의 사소한 문제가 아니라, SFT 과정 중 발생하는 가소성 상실의 근본적인 문제라고 주장한다. 제안된 2단계 진단법은 보편적 임계값이 아닌 순위와 위험 신호에 기반하여, RL에 컴퓨팅 자원을 소모하기 전에 이미 학습 신호를 소진해버린 체크포인트를 걸러낼 수 있는 실용적이고 모델 불가지론적인 방법을 제공한다. 저자들은 엔트로피를 보존하는 것이 성공적인 RLVR의 전제 조건이며, 일단 엔트로피가 붕괴되면 표준 RL 변형 모델로는 정책을 회복할 수 없다고 결론짓는다.