Stage-1 Controls the Entropy Regime, Not the Outcome

기술 요약: 1단계는 결과가 아닌 엔트로피 체제를 제어한다

문제 정의
두 단계로 구성된 VLM(Vision-Language Model)의 사후 학습 파이프라인—1단계 웜스타트(SFT 또는 OPD)와 2단계 강화학습(RL)으로 이루어진—은 점점 표준이 되고 있다. 커뮤니티의 지배적인 가정은 웜스타트의 선택이 최종 RL 결과에 결정적인 영향을 미친다는 것이다. 구체적으로, 지지자들은 SFT가 기초 역량의 치명적 망각(catastrophic forgetting)을 유발할 수 있는 반면, OPD(교사의 토큰 분포 하에서 자신의 롤아웃으로 학생을 학습시키는 방식)는 RL를 위한 더 우수한 초기화를 제공한다고 주장한다. 본 논문은 Qwen2.5-VL-7B 모델을 사용하여 소규모 데이터 환경(약 1~2k 예시) 내에서 이러한 주장을 검증하며, 1단계가 실제로 무엇을 제어하는지, 그리고 그것이 다운스트림 종단점(endpoint)을 실질적으로 변화시키는지 확인하고자 한다.

방법론
본 연구는 세 가지 서로 다른 웜스타트 전략과 그에 밀접하게 매칭된 2단계 GRPO(Group Relative Policy Optimization) 레시피를 비교하는 통제된 실험 설정을 채택한다:

1. OPD: 모든 2,101개의 Geometry3K 훈련 프롬프트에 대해 동일 모달리티의 72B Qwen2.5-VL 교사로부터 온폴리시 증류(On-policy distillation) 수행.
2. SFTID: 시스템 프롬프트와 함께 교사의 정답 궤적(rejection sampling을 통해 추출)을 사용하는 인도메인 최적화 SFT.
3. SFTOOD: 시스템 프롬프트 없이 교사의 궤적을 사용하고 100 스텝에서 조기 종료된 외도메인(OOD) 최적화 SFT.

설정상의 주요 차이점:

• 교사 일관성: 모든 웜스타트는 동일한 72B 교사로부터 유도되어 교사 정체성에 의한 혼란 변수(confound)를 제거함.
• 데이터 커버리지 혼란 변수: 데이터 커버리지에 의도적인 차이가 존재함. SFT 궤적은 교사가 4번의 샘플링 내에 해결한 807개의 문제만을 유지하는 rejection sampling을 통해 유도됨. 반면 OPD는 교사가 해결하지 못한 1,294개의 문제를 포함하여 2,101개의 프롬프트 전체에 대해 학습함. 저자들은 이를 알려진 설정 차이로 간주하며 엔트로피에 미치는 영향을 분석함.
• 평가: 모델은 인도메인(Geometry3K 내부 검증) 및 외도메인(MathVista testmini)에서 평가됨. 지표로는 정책 엔트로피, pass@k ($k \in \{1, 4, 8, 16\}$), 그리고 답변 다양성이 포함됨.

주요 결과

1. 망각은 레시피에 따라 결정된다 (F1)
본 연구는 소규모 데이터 SFT가 본질적으로 치명적 망각을 유발한다는 관념에 이의를 제기한다.

• 과하게 학습된 SFT 변형(200 스텝, 시스템 프롬프트 없음)은 OOD MathVista 성능에서 상당한 하락(-9.5 포인트)을 보였다.
• 그러나 매칭된 레시피를 적용하여 조기 종료된 SFT(100 스텝)는 오히려 베이스 모델 대비 OOD 성능을 +2.1 포인트 개선했다.
• 결론: 관찰된 망각은 SFT의 고유한 특성이 아니라 특정 레시피 선택(예: 학습 기간, 프롬프트 엔지니어링)의 결과이다.

2. 인도메인 종단점은 좁은 대역 내에 위치한다 (F2)
서로 다른 웜스타트에도 불구하고, GRPO 이후의 최종 인도메인 성능은 좁은 범위로 수렴한다.

• 세 가지 웜스타트 모두 GRPO 이후 Geometry3K에서 53%에서 54% 사이의 최적 내부 검증 점수에 도달했다.
• 이는 최근의 특화된 방법론들과 궤를 같이하며, 이 특정 벤치마크에서 웜스타트를 분리하기 위한 "헤드룸(headroom)"이 제한적임을 시사한다(태스크 자체의 포화가 아닌).

3. 1단계는 결과가 아닌 엔트로피 체제를 제어한다 (F3)
방법론 간의 가장 뚜렷하고 신뢰할 수 있는 차이점은 RL 단계로 넘어가는 엔트로피 체제이다.

• 엔트로피 격차: OPD는 SFT 변형(0.015–0.04)에 비해 상당히 높은 정책 엔트로피(초기 0.10–0.16)를 가지고 RL 단계에 진입한다. 이 격차는 가용 궤적 전반에 걸쳐 지속되며, OPD는 학습 후기에도 여전히 높은 상태를 유지한다.
• 인도메인 초기화 이점: 초기화 단계(RL 전)에서 고엔트로피인 OPD 모델은 더 높은 탐색 잠재력을 보여준다. 그리디 정확도(pass@1)는 비슷하거나 약간 낮지만, OPD는 pass@16에서 SFT 베이스라인 대비 유의미한 이점(+2.0 ~ +5.2 포인트)과 더 높은 답변 다양성을 달성한다.
• 사라지는 보상: 이 이점은 엄격히 제한적이다:
  • Post-RL: 2단계 GRPO 이후, pass@16의 이점은 사라진다. 모든 모델의 최종 종단점은 서로 1.1 포인트 이내에 있으며, 신뢰 구간이 0을 교차한다.
  • OOD 전이: MathVista의 경우, 엔트로피 순위가 완전히 사라진다. 6개 모델 모두(세 가지 초기화 × 두 단계) pass@16에서 1.2 포인트 범위 내에 위치한다.

의의 및 주장
본 논문은 자신의 기여를 새로운 방법론이나 리더보드 기록 경신이 아닌 **제한된 경험적 특성화(bounded empirical characterization)**로 명시적으로 규정한다.

• 1단계가 제어하는 것: 1단계는 RL에 진입하는 정책의 엔트로피 체제와 강력하게 연관된다. OPD는 고엔트로피 상태를 유지하는 반면, SFT는 저엔트로피의 결정론적 상태로 붕괴된다.
• 1단계가 제어하지 못하는 것: 본 연구는 이 소규모 데이터 설정에서 웜스타트의 선택(OPD vs. SFT)이 최종 RL 종단점이나 OOD 일반화 성능을 결정한다는 증거를 찾지 못했다. "다운스트림 보상(downstream payoff)"으로서의 엔트로피 이점은 작으며, 인도메인 초기화 단계에 국한되고, RL 최적화 과정을 견뎌내지 못한다.
• 한계점: 저자들은 한계점을 인정한다. 엔트로피 격차는 OPD가 SFT가 보지 못한 "어려운 꼬리(hard tail)" 문제들(교사가 해결하지 못한 1,294개 문제)을 접했기 때문에 발생했을 가능성이 있다. 목적 함수 수준의 직관(reverse-KL vs. cross-entropy)은 엔트로피 메커니즘을 뒷받침하지만, 본 논문은 데이터 정렬된 통제(SFT와 동일한 807개 문제로 OPD 학습) 없이는 인과관계를 주장하지 않는다.

결론
이 소규모 VLM 연구에서 1단계 웜스타트의 선택은 엔트로피 체제의 강력한 결정 요인이지만 최종 결과의 결정 요인은 아니다. OPD는 높은 엔트로피 초기화와 더 나은 인도메인 탐색(pass@16)을 제공하지만, 이것이 더 우수한 RL 종단점이나 OOD 성능으로 이어지지는 않는다. 본 논문은 엔트로피가 관찰된 가장 명확한 차이점이지만, 이것이 OPD가 보편적으로 더 나은 RL 웜스타트라는 증거는 아니라고 결론짓는다.