기술 요약: 온-폴리시 증류(On-Policy Distillation)의 기하학에 대하여

문제 정의

대규모 추론 모델(LRM)은 지도 미세 조정(SFT)과 검증 가능한 보상을 활용한 강화 학습(RLVR)이라는 사후 학습 패러다임을 통해 크게 발전해 왔습니다. 최근에는 온-폴리시 증류(OPD)가 강력한 교사 모델로부터 오는 조밀한 토큰 수준의 가이드를 사용하여 학생 모델이 스스로 생성한 궤적을 학습하는 보완적인 접근 방식으로 부상했습니다. OPD는 경험적인 유용성을 보여주지만, 그 파라미터 공간의 역학은 여전히 명확히 이해되지 않고 있습니다. 구체적으로, OPD가 SFT와 RLVR의 기하학적 발자국 사이의 단순한 보간(interpolation)을 나타내는지, 아니면 별도의 최적화 궤적을 유도하는지는 불분명합니다. 본 논문은 다음 세 가지 핵심 질문을 다룹니다:

1. OPD는 SFT와 RLVR 사이의 파라미터 공간 스펙트럼 중 어디에 위치하는가?
2. OPD는 학습 중에 어떤 고유한 업데이트 궤적을 따르는가?
3. OPD 목적 함수의 어떤 구성 요소가 이 궤적을 제어하는가?

방법론

저자들은 Qwen3 제품군(구체적으로 Qwen3-8B)의 체크포인트에 적용된 일련의 파라미터 공간 진단 도구를 사용하여 OPD 업데이트의 기하학을 분석합니다. 실험 설정은 공유된 SFT 앵커(OPD 및 RLVR용) 또는 사전 학습된 베이스 모델(SFT용)로부터 초기화된 세 가지 패러다임을 비교합니다:

• SFT: 오프라인 데모에 대한 표준 지도 미세 조정.
• RLVR: 희소한 결과 레벨 보상을 사용하는 정책 최적화(GRPO).
• OPD: 조밀한 토큰 레벨 교사 감독을 사용하는 온-폴리시 증류.

분석은 업데이트($\Delta W = W_+ - W_0$)를 특성화하기 위해 네 가지 주요 진단 도구를 사용합니다:

1. 업데이트 희소성(Update Sparsity): bfloat16 정밀도에서 변경되지 않은 가중치의 비율 측정.
2. 주요 각도 회전(Principal-Angle Rotation): 초기 가중치와 최종 가중치 사이의 지배적인 특이 부분 공간($U, V$)의 회전량 정량화.
3. 스펙트럼 드리프트(Spectral Drift): 특이값의 정규화된 스펙트럼 이동(NSS) 측정.
4. 업데이트 마스크 중첩(Update-Mask Overlap): 가시적인 업데이트가 주요(고곡률) 가중치에 집중되는지 또는 저강도 가중치에 집중되는지 결정.

학습 역학을 조사하기 위해, 저자들은 안정적 랭크(stable rank), 프로베니우스 노름(Frobenius norms), **힐 테일 추정치(Hill tail estimates)**를 사용하여 체크포인트 전반의 누적 업데이트($\Delta W_t$)를 추적합니다. 또한 토큰 감독 밀도(희소화), 롤아웃 정책(오프-폴리시 생성), 그리고 목적 함수 구성(OPD와 RLVR의 보간)을 변화시키는 제어 실험을 수행합니다.

주요 기여 및 결과

1. OPD는 "완화된 비-주요(Relaxed Off-Principal)" 영역을 점유함

본 연구는 OPD를 SFT와 RLVR 사이의 중간 지점에 위치하면서도 RLVR 쪽으로 편향된 독특한 영역에 배치합니다.

• 희소성: OPD는 중간 정도의 업데이트 희소성(51.6%의 가중치 미변경)을 보이며, 이는 SFT의 조밀한 업데이트(8.1% 미변경)와 RLVR의 희소한 업데이트(77.2% 미변경) 사이에 위치합니다.
• 기하학: OPD는 SFT보다 적지만 RLVR보다는 많은 부분 공간 회전과 스펙트럼 드리프트를 유도합니다.
• 국소화: OPD 업데이트는 주요 가중치에서 벗어나 저강도 영역으로 이동하며, 이는 RLVR과 유사하지만 더 큰 가시적 지원(lower selectivity)을 가집니다.
• 해석: 저자들은 "완화된 3-게이트(Relaxed Three-Gate)" 관점을 제안합니다. OPD는 RLVR의 기하학 보존 편향(Gate II: 모델 기하학이 주요 방향으로부터 업데이트를 유도하는 것)을 유지하면서도, 조밀한 토큰 레벨 감독 덕분에 선택성을 완화하여(Gate I: 분포 앵커), 더 많은 좌표가 정밀도 실현 임계값을 넘을 수 있게 합니다(Gate III).

2. 부분 공간 잠금(Subspace Locking)

OPD는 부분 공간 잠금으로 특징지어지는 독특한 궤적을 따릅니다.

• 조기 수렴: SFT(업데이트 부분 공간을 확장함)나 RLVR(후기에 수축함)과 달리, OPD는 학습 초기 단계에서 빠르게 좁고 저차원인 업데이트 밴드에 진입합니다.
• 안정성: 이 저차원 채널은 초기에 나타나며(측정된 첫 몇 개의 체크포인트 이내), 학습 내내 지속됩니다.
• 기능적 충분성: OPD 학습 초기에 형성된 저차원 부분 공간(rank-16)으로 후속 학습을 제한해도 OPD 성능이 유지됩니다. 반면, 동일한 제약을 SFT에 적용하면 성능이 크게 저하됩니다. 이는 잠긴 부분 공간이 OPD 학습에 기능적으로 충분함을 나타냅니다.
• 크기: OPD는 RLVR과 유사한 안정적 랭크를 유지하면서도 실질적으로 더 큰 누적 업데이트 노름을 축적하며, 이는 저차원이 단순히 무시할 만한 파라미터 이동의 결과가 아님을 입증합니다.

3. 목적 함수 구성이 궤적을 제어함

제어 실험 결과, 부분 공간 잠금 메커니즘은 실행 시간의 섭동에는 견고하지만 목적 함수 구성에는 민감함을 보여줍니다.

• 견고성: 토큰 희소화(감독 밀도 감소) 및 오프-폴리시 롤아웃(교사 생성 데이터 사용)은 OPD의 안정적 랭크 궤적을 보존하며, 업데이트 규모에만 영향을 미칩니다.
• 민감도: OPD 목적 함수를 RLVR 어드밴티지 신호와 보간하면 랭크 역학이 변합니다. OPD 구성 요소가 약해지면 궤적이 잠금 영역에서 벗어납니다.
• 메커니즘: 저자들은 토큰 희소화와 오프-폴리시 롤아웃이 단지 그래디언트 공분산을 재조정(rescale)하여 지배적인 스펙트럼 방향을 보존하는 것이라고 주장합니다. 반면, 목적 함수를 혼합하는 것은 그래디텐츠 소스 자체를 변화시켜 지배적인 공분사 기하학을 바꾸고 잠긴 궤적을 깨뜨립니다.

의의 및 주장

본 논문은 OPD가 단순히 SFT와 RLVR 사이의 중간 종착점이 아니라, 고유한 업데이트 기하학을 유도한다고 주장합니다. 주요 의의는 부분 공간 잠금을 OPD 학습의 근본적인 특성으로 식별한 데 있습니다.

저자들은 향후 OPD 알고리즘이 토큰 레벨 감독 밀도를 주요 설계 축으로 다루기보다 기하학 제어를 염두에 두고 설계되어야 한다고 제안합니다. 효과적인 레시피는 다음과 같아야 합니다:

• 초기에 나타나는 지속적인 저차원 업데이트 채널을 모니터링하고 활용할 것.
• 업데이트 기하학을 조절하는 주요 레버로서 목적 함수 구성을 사용할 것.
• 토큰 선택 및 롤아웃 정책을 근본적인 스펙트럼 구조가 아닌 업데이트 규모에 영향을 주는 이차적 요소로 취급할 것.

결론적으로, 본 논문은 이러한 진단 도구들이 OPD에 대한 파라미터 공간적 설명을 제공하며, 더 안정적이고 해석 가능하며 전이 가능한 기하학 인식 최적화 전략의 토대를 마련한다고 밝힙니다. 저자들은 통제된 Qwen3 추론 설정에 집중했다는 점과 공식적인 인과 이론보다는 체크포인트 기반 진단에 의존했다는 한계를 언급합니다.