기술 요약: Uni-OPD

문제 정의

온-정책 증류 (On-policy Distillation, OPD) 는 온-정책 샘플링과 토큰 수준의 감독을 결합하여 전문화된 전문가 모델들의 역량을 단일 학생 모델로 통합하는 유망한 사후 학습 패러다임으로 부상했습니다. 그러나 경험적 성공에도 불구하고, 신뢰할 수 있는 OPD 개선을 위한 조건은 여전히 잘 이해되지 않고 있습니다. 저자들은 효과적인 OPD 를 제한하는 두 가지 근본적인 병목 현상을 식별했습니다:

1. 불충분한 탐색: 학생 모델은 종종 다양하고 적절히 난이도가 조절된 자체 생성 궤적과 같은 정보 풍부한 상태를 탐색하지 못합니다.
2. 불신뢰한 교사 감독: 교사의 토큰 수준 지도는 학생 롤아웃에 대해 신뢰할 수 없을 수 있습니다. 구체적으로, 집계된 토큰 수준의 지도는 결과 보상과 순서 일관성을 유지하지 못할 수 있습니다 (즉, 올바른 궤적이 반드시 잘못된 것보다 높은 집계 점수를 받는 것은 아닙니다). 이러한 불일치는 분포 외 (OOD) 열화, 잘못된 궤적의 과대평가, 또는 올바른 궤적의 과소평가로 인해 발생할 수 있습니다.

기존 OPD 연구는 주로 대규모 언어 모델 (LLM) 이나 멀티모달 대규모 언어 모델 (MLLM) 의 제한된 하위 집합에 국한되어 있으며, 이러한 신뢰성 문제를 해결하고 다양한 모달리티에 걸쳐 일반화되는 통합 프레임워크가 부족합니다.

방법론: Uni-OPD

저자들은 LLM 과 MLLM 모두를 대상으로 설계된 통합 OPD 프레임워크인 Uni-OPD를 제안합니다. 이 프레임워크는 학생의 탐색과 교사의 감독 신뢰성을 목표로 하는 이중 관점 최적화 전략을 사용합니다.

1. 학생 관점: 탐색을 위한 데이터 균형 조정

불충분한 탐색 문제를 해결하기 위해 Uni-OPD 는 두 가지 상호 보완적인 데이터 균형 조정 전략을 도입합니다:

• 오프라인 난이도 인식 데이터 균형 조정: RL 에서 흔히 사용되는 "쉬운"(항상 정답) 또는 "어려운"(항상 오답) 샘플을 공격적으로 필터링하여 다양성을 줄이는 대신, 저자들은 학습 데이터가 종종 거울처럼 대칭된 J 자형 또는 U 자형 난이도 분포를 따른다는 것을 관찰했습니다. Uni-OPD 는 여러 번의 롤아웃 중 일부에서만 정답인 중간 난이도 샘플을 선택적으로 오버샘플링합니다. 이는 분포를 더 균일하게 재구성하여 난이도의 균형을 잡은 스펙트럼을 유지하고, 학생이 다양한 해결 경로에 노출되도록 보장합니다.
• 온라인 정답성 인식 데이터 균형 조정: 롤아웃 그룹이 결과 다양성이 부족할 때 (예: 모든 궤적이 오답인 경우) 모델이 국소 최적점에 수렴하는 것을 방지하기 위해, 이 방법은 학습 중 각 롤아웃 그룹 내에서 정답과 오답 궤적의 균형을 맞춘 구성을 강제합니다. 이를 통해 학생은 일관되게 의미 있는 대비 신호를 받습니다.

2. 교사 관점: 결과 기반 마진 보정

불신뢰한 감독 문제를 해결하기 위해 Uni-OPD 는 토큰 수준 지도와 결과 보상 간의 순서 일관성을 복원하는 메커니즘을 도입합니다.

• 궤적 수준 증류 반환 (Trajectory-Level Distillation Return): 이 방법은 교사와 학생 간의 평균 로그 확률 차이를 궤적 수준 반환 ($G_{OPD}$) 으로 정의합니다.
• 순서 일관성 기준: 신뢰할 수 있는 교사는 잘못된 궤적 ($S^-$) 보다 올바른 궤적 ($S^+$) 에 더 높은 반환을 부여해야 합니다. 저자들은 올바른 궤적의 최소 반환과 잘못된 궤적의 최대 반환 간의 차이를 프롬프트 수준 마진 $m(q)$로 정의합니다.
• 보정 메커니즘: 마진 $m(q)$가 안전 임계값 $\delta$ 미만으로 떨어지면, 시스템은 다음 두 가지 전략 중 하나를 적용합니다:
  • 마진 마스크: 순서가 위반된 프롬프트 그룹을 폐기하거나 (가장 적대적인 궤적을 탐욕적으로 제거) 신뢰할 수 있는 신호에서만 학습이 발생하도록 보장합니다.
  • 마진 시프트: 데이터를 폐기하지 않고 순서 제약을 강제하기 위해 궤적 반환에 최소한의 가산 보정을 적용하여 마진을 $\delta$로 복원합니다. 구체적으로, 올바른 궤적의 반환을 위로 (또는 잘못된 것의 반환을 아래로) 이동시킵니다.

주요 기여

1. 병목 현상 식별: 이 논문은 현재 OPD 의 핵심 한계로 정보 풍부한 상태에 대한 불충분한 탐색과 결과 보상에 대한 순서 일관성 부재라는 불신뢰한 교사 감독을 식별했습니다.
2. 이중 관점 최적화 레시피: 저자들은 오프라인/온라인 데이터 균형을 통한 학생 탐색 개선과 결과 기반 마진 보정을 통한 교사 감독 개선을 결합한 통합 프레임워크를 제안합니다.
3. 포괄적 검증: 이 방법은 5 개 도메인과 16 개 벤치마크에서 검증되었으며, 다음을 포함합니다:
   • 단일 교사와 다중 교사 증류.
   • LLM 과 MLLM 간의 증류.
   • 강세에서 약세로의 증류 (더 큰 모델에서 더 작은 모델로 역량 이전).
   • 교차 모달 증류 (텍스트 및 멀티모달 역량 통합).

실험 결과

Qwen3 계열 모델 (LLM 및 MLLM) 에 대한 광범위한 실험은 Uni-OPD 의 효과성을 입증합니다:

• 성능 향상: Uni-OPD 는 수학 추론, 코드 생성, 논리 추론, 문서 이해 전반에 걸쳐 표준 OPD 및 기타 베이스라인 (SFT, ExPO, ExOPD) 보다 일관되게 우수한 성과를 거두었습니다. 예를 들어, LLM 에 대한 다중 교사 증류에서 Uni-OPD 는 표준 OPD 대비 수학 추론 점수를 1.5%, 코드 생성을 3.4% 개선했습니다.
• 강세에서 약세로의 증류: Uni-OPD 는 역량 격차를 효과적으로 메워 더 큰 교사 (예: 30B) 로부터 복잡한 추론 행동을 더 작은 학생 (예: 1.7B 및 4B) 이 흡수할 수 있게 하며, 표준 OPD 보다 상당한 마진으로 우위를 점합니다.
• 교차 모달 역량: 교차 모달 설정에서 Uni-OPD 는 텍스트 전용 및 멀티모달 교사의 역량을 단일 MLLM 학생으로 성공적으로 통합하여 텍스트 코드 생성과 멀티모달 수학 추론을 동시에 개선합니다.
• 효율성: Uni-OPD 는 강화 학습 (RL) 베이스라인에 비해 훨씬 적은 최적화 단계로 우수한 성능을 달성하며, 높은 추론 역량을 유지하면서 더 빠르게 수렴합니다.
• 어블레이션 연구: 데이터 균형 조정 전략이나 마진 보정 메커니즘 중 하나를 제거하면 성능이 저하되어, 학생의 탐색과 교사의 신뢰성 모두 성공의 핵심 동인임을 확인했습니다.

의의 및 주장

이 논문은 Uni-OPD 가 신뢰할 수 있고 확장 가능한 증류를 위한 실용적인 기반을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 일반화 가능성: 다양한 모델 크기 (강세에서 약세), 모달리티 (텍스트 및 비전), 교사 구성 (단일 및 다중 교사) 에서 작동하는 통합 레시피를 제공합니다.
• 신뢰성: 토큰 수준 신호와 결과 보상 간의 순서 일관성 문제를 명시적으로 해결함으로써 학습을 안정화하고 단순한 OPD 에서 흔히 발생하는 열화를 방지합니다.
• 모달리티 무관 추론: OPD 를 통해 증류된 추론 역량은 모달리티와 거의 무관하다는 결과가 도출되어, 전문화된 전문가들을 단일의 다재다능한 추론기로 효율적으로 통합할 수 있음을 시사합니다.

저자들은 그들의 작업이 신뢰할 수 있는 OPD 의 메커니즘에 대한 실용적인 통찰력을 제공하며, 확장 가능한 역량 통합 및 에이전트 계획에 대한 향후 연구의 길을 열었다고 결론지었습니다.