Co-Evolving Policy Distillation

"Co-Evolving Policy Distillation"(CoPD) 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 텍스트 추론, 이미지 추론, 비디오 이해 등 여러 특수화된 역량을 단일 통합 모델로 통합하는 과제를 다룹니다. 현재 사후 학습 (post-training) 패러다임은 두 가지 주요 한계에 직면해 있습니다.

• 혼합 데이터 RLVR(검증 가능한 보상을 활용한 강화 학습): 서로 다른 도메인의 혼합 데이터로 단일 모델을 학습시키는 것은 종종 역량 분산을 초래합니다. 서로 다른 역량이 상충되는 최적화 방향을 선호하기 때문에, 공동 학습은 기울기 충돌을 유발하여 한 도메인에서의 성취가 다른 도메인의 희생으로 이루어지는 "시소 효과"를 야기합니다.
• 정적 온-정책 증류 (OPD/MOPD): 표준적인 대안은 2 단계 파이프라인입니다. 먼저 특정 도메인별로 별도의 '전문가' 모델을 수렴할 때까지 학습한 후, 이 전문가들을 단일 학생 모델로 증류합니다. 저자들은 이 접근법의 치명적인 결함을 지적합니다. 증류가 시작될 시점까지 전문가들의 행동 패턴 (토큰 분포) 이 학생 모델과 크게 이탈해 있기 때문입니다. 이러한 큰 행동적 거리는 학생이 교사의 감독을 흡수하기 어렵게 만들어, 비최적의 지식 전달과 전문가 역량의 완전한 유지 실패로 이어집니다.

2. 방법론: 공진화 정책 증류 (CoPD)

CoPD 는 도메인별 탐색과 도메인 간 통합을 번갈아 수행하는 통합 프레임워크를 제안하며, 전문가들이 동시에 교사이자 학생으로서 공진화할 수 있도록 합니다.

핵심 메커니즘

전문가들을 증류하기 전에 수렴할 때까지 학습하는 대신, CoPD 는 각 역량마다 병렬 학습 브랜치를 유지하며 모든 학습 주기에서 두 단계를 번갈아 수행합니다.

1. 브랜치별 RLVR 단계:

   • 각 브랜치는 해당 도메인 데이터에 대해 그룹 상대 정책 최적화 (GRPO) 를 독립적으로 수행합니다.
   • 목표: 도메인별 전문성을 심화하고 브랜치 간 "행동적 격차"(지식 분산) 를 의도적으로 증가시킵니다. 이는 후속 증류 과정에서 전달할 새로운 정보성 지식을 확보하기 위함입니다.

2. 상호 OPD 단계:

   • 브랜치들은 서로의 데이터에 대해 롤아웃을 생성합니다.
   • 각 브랜치는 다른 브랜치들의 교사가 되어, 학생의 자체 궤적에 대해 토큰 수준의 감독 (KL 발산 최소화를 통해) 을 제공합니다.
   • 목표: 지식이 신선하고 모델들이 행동적으로 정렬되어 있을 때 행동적 격차를 해소합니다. 이는 높은 흡수 효율을 보장합니다.

주요 설계 특징

• 양방향 공진화: 교사가 고정된 정적 파이프라인과 달리, CoPD 는 모든 브랜치가 동시에 교사와 학생 역할을 하는 동적 토폴로지를 사용합니다.
• 행동적 일관성: 이 방법은 증류 효율성 ($\eta$) 이 교사와 학생 간의 상위-k 토큰 중첩과 양의 상관관계가 있다는 가설에 의존합니다. CoPD 는 단계를 번갈아 수행하며 이 중첩을 임계값 (예: >0.90) 이상으로 적극적으로 유지하여 모델들이 너무 멀리 이탈하는 것을 방지합니다.
• 확장성: 이 프레임워크는 $K$개의 브랜치를 지원합니다. $K > 2$인 경우, 완전한 쌍대 복잡성을 피하기 위해 "허브 - 스포크" 토폴로지를 사용합니다 (예: 3 브랜치 설정에서 텍스트 추론이 이미지 및 비디오 브랜치를 위한 허브로 작용).
• 최종 통합: 모든 브랜치가 공유된 베이스에서 시작하여 긴밀하게 결합되어 유지되므로, 최종 통합 모델은 간단한 파라미터 병합을 통해 얻어집니다.

3. 주요 기여

1. 이론적 통찰: 저자들은 OPD 의 효과가 교사와 학생 간의 행동적 거리에 반비례한다는 점을 규명했습니다. 파일럿 연구를 통해 정적 파이프라인이 전문가들이 증류 시작 전에 너무 멀리 이탈하기 때문에 "저흡수" 영역에서 작동함을 입증했습니다.
2. CoPD 프레임워크: RLVR 과 상호 OPD 를 번갈아 수행하는 새로운 학습 패러다임을 제안합니다. 이는 정보성 증류를 위한 지식 분산 필요성과 흡수 가능한 증류를 위한 행동적 근접성 필요성 사이의 트레이드오프를 해결합니다.
3. "전문가 천장" 돌파: CoPD 는 통합 모델이 개별 도메인별 전문가들의 성능을 초월할 수 있음을 보여주며, 도메인 간 트레이드오프를 상호 이익으로 전환합니다.
4. 확장성 검증: 이 방법은 2 브랜치 (텍스트 + 이미지) 및 3 브랜치 (텍스트 + 이미지 + 비디오) 설정 모두에서 검증되어 복잡한 다중 모달 시나리오에서의 유효성을 입증했습니다.

4. 실험 결과

이 논문은 텍스트, 이미지, 비디오 추론 벤치마크에 걸쳐 Qwen3-VL-4B-Instruct에서 CoPD 를 평가했습니다.

• 텍스트 및 이미지 추론 (2 브랜치):
  • CoPD 는 혼합 RLVR, 정적 OPD(양방향 모두), 그리고 개별 텍스트 전문가 및 이미지 전문가 모델보다 높은 전체 평균 정확도 (57.71%) 를 달성했습니다.
  • 특히 CoPD 는 텍스트 추론을 **58.76%**로 향상시켰고 (텍스트 전문가 57.89% 대비), 이미지 추론을 **56.97%**로 향상시켰습니다 (이미지 전문가 55.76% 대비), 이는 "상호 이익" 효과를 입증합니다.
• 텍스트, 이미지, 비디오 추론 (3 브랜치):
  • CoPD 는 전체 평균 **58.12%**를 달성하여 Multi-Teacher OPD (MOPD) 베이스라인 (56.99%) 과 비디오 전문가 (58.75) 의 비디오 추론 성능을 능가하면서도 텍스트 및 이미지 작업에서 높은 성능을 유지했습니다.
  • 혼합 RLVR 은 베이스라인 중 가장 높은 비디오 평균을 보였으나 텍스트 추론에서 심각한 저하를 겪어 역량 분산 문제를 확인시켰습니다.
• 어블레이션 연구:
  • 어느 방향이든 상호 증류를 제거하면 성능이 저하되어 양방향 공진화의 필요성을 확인시켰습니다.
  • 파라미터 병합 없이도 CoPD 의 개별 브랜치는 정적 OPD 베이스라인보다 우수한 성능을 보였으며, 이는 공진화 과정 자체가 견고하고 균형 잡힌 역량을 창출함을 시사합니다.
  • RLVR 단계와 OPD 단계의 최적 비율은 1.5:1로 발견되어 탐색과 통합 사이의 균형을 이루었습니다.

5. 의의

• 새로운 학습 패러다임: CoPD 는 기존의 "학습 후 증류" 워크플로우에 도전하며, 지속적인 상호 증류를 동반한 병렬 학습이 다중 역량 모델에 대한 더 효과적인 확장 전략임을 시사합니다.
• "올인원" 문제 해결: 이는 어떤 단일 도메인의 성능을 희생하지 않고 다양한 모달리티를 통합하는 오랜 문제의 해결책을 제공합니다.
• Self-Taught RLVR 시리즈: 이 논문은 저자들의 "Self-Taught RLVR" 시리즈의 세 번째 편으로, 이전의 "정보화된 자아"와 "시간적 자아"에 대한 작업을 보완하는 "병렬 자아"(상호 학습) 개념을 탐구합니다.
• 실용적 영향: 이 방법은 텍스트, 이미지, 비디오를 동시에 추론할 수 있는 범용 AI 에이전트를 구축하기 위한 확장 가능한 경로를 제공하며, 여러 특수화 모델을 유지할 필요성을 줄일 수 있습니다.