🤖 machine learning

Co-Evolving Policy Distillation

Este artículo propone la Destilación de Políticas Coevolutivas (CoPD), un paradigma de entrenamiento novedoso que integra el entrenamiento paralelo de expertos con la destilación de políticas en línea bidireccional para superar la pérdida de capacidad y las brechas de comportamiento, logrando un rendimiento superior de razonamiento integral en texto, imagen y video en comparación con los métodos existentes de RLVR y destilación.

Autores originales: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando entrenar a un solo estudiante superinteligente para que se convierta en un experto en tres campos muy diferentes: Matemáticas, Arte y Análisis de Video.

En el pasado, los investigadores probaron dos formas principales de hacer esto, pero ambas tenían un defecto mayor. Este artículo introduce un nuevo método llamado Destilación de Políticas Coevolutiva (CoPD) que soluciona esos defectos haciendo que el estudiante aprenda en una asociación única, "como un baile".

Así es como el artículo explica el problema y la solución, utilizando analogías sencillas:

El Problema: El "Tira y Afloja" y la Brecha "Demasiado Lejos"

1. El "Tira y Afloja" (RLVR Mixto)
Imagina intentar enseñarle a tu estudiante Matemáticas y Arte al mismo tiempo exacto, en la misma aula, con el mismo profesor.

El Problema: Las Matemáticas requieren lógica estricta y reglas, mientras que el Arte requiere creatividad y romper reglas. Cuando las mezclas, el estudiante se confunde. El artículo llama a esto "divergencia de capacidades". Es como un tira y afloja donde la lección de Matemáticas tira del estudiante en una dirección, y la lección de Arte lo tira en la otra. El estudiante termina siendo mediocre en ambos porque las lecciones se anulan mutuamente.

2. La Brecha "Demasiado Lejos" (OPD Estática)
Así que, los investigadores probaron un enfoque diferente: "Entrenemos primero a un experto en Matemáticas, luego entrenemos a un experto en Arte por separado, y luego hagámosles enseñar a un nuevo estudiante".

El Problema: Para cuando el experto en Matemáticas termina su entrenamiento, ha cambiado tanto que ya no habla el mismo "idioma" que el nuevo estudiante. El estudiante es un principiante; el experto es un gran maestro.
La Analogía: Imagina a un gran maestro de ajedrez intentando enseñarle a un niño pequeño. El gran maestro hace movimientos demasiado complejos para que el niño los entienda. El niño (el estudiante) mira los movimientos del gran maestro (el profesor) y piensa: "No tengo ni idea de lo que estás haciendo". El conocimiento se pierde porque están demasiado lejos en sus patrones de pensamiento. El artículo llama a esto una "brecha de patrones de comportamiento".

La Solución: El "Baile Coevolutivo" (CoPD)

Los autores proponen CoPD, lo cual cambia por completo el cronograma de entrenamiento. En lugar de entrenar a un experto primero y luego enseñar más tarde, entrenan dos estudiantes simultáneamente que constantemente se enseñan y aprenden el uno del otro.

Así es como funciona el baile:

Paso 1: La Práctica en Solitario (Fase RLVR)

El "Estudiante de Matemáticas" practica solo problemas de Matemáticas.
El "Estudiante de Arte" practica solo problemas de Arte.
¿Por qué? Esto les permite volverse muy buenos en sus habilidades específicas y descubrir nuevas técnicas avanzadas. Comienzan a alejarse en su pensamiento, lo cual es bueno porque significa que tienen nuevas cosas que enseñarse mutuamente.

Paso 2: El Cambio de Pareja de Baile (Fase OPD Mutua)

Antes de alejarse demasiado, se detienen e intercambian roles.
El Estudiante de Matemáticas intenta resolver problemas de Arte, y el Estudiante de Arte observa y da retroalimentación.
El Estudiante de Arte intenta resolver problemas de Matemáticas, y el Estudiante de Matemáticas observa y da retroalimentación.
¿Por qué? Porque acaban de practicar juntos, todavía están lo suficientemente cerca en sus patrones de pensamiento para entenderse. El Estudiante de Matemáticas puede decir: "Veo que estás intentando hacer X, pero aquí hay una mejor manera", y el Estudiante de Arte realmente lo entiende porque todavía están en la misma página.

Paso 3: Repetir

Vuelven al Paso 1 para aprender trucos aún más avanzados, luego intercambian nuevamente en el Paso 2.
Este ciclo se repite constantemente.

Por Qué Esto Funciona Mejor

El artículo afirma que este método es superior por tres razones principales:

Sin Tira y Afloja: Porque practican sus habilidades específicas por separado durante un tiempo, no se confunden al mezclar las reglas de Matemáticas y Arte.
Sin Brecha "Demasiado Lejos": Porque intercambian roles durante el entrenamiento (no después), nunca se alejan tanto que no puedan entenderse. Se mantienen en un "punto dulce" donde el profesor es lo suficientemente avanzado para enseñar, pero lo suficientemente cercano para ser entendido.
Crecimiento Mutuo: No son solo un profesor y un estudiante; coevolucionan. Crecen juntos. El artículo encontró que el resultado final es un único modelo que en realidad es mejor tanto en Matemáticas como en Arte que los "expertos" individuales por separado.

Los Resultados

Los investigadores probaron esto en un modelo que necesitaba manejar texto (Matemáticas), imágenes (Arte) y videos.

Métodos Antiguos: El modelo estaba confundido (entrenamiento mixto) o perdía conocimiento (enseñanza estática).
CoPD: El modelo dominó los tres. De hecho, el modelo final "todo en uno" funcionó mejor que los expertos especializados de los que fue construido.

Resumen

Piensa en CoPD no como una escuela donde te gradúas de una materia antes de comenzar la siguiente, sino como un gimnasio donde dos atletas entrenan juntos. Hacen sus propios ejercicios para fortalecerse, luego inmediatamente se asumen el rol de compañeros para compartir consejos mientras todavía están calientes y sincronizados. Para cuando terminan, ambos son más fuertes de lo que habrían sido entrenando solos o en aislamiento.

Aquí se presenta un resumen técnico detallado del artículo "Co-Evolving Policy Distillation" (CoPD).

1. Planteamiento del Problema

El artículo aborda el desafío de consolidar múltiples capacidades especializadas (por ejemplo, razonamiento textual, razonamiento visual, comprensión de video) en un único modelo unificado. Los paradigmas actuales de post-entrenamiento enfrentan dos limitaciones principales:

RLVR de Datos Mixtos (Aprendizaje por Refuerzo con Recompensas Verificables): Entrenar un único modelo con datos mixtos de diferentes dominios a menudo conduce a una divergencia de capacidades. Debido a que diferentes capacidades favorecen direcciones de optimización conflictivas, el entrenamiento conjunto genera conflictos de gradiente, provocando un "efecto balancín" donde las ganancias en un dominio se producen a expensas de otro.
Distilación de Política Estática (OPD/MOPD): La alternativa estándar es una tubería de dos etapas: primero, entrenar modelos "expertos" separados en dominios específicos hasta la convergencia; segundo, destilar estos expertos en un único modelo estudiante. Los autores identifican un defecto crítico en este enfoque: para cuando comienza la destilación, los expertos han derivado significativamente en sus patrones de comportamiento (distribuciones de tokens) respecto al estudiante. Esta gran distancia conductual hace que la supervisión del maestro sea difícil de absorber para el estudiante, lo que conduce a una transferencia de conocimiento subóptima y al fracaso en retener completamente las capacidades de los expertos.

2. Metodología: Destilación de Política Co-Evolucionaria (CoPD)

CoPD propone un marco unificado que entrelaza la exploración específica de capacidades con la consolidación interdominio, permitiendo que los expertos co-evolucionen simultáneamente como maestros y estudiantes.

Mecanismo Central

En lugar de entrenar a los expertos hasta la convergencia antes de la destilación, CoPD mantiene ramas de entrenamiento paralelas (una por capacidad) que alternan entre dos fases en cada ciclo de entrenamiento:

Fase de RLVR Específica de Rama:
- Cada rama realiza de forma independiente la Optimización de Política Relativa por Grupos (GRPO) en sus datos de dominio específico.
- Objetivo: Profundizar la experiencia específica del dominio e incrementar intencionalmente la "brecha conductual" (divergencia de conocimiento) entre las ramas. Esto asegura que la destilación posterior tenga nuevo conocimiento informativo que transferir.
Fase de OPD Mutuo:
- Las ramas generan trayectorias (rollouts) en los datos de las demás.
- Cada rama actúa como maestro para las demás, proporcionando supervisión a nivel de token (mediante la minimización de la divergencia KL) sobre las propias trayectorias del estudiante.
- Objetivo: Cerrar la brecha conductual mientras el conocimiento sigue siendo fresco y los modelos están conductualmente alineados. Esto asegura una alta eficiencia de absorción.

Características Clave de Diseño

Co-evolución Bidireccional: A diferencia de las tuberías estáticas donde los maestros son fijos, CoPD utiliza una topología dinámica donde cada rama es simultáneamente un maestro y un estudiante.
Consistencia Conductual: El método se basa en la hipótesis de que la eficiencia de la destilación ( $\eta$ ) está positivamente correlacionada con la superposición de los top- $k$ tokens entre maestro y estudiante. CoPD mantiene activamente esta superposición por encima de un umbral crítico (por ejemplo, >0.90) alternando fases, evitando que los modelos se alejen demasiado.
Escalabilidad: El marco soporta $K$ ramas. Para $K > 2$ , emplea una topología de "centro y radios" (hub-and-spoke) para evitar la complejidad total de pares (por ejemplo, en una configuración de 3 ramas, el razonamiento textual actúa como centro para las ramas de imagen y video).
Integración Final: Dado que todas las ramas comienzan desde una base compartida y permanecen estrechamente acopladas, el modelo unificado final se obtiene mediante una simple fusión de parámetros.

3. Contribuciones Clave

Insight Teórico: Los autores identifican que la efectividad de la OPD está inversamente relacionada con la distancia conductual entre maestro y estudiante. Demuestran mediante estudios piloto que las tuberías estáticas operan en un régimen de "baja absorción" porque los expertos se desvían demasiado antes de que comience la destilación.
Marco CoPD: Proponen un nuevo paradigma de entrenamiento que entrelaza RLVR y OPD mutuo. Esto resuelve el compromiso entre necesitar divergencia de conocimiento (para una destilación informativa) y proximidad conductual (para una destilación absorbible).
Rompiendo el "Techo del Experto": CoPD demuestra que un modelo unificado puede superar el rendimiento de los expertos individuales específicos de dominio, convirtiendo efectivamente los compromisos interdominio en ganancias mutuas.
Validación de Escalabilidad: El método se valida tanto en configuraciones de 2 ramas (Texto + Imagen) como de 3 ramas (Texto + Imagen + Video), probando su eficacia en escenarios multimodales complejos.

4. Resultados Experimentales

El artículo evalúa CoPD en Qwen3-VL-4B-Instruct a través de benchmarks de razonamiento en texto, imagen y video.

Razonamiento en Texto e Imagen (2 Ramas):
- CoPD logró la precisión promedio general más alta (57.71%), superando a RLVR Mixto, OPD Estático (ambas direcciones) e incluso a los modelos individuales Experto-Texto y Experto-Imagen.
- Cabe destacar, CoPD mejoró el razonamiento textual a 58.76% (vs. 57.89 para el Experto-Texto) y el razonamiento visual a 56.97% (vs. 55.76 para el Experto-Imagen), demostrando el efecto de "ganancia mutua".
Razonamiento en Texto, Imagen y Video (3 Ramas):
- CoPD logró un promedio general de 58.12%, superando la línea base de OPD Multi-Maestro (MOPD) (56.99%) y al Experto-Video (58.75) en razonamiento de video, manteniendo al mismo tiempo un alto rendimiento en tareas de texto e imagen.
- RLVR Mixto mostró el promedio de video más alto entre las líneas base, pero sufrió una degradación significativa en el razonamiento textual, confirmando el problema de la divergencia de capacidades.
Estudios de Ablación:
- Eliminar la destilación mutua en cualquier dirección causó caídas de rendimiento, confirmando la necesidad de la co-evolución bidireccional.
- Incluso sin fusión de parámetros, las ramas individuales en CoPD superaron a las líneas base de OPD estático, indicando que el proceso de co-evolución en sí mismo crea capacidades robustas y bien redondeadas.
- Se encontró que la relación óptima entre pasos de RLVR y pasos de OPD es 1.5:1, equilibrando la exploración y la consolidación.

5. Significado

Nuevo Paradigma de Entrenamiento: CoPD desafía el flujo de trabajo convencional de "entrenar-luego-destilar", sugiriendo que el entrenamiento paralelo con destilación mutua continua es una estrategia de escalado más efectiva para modelos de múltiples capacidades.
Resolviendo el Problema "Todo en Uno": Proporciona una solución al problema de larga data de integrar diversas modalidades sin sacrificar el rendimiento en ningún dominio individual.
Serie RLVR Autoenseñada: Este artículo es la tercera entrega en la serie "Self-Taught RLVR" de los autores, explorando el concepto de "selves paralelos" (enseñanza mutua) que complementa trabajos anteriores sobre "selves informados" y "selves temporales".
Impacto Práctico: El método ofrece una vía escalable para construir agentes de IA de propósito general que puedan razonar simultáneamente a través de texto, imágenes y video, reduciendo potencialmente la necesidad de mantener múltiples modelos especializados.