Self-Distilled RLVR

Resumen Técnico: Self-Distilled RLVR (RLSD)

1. El Problema: Limitaciones de la Auto-Distilación en Línea (OPSD)

El artículo aborda un desafío fundamental en el entrenamiento de Modelos de Lenguaje Grandes (LLM) para razonamiento: cómo combinar la eficiencia de la distilación en línea (On-Policy Distillation - OPD) con la estabilidad del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR).

• Contexto:

  • RLVR (ej. GRPO): Utiliza recompensas escasas (binarias) basadas en el resultado final (correcto/incorrecto). Es estable y ancla la dirección de actualización a la realidad, pero carece de señales densas a nivel de token, lo que puede ralentizar la convergencia.
  • OPD: Utiliza un modelo "maestro" externo más grande para proporcionar señales densas a nivel de token. Es eficiente, pero requiere mantener un modelo externo costoso y comparte vocabulario.
  • OPSD (Auto-Distilación en Línea): Propuesta reciente donde el mismo modelo actúa como maestro y estudiante. El "maestro" tiene acceso a información privilegiada (ej. la respuesta correcta o una pista de razonamiento verificada), mientras que el "estudiante" solo ve la consulta.

• La Falla Crítica de OPSD:
  Los autores demuestran que OPSD sufre de fuga de información privilegiada y degradación del rendimiento a largo plazo.

  • Fuga de Información: El modelo aprende a depender de la información privilegiada (que no tiene en inferencia) para generar sus respuestas, citando "soluciones de referencia" invisibles durante la inferencia.
  • Degradación: El rendimiento mejora rápidamente al inicio, pero luego colapsa.
  • Causa Teórica: Existe una asimetría de información entre el maestro y el estudiante. El objetivo de OPSD intenta igualar la distribución del estudiante con la del maestro condicionado a $r$ (información privilegiada). Teóricamente, esto crea una brecha de información mutua irredudible ($I(Y_t; R | X, Y_{<t}) > 0$). El gradiente de entrenamiento contiene un componente de desviación específico de $r$ que, aunque tiene media cero, tiene varianza positiva. A medida que el entrenamiento avanza, esta varianza domina, empujando al modelo a codificar correlaciones espurias entre la entrada $x$ y la información privilegiada $r$, en lugar de mejorar el razonamiento real.

2. Metodología: RLSD (RLVR con Auto-Distilación)

Los autores proponen RLSD, un nuevo paradigma que unifica las fortalezas de RLVR y OPSD, pero redefiniendo el rol de la auto-distilación.

• Principio Central: Desacoplar la dirección de la actualización de su magnitud.

  • Dirección (Fiable): Determinada exclusivamente por la recompensa del entorno (RLVR). Esto asegura que el modelo solo se refuerce o penalice basándose en la corrección real de la respuesta, evitando la fuga de información.
  • Magnitud (Densa): Determinada por la auto-distilación. La discrepancia entre el maestro (con información privilegiada) y el estudiante se utiliza para asignar crédito fino a nivel de token.

• Algoritmo RLSD:

  1. Generación: El modelo genera trayectorias (respuestas) sin acceso a la información privilegiada $r$.
  2. Recompensa de Entorno: Se obtiene una recompensa binaria $R(x, y)$ (correcto/incorrecto) y se calcula la ventaja a nivel de secuencia $A$ (como en GRPO).
  3. Cálculo de Ganancia Privilegiada: Se realiza un paso forward adicional con la información privilegiada $r$ para obtener las logits del "maestro". Se calcula la ganancia de información: $\Delta_t = \text{sg}(\log P_T(y_t) - \log P_S(y_t))$.
  4. Reponderación de Crédito: Se construye un peso por token $w_t$ que modula la ventaja:
     $$w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$$
     • Si la respuesta es correcta ($A > 0$), los tokens apoyados por el maestro reciben mayor crédito.
     • Si es incorrecta ($A < 0$), los tokens desfavorables reciben mayor "culpa".
     • Crucial: El signo de la ventaja (dirección) nunca cambia; solo se modula la intensidad.
  5. Actualización: Se utiliza una función de pérdida similar a GRPO, pero con ventajas a nivel de token reponderadas ($\hat{A}_t$) y recortadas (clipping) para estabilidad.

• Interpretación Bayesiana: El peso $w_t$ se interpreta como una relación de evidencia bayesiana: mide cuánto actualiza la generación de un token la creencia de que la trayectoria es consistente con la solución correcta.

3. Contribuciones Clave

1. Análisis Teórico de OPSD: Demostración formal de que la auto-distilación bajo asimetría de información es un problema mal planteado (ill-posed). Se prueba que la brecha de información mutua es irredudible y causa inevitablemente fuga de información y colapso del entrenamiento.
2. Propuesta de RLSD: Un nuevo marco que utiliza la auto-distilación no como un objetivo de coincidencia de distribuciones (clonación de comportamiento), sino como un mecanismo de asignación de crédito fino dentro de un marco de gradiente de política.
3. Resolución del Trilema de Imposibilidad: Se demuestra que RLSD satisface simultáneamente tres propiedades que OPSD no puede lograr juntas:
   • Estabilidad del objetivo (la dirección no deriva).
   • Mejora sostenida (no se estanca).
   • Entrenamiento libre de fugas (no codifica información privilegiada).
4. Eficiencia: RLSD es un reemplazo directo (drop-in) para GRPO, requiriendo solo un paso forward adicional por respuesta (costo computacional mínimo) y sin necesidad de modelos maestros externos ni pérdidas auxiliares complejas.

4. Resultados Experimentales

Los experimentos se realizaron en el modelo Qwen3-VL-8B-Instruct utilizando el conjunto de datos MMFineReason-123K y cinco benchmarks de razonamiento multimodal (MMMU, MathVista, MathVision, ZeroBench, WeMath).

• Rendimiento General: RLSD logró la mayor precisión promedio (56.18%), superando al modelo base en un 4.69% y a GRPO estándar en un 2.32%.
• Convergencia:
  • RLSD alcanzó un techo de convergencia más alto que GRPO.
  • Evitó el colapso de rendimiento observado en OPSD (que alcanza su pico temprano y luego decae).
  • RLSD superó a GRPO entrenado con el doble de pasos en solo la mitad del tiempo (convergencia más rápida).
• Asignación de Crédito: Los mapas de calor muestran que RLSD asigna correctamente crédito a los tokens decisivos (ej. pasos de cálculo clave) y penaliza los errores específicos, a diferencia de GRPO que trata todos los tokens por igual o OPSD que distorsiona la dirección.
• Estabilidad: RLSD mantuvo niveles de entropía más altos y estables, evitando el colapso de exploración típico de las recompensas uniformes.

5. Significado e Impacto

Este trabajo es significativo porque:

• Desmitifica la Auto-Distilación: Explica por qué las técnicas de auto-distilación que funcionan bien en otros contextos fallan estrepitosamente en RLVR cuando hay asimetría de información, proporcionando una teoría sólida (brecha de información mutua) para evitar errores futuros.
• Mejora el Razonamiento LLM: Ofrece una solución práctica y eficiente para mejorar el razonamiento en modelos multimodales y de texto, superando las limitaciones de las recompensas escasas sin los costos de mantener modelos maestros externos.
• Marco Unificado: Establece un nuevo estándar para la asignación de crédito en RLVR, demostrando que se pueden combinar señales densas (distilación) y señales fiables (entorno) sin comprometer la estabilidad del entrenamiento.

En resumen, RLSD transforma la auto-distilación de un mecanismo de clonación de comportamiento (que introduce ruido y fugas) en una herramienta de evaluación de crédito granular, permitiendo que los modelos de IA aprendan a razonar de manera más robusta, rápida y estable.