Resumen Técnico: RLCSD – Aprendizaje por Refuerzo con Auto-Destilación Contrastiva On-Policy

1. Planteamiento del Problema: Deriva de Estilo Inducida por el Privilegio

El artículo identifica una patología crítica en la Auto-Destilación On-Policy (OPSD), un paradigma donde un único modelo actúa tanto como profesor como estudiante, siendo el profesor dotado de acceso a un "contexto privilegiado" (por ejemplo, una solución verificada) no disponible para el estudiante.

Aunque los métodos de OPSD existentes (como OPSD, SDPO, SRPO, RLSD) buscan proporcionar una supervisión densa a nivel de token minimizando la brecha distributiva entre el estudiante y el profesor privilegiado, los autores demuestran que esta señal de aprendizaje es fundamentalmente defectuosa. Denominan a este fallo deriva de estilo inducida por el privilegio.

• El Mecanismo: Condicionar al profesor con una solución verificada (el contexto privilegiado) puede agudizar su confianza en los tokens que portan la tarea (por ejemplo, operadores matemáticos). Sin embargo, simultáneamente induce un cambio sistemático y ortogonal a la corrección en el comportamiento generativo. El profesor privilegiado tiende a producir salidas más cortas y asertivas, suprime las dudas exploratorias (hedges) y reasigna la masa de probabilidad hacia tokens de formato y discurso (por ejemplo, "Espera", "Por lo tanto", "\n\n").
• La Consecuencia: La señal resultante ($e_{c,t}$) está dominada por estos tokens de estilo en lugar de los tokens de la tarea que determinan la respuesta.
• Patologías Observadas: Este sesgo de la señal conduce a dos modos de fallo distintos en el entrenamiento:
  1. Explosión de Entropía e Inestabilidad: Métodos como OPSD y SDPO sufren un crecimiento descontrolado de la entropía, lo que provoca explosiones en la longitud de la respuesta y el colapso del entrenamiento.
  2. Reducción Prematura de la Longitud: Métodos como RLSD exhiben una reducción drástica en la longitud de la respuesta, limitando la capacidad del modelo para realizar razonamientos de largo horizonte.

2. Metodología: RLCSD

Para abordar la deriva de estilo inducida por el privilegio, los autores proponen RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation). La idea central es que los cambios estilísticos inducidos por el contexto privilegiado se comparten entre pistas correctas e incorrectas cuando se presentan bajo plantillas de prompt idénticas. Al contrastar una pista correcta contra una incorrecta, el componente estilístico compartido puede cancelarse, dejando una señal concentrada en la corrección de la tarea.

El flujo de trabajo de RLCSD consta de tres etapas:

Etapa 1: Muestreo de Rollout y Partición

Para una consulta $x$ dada, la política del estudiante $\pi_S$ muestrea un grupo de $G$ rollouts. Un verificador basado en reglas particiona estos en un subconjunto correcto ($\mathcal{G}^+$) y uno incorrecto ($\mathcal{G}^-$). Los grupos con resultados uniformes (todos correctos o todos incorrectos) se descartan, ya que producen una ventaja de cero bajo la normalización estándar de GRPO.

Etapa 2: Construcción de la Señal Contrastiva a Nivel de Token

En lugar de utilizar un único hint privilegiado, RLCSD construye una señal contrastiva $e_{ctr,t}$:

1. Pista Positiva ($y_c^*$): Muestreada de $\mathcal{G}^+$.
2. Pistas Negativas ($y_{w,k}^*$): $K$ pistas muestreadas de $\mathcal{G}^-$.
3. Prompting Simétrico: Ambas pistas se envuelven en una plantilla de prompt idéntica (Problema + Solución de Referencia + Respuesta). Esto asegura que el profesor las trate como referencias de verdad absoluta, haciendo que los cambios estilísticos inducidos sean idénticos.
4. La Señal: La señal contrastiva se calcula como la diferencia entre la brecha de log-probabilidad bajo la pista correcta y el promedio de la brecha de log-probabilidad bajo las $K$ pistas negativas:
   $$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$$
   Refinamientos: El método emplea la K-marginalización sobre las pistas negativas para estabilizar la señal contra tipos de error heterogéneos y excluye el rollout objetivo del grupo de pistas para evitar que el profesor se vuelva excesivamente confiado en su propia generación.

Etapa 3: Modulación Anclada al Verificador y Pérdida

La señal contrastiva $e_{ctr,t}$ no se utiliza como una recompensa independiente, sino como una modulación de la ventaja a nivel de resultado ($A_{ORM}$) derivada de GRPO.

• Modulación: $e_{ctr,t}$ se suaviza mediante normalización (vía $\tanh$) y se reescala para producir un término de modulación a nivel de token $r_t$.
• Corte de Preservación de Signo: La modulación se añade a $A_{ORM}$, pero el resultado se limita (clamp) para asegurar que la dirección de la actualización nunca contradiga la señal de resultado del verificador.
• Pérdida de Dos Caminos: El objetivo final agrega una pérdida de recorte tipo PPO de dos caminos:
  1. Un camino no modulado para los tokens donde la señal contrastiva es débil (ruido).
  2. Un camino modulado para los tokens donde la señal es fuerte.
     Crucialmente, estos caminos se normalizan de forma independiente dentro de cada rollout para evitar que la señal modulada sea diluida por la mayoría de los tokens no modulados.

3. Contribuciones Clave

1. Caracterización de la Deriva de Estilo Inducida por el Privilegio: El artículo identifica y cuantifica un sesgo sistemático en OPSD donde el condicionamiento privilegiado desplaza la señal de aprendizaje hacia los tokens de estilo, causando inestabilidad en el entrenamiento o una reducción prematura de la longitud de la respuesta.
2. Algoritmo RLCSD: Un método novedoso que mitiga esta deriva mediante la cancelación contrastiva simétrica entre pistas privilegiadas correctas e incorrectas. Integra esta señal limpia en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) como una modulación a nivel de token anclada al verificador.
3. Generalizabilidad del Principio Contrastivo: Los autores demuestran que la construcción contrastiva es un componente agnóstico al método. Puede integrarse en las bases de OPSD existentes (como OPSD y RLSD) para mejorar su estabilidad y rendimiento, lo que sugiere que el principio se aplica ampliamente a la auto-destilación on-policy.
4. Extensión a la Destilación Cross-Model: El artículo extiende la visión a la Destilación On-Policy (OPD) entre modelos, mostrando cómo una descomposición similar de tokens de tarea frente a tokens de estilo explica por qué profesores estilísticamente alineados pero más débiles pueden superar a profesores más fuertes pero estilísticamente distantes.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3 (1.7B, 4B, 8B) y Olmo-3-7B-Think en razonamiento matemático (AMC23, AIME24, AIME25) y razonamiento lógico (Knights & Knaves).

• Rendimiento: RLCSD supera consistentemente a GRPO y a los métodos previos de OPSD (OPSD, SDPO, SRPO, RLSD) en todos los benchmarks.
  • En Qwen3-8B, RLCSD logró un mean@12 de 90.8 en AMC23 (frente a 90.1 de GRPO) y 77.5 en AIME24.
  • En Razonamiento Lógico (OOD), RLCSD mostró ganancias significativas, alcanzando un pass@1 de 81.8 en Knights & Knaves (4-8 roles) y 79.0 en el split OOD de 9 roles, superando a GRPO por un margen amplio.
• Estabilidad de Entrenamiento: A diferencia de los métodos competitivos de OPSD que exhibieron explosión de entropía o reducción de la longitud de la respuesta, RLCSD mantuvo una entropía y longitudes de respuesta estables durante todo el entrenamiento, comparables a GRPO.
• Estudios de Ablación:
  • Eliminar el mecanismo contrastivo (usando solo pistas unidireccionales) causó caídas de rendimiento de 3.0 a 5.4 puntos, confirmando la necesidad del contraste.
  • Eliminar la K-marginalización o permitir auto-rollouts en el grupo de pistas degradó el rendimiento, validando los refinamientos de diseño.
  • Eliminar la agregación de pérdida de dos caminos (usando un promedio global único) redujo significamente el rendimiento, probando la necesidad de aislar los tokens modulados.

5. Significado y Reivindicaciones

El artículo afirma que RLCSD ofrece una solución robusta a la inestabilidad que plaga la auto-destilación on-policy. Al aislar la señal de la "tarea" del ruido de "estilo" inherente al condicionamiento privilegiado, RLCSD permite un entrenamiento estable y de alto rendimiento de modelos de razonamiento sin la sobrecarga de memoria de mantener un modelo profesor separado.

Los autores afirman modestamente que el principio contrastivo es una visión general para la destilación on-policy. No solo mejora el algoritmo específico de RLCSD, sino que también sirve como una herramienta de diagnóstico para seleccionar profesores en entornos de destilación cross-model, donde la alineación de los estilos de razonamiento puede ser más crítica que la capacidad bruta. El trabajo sugiere que los futuros métodos de destilación deben considerar y mitigar los cambios estilísticos parásitos inducidos por el contexto privilegiado.