Resumen Técnico: Destilación Propia Guiada por Rúbricas (RGSD)

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha impulsado avances significativos en el post-entrenamiento para tareas con verificadores programáticos (por ejemplo, matemáticas, código). Sin embargo, para dominios de código abierto como el consejo clínico, la exposición científica y la escritura creativa, la verificación programática es inaplicable. La comunidad ha adoptado las rúbricas —listas de verificación ponderadas de criterios— como un sustituto de la verdad fundamental (ground truth).

Los métodos actuales de entrenamiento basados en rúbricas, como la Optimización de Política Relativa de Grupo (GRPO), dependen de un verificador de un LLM externo para calificar cada trayectoria generada frente a la rúbrica. Este enfoque introduce tres limitaciones críticas:

1. Sobrecarga Computacional: Cada paso de entrenamiento requiere llamadas costosas a un juez de LLM (a menudo $G \times K$ llamadas por prompt, donde $G$ es el número de trayectorias y $K$ es el número de criterios), lo que crea latencia y cuellos de botella por límites de tasa (rate-limits).
2. Sesgo del Verificador y Hackeo de Recompensas (Reward Hacking): La señal de recompensa hereda las idiosincrasias y sesgos del modelo verificador específico. Las políticas pueden aprender a "hackear" al verificador (por ejemplo, aumentando la verbosidad o realizando afirmaciones sin fundamento) en lugar de satisfacer genuinamente los criterios.
3. Asignación de Crédito Dispersa: El RL basado en rúbricas suele reducir una evaluación multicriterio a una única recompensa escalar al final de una trayectoria. Esto proporciona una señal de aprendizaje débil para determinar qué decisiones a nivel de token mejoraron o perjudicaron la satisfacción de la rúbrica.

Metodología: Destilación Propia Guiada por Rúbricas (RGSD)

Los autores proponen la Destilación Propia Guiada por Rúbricas (RGSD), un método de entrenamiento sin verificador que elimina al juez de LLM externo del bucle de entrenamiento. La idea central es empírica: cuando se le proporciona al modelo base la rúbrica como contexto privilegiado, sus respuestas obtienen puntuaciones significativamente más altas (30–45 puntos porcentuales) que cuando no está condicionado. RGSD aprovecha este "incremento por condicionamiento" (conditioning lift) para crear una señal de supervisión densa a nivel de token.

El Pipeline de RGSD

RGSD instancia dos copias del mismo modelo base ($\theta_{base}$):

1. Estudiante ($\pi_S$): Una política entrenable condicionada únicamente al prompt del usuario $q$. Genera una trayectoria on-policy $y \sim \pi_S(\cdot|q)$.
2. Profesor ($\pi_T$): Una copia congelada del modelo base condicionada al prompt $q$ y al conjunto de rúbricas $R$. Observa el prefijo generado por el estudiante $y_{<t}$ y la rúbrica para producir una distribución de tokens objetivo $\pi_T(\cdot|q, R, y_{<t})$.

Objetivo de Entrenamiento:
En lugar de optimizar para una recompensa escalar, el estudiante es entrenado para coincidir con la distribución de tokens del profesor utilizando una Divergencia de Jensen–Shannon (JSD) recortada:
$$L_{RGSD}(\theta_S) = \mathbb{E}_{(q,R) \sim D, y \sim \pi_S} \left[ \frac{1}{T} \sum_{t=1}^{T} D_{\beta}^{clip} \left( \pi_S(\cdot|q, y_{<t}) \parallel \pi_T(\cdot|q, R, y_{<t}) \right) \right]$$
donde $\beta=0.5$ interpola entre la KL directa y la inversa.

Detalles Clave de Implementación:

• Supervisión Densa: A diferencia de la recompensa dispersa a nivel de trayectoria de GRPO, RGSD proporciona una señal de aprendizaje para cada token en la trayectoria.
• Sin Llamadas al Verificador: El bucle de entrenamiento requiere cero llamadas a jueces externos; la supervisión proviene enteramente del profesor congelado.
• Manejo de la Traza de Razonamiento: Para modelos de razonamiento (ej. Qwen3-Thinking), el profesor condicionado por la rúbrica puede referenciar explícitamente los criterios de la rúbrica en su traza de pensamiento interna ($\dots$). Para evitar que el estudiante aprenda a fabricar estas referencias (que no puede ver durante la inferencia), RGSD enmascara los tokens del bloque de pensamiento durante el cálculo de la pérdida, destilando únicamente los tokens de la respuesta final.

Contribuciones Clave

1. Un Algoritmo de Entrenamiento Sin Verificador: RGSD es el primer método que utiliza las rúbricas como contexto privilegiado para la autodestilación on-policy, eliminando por completo al juez de LLM del bucle de optimización.
2. Desempeño Competitivo con Menor Costo: A través de cuatro modelos base (Qwen-2.5 3B/7B, Qwen3-Thinking 4B/8B) y dos dominios (Médico, Ciencia), RGSD logra puntuaciones de satisfacción de rúbrica comparables al GRPO basado en jueces.
   • Dominio Médico: RGSD mejora las puntuaciones base en +6.1pp frente al +5.9pp de GRPO.
   • Dominio Científico: RGSD mejora en +4.9pp frente al +4.5pp de GRPO.
3. Eficiencia y Concisión: RGSD requiere solo una trayectoria on-policy por prompt (frente a 16 para GRPO) y cero llamadas al juez. Además, en los modelos Qwen-2.5, RGSD logra una calidad comparable con respuestas sustancialmente más cortas, evitando la "deriva de verbosidad" observada en GRPO.
4. Perspectivas de Ablación:
   • Señal de Enriquecimiento: El uso de la rúbrica pura como contexto del profesor proporciona una señal de enriquecimiento más fuerte que el uso de una respuesta de referencia "dorada" autogenerada.
   • Fortaleza del Juez: Aunque un verificador más fuerte (ej. gpt-oss-120b) puede permitir que GRPO supere a RGSD en configuraciones específicas, esto conlleva el costo de mantener el costoso bucle de verificador por trayectoria y, a menudo, produce respuestas más largas y con mayor densidad de afirmaciones.

Resultados y Análisis

• Paridad de Desempeño: RGSD es competitivo con GRPO en evaluaciones de distribución interna (RubricHub) y de distribución externa (HealthBench, ResearchQA). Los autores interpretan las diferencias inferiores a 1pp como paridad en lugar de victorias significativas, señalando que la varianza de la semilla es baja.
• Longitud de Respuesta y Veracidad:
  • En los modelos Qwen-2.5, GRPO exhibe una severa deriva de verbosidad, generando respuestas 1.4–2.3× más largas que RGSD sin ganancias consistentes en la puntuación.
  • Una auditoría de afirmaciones fácticas en HealthBench revela que la inflación de longitud de GRPO se correlaciona con una mayor tasa de afirmaciones sin fundamento (la tasa de afirmaciones falsas sube del 30.5% al 45.1%), mientras que RGSD mantiene una densidad de afirmaciones más conservadora (subiendo al 35.1%).
• La Brecha de Condicionamiento como Diagnóstico: La magnitud de la "brecha de condicionamiento de la rúbrica" (el incremento de rendimiento cuando un modelo base ve la rúbrica) sirve como predictor de la efectividad de RGSD. En dominios donde el modelo base se beneficia significativamente de ver la rúbrica (ej. Médico), RGSD recupera una fracción mayor de ese potencial.

Significado y Posicionamiento

El artículo posiciona a RGSD no como un reemplazo universal para el RL basado en verificadores, sino como un régimen complementario.

• Cuándo usar RGSD: Es atractivo cuando las llamadas al verificador son computacionalmente costosas, operativamente difíciles o poco fiables, y cuando el modelo base exhibe una fuerte respuesta de condicionamiento por rúbrica. Efectivamente internaliza el conocimiento de la rúbrica sin el riesgo de hackeo de recompensas asociado con los jueces externos.
• Cuándo usar GRPO: Si el objetivo principal es maximizar las puntuaciones de la rúbrica y se dispone de un verificador fuerte, fiable y asequible, el GRPO basado en jueces (potencialmente con un juez más fuerte) puede alcanzar un mayor rendimiento, aunque a un costo mayor y con respuestas más largas y potencialmente menos fácticas.

Los autores concluyen que RGSD demuestra que las rúbricas no deben usarse únicamente como instrumentos de calificación externos; también pueden servir como contexto privilegiado para una destilación propia densa, ofreciendo un camino escalable para el post-entrenamiento en dominios de código abierto.