Label-Free Reinforcement Learning via Cross-Model Entropy

Resumen Técnico: Aprendizaje por Refuerzo sin Etiquetas mediante Entropía Cruzada entre Modelos

Enunciado del Problema
El post-entrenamiento de modelos de lenguaje grandes (LLM) mediante aprendizaje por refuerzo (RL) se encuentra actualmente limitado por la necesidad de una señal de recompensa fiable. Los enfoques existentes enfrentan una dicotomía:

1. Verificadores de verdad fundamental: Métodos como PPO y GRPO dependen de la corrección automáticamente verificable (por ejemplo, en matemáticas o ejecución de código). Esto restringe el entrenamiento por RL a dominios con respuestas objetivas, excluyendo el seguimiento de instrucciones abiertas.
2. Etiquetas de preferencia humana: Métodos como RLHF y DPO requieren anotación humana costosa y son susceptibles a la manipulación de recompensas.
3. Señales de autorreferencia sin etiquetas: Alternativas recientes (por ejemplo, TTRL, Evol-RL, RENT) utilizan las propias salidas del generador para derivar recompensas mediante votación mayoritaria o entropía de tokens. Sin embargo, estas son estructuralmente defectuosas para tareas abiertas: si un modelo está sistemáticamente equivocado pero internamente consistente, las señales de autorreferencia refuerzan los errores en lugar de corregirlos. Además, la votación mayoritaria requiere una respuesta canónica, lo que la hace inaplicable a la generación abierta.

Metodología: Entropía Cruzada entre Modelos (CME)
Los autores proponen la Entropía Cruzada entre Modelos (CME), una señal de recompensa sin etiquetas diseñada para extender el RL al seguimiento de instrucciones abiertas sin etiquetas de verdad fundamental ni preferencias humanas.

• Concepto Central: En lugar de pedirle a un generador que evalúe sus propias salidas, la CME mide lo "sorprendente" que es la respuesta de un generador para un modelo verificador independiente ($\pi_\phi$).
• Definición de Recompensa: La recompensa se define como el logaritmo negativo de la verosimilitud de la respuesta del generador bajo el modelo verificador.
  $$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$$
  Donde $y_{aligned}$ representa los tokens del generador alineados al espacio de tokens del verificador.
• Fundamento Teórico: Maximizar la CME esperada es matemáticamente equivalente a minimizar la divergencia KL inversa $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (hasta un término de entropía del generador). Esto destila efectivamente la política del generador hacia la distribución del verificador. Si el verificador es más competente en el dominio que el generador, esto impulsa al generador hacia salidas de mayor calidad.
• Detalles de Implementación:
  • Integración: La CME se integra en el marco GRPO (Optimización de Política Relativa por Grupos). Reemplaza la recompensa escalar estándar con una señal continua a nivel de token.
  • Alineación de Tokens: Para manejar discrepancias entre los tokenizadores del generador y del verificador (por ejemplo, Qwen vs. Gemma), los autores emplean un procedimiento de alineación a nivel de caracteres. Las log-probabilidades del verificador se ponderan por la fracción de superposición de caracteres con los tokens del generador, asegurando que la log-verosimilitud total se preserve independientemente de la granularidad del tokenizador.
  • Bucle de Entrenamiento: La configuración es libre de entrenamiento para el verificador; los pesos del verificador permanecen congelados. El generador se actualiza utilizando ventajas normalizadas por grupo derivadas de las puntuaciones CME.

Contribuciones Clave

1. Señal de Recompensa Novel: Introducción de la CME como una recompensa continua, libre de entrenamiento y sin etiquetas que depende de la evaluación cruzada entre modelos en lugar de señales de autorreferencia.
2. Extensión al RL Abierto: Extiende con éxito el RL sin etiquetas al seguimiento de instrucciones abiertas, un régimen donde la consistencia propia y la votación mayoritaria fallan.
3. Validación Empírica: Demuestra que CME-GRPO mejora el rendimiento en cuatro familias de modelos (Qwen, Llama, Gemma, OLMo) y tres regímenes de entrenamiento (preentrenado, SFT, ajustado a instrucciones) sin utilizar ninguna anotación de preferencia.
4. Verificación de la Señal: Prueba que la señal se origina en la evaluación cruzada entre modelos y no en una regularización genérica, mostrando que un verificador inicializado aleatoriamente produce un rendimiento significativamente menor que los verificadores con pesos reales.

Resultados Experimentales
Los autores evaluaron CME-GRPO en la prueba AlpacaEval 2.0 (805 prompts) utilizando LLM como juez (GPT-5.2 y Claude Sonnet 4.6).

• Rendimiento vs. Base: CME-GRPO superó al modelo base no entrenado en cada comparación directa a través de todas las familias de modelos. Las tasas de victoria ajustadas por empates oscilaron entre 52.5% y 71.4%.
• Rendimiento vs. SFT/DPO: En bases SFT, CME-GRPO igualó el rendimiento de los modelos DPO entrenados en la misma base utilizando el conjunto de datos UltraFeedback completo (incluyendo anotaciones de preferencia), a pesar de que CME-GRPO utilizó solo los prompts y ninguna etiqueta de preferencia.
• Capacidad del Verificador: El rendimiento escaló con la capacidad del verificador. Un verificador más grande (Gemma-4-E4B-it) produjo tasas de victoria más altas que los más pequeños. Crucialmente, un verificador inicializado aleatoriamente rindió peor que todos los verificadores reales, confirmando que la señal no es un artefacto de la regularización genérica.
• Comparación con Métodos de Autorreferencia: CME-GRPO superó consistentemente a RENT (un método de minimización de entropía de autorreferencia), particularmente en bases preentrenadas donde las señales de autorreferencia son propensas a reforzar errores.

Significado y Afirmaciones
El artículo afirma que la CME proporciona un camino viable para el post-entrenamiento de LLM para tareas abiertas sin el costo prohibitivo de datos de preferencia humana ni los riesgos estructurales de las recompensas de autorreferencia. Al aprovechar la "sorpresa" de un modelo independiente y capaz, el método alinea al generador con una distribución de alta calidad sin requerir corrección de verdad fundamental.

Los autores señalan que, aunque el método es efectivo, depende de la suposición de que el verificador es más competente que el generador en el dominio objetivo. También reconocen limitaciones, incluyendo la sobrecarga computacional de ejecutar un verificador junto al generador, el potencial de deriva hacia el estilo del verificador (colapso de modo) y el hecho de que las evaluaciones dependen de jueces LLM en lugar de calificaciones humanas. El trabajo sugiere que las respuestas "poco sorprendentes" para un modelo capaz son un fuerte proxy de alta calidad en ausencia de etiquetas explícitas.