Resumen Técnico: Diseños de Recompensa Basados en la Verosimilitud para el Razonamiento General de LLM

Planteamiento del Problema

El ajuste fino de Grandes Modelos de Lenguaje (LLMs) para tareas de razonamiento mediante Aprendizaje por Refuerzo (RL) depende típicamente de funciones de recompensa binarias (0/1 de corrección) derivadas de verdades fundamentales verificables (por ejemplo, respuestas matemáticas). Este paradigma enfrenta dos limitaciones primarias:

1. Dependencia del Diseño de la Recompensa: Requiere verificadores específicos para cada benchmark, los cuales no están disponibles para dominios no verificables como demostraciones de largo formato o generación abierta.
2. Escasez de Recompensa: Las recompensas binarias proporcionan señales dispersas, lo que puede dificultar un aprendizaje eficiente, especialmente en cadenas de razonamiento complejas.

Si bien trabajos recientes han propuesto recompensas intrínsecas o mecanismos de auto-recompensa, estos a menudo no logran superar al entrenamiento basado en la corrección o sufren de "hacking" de recompensa y colapso de diversidad. Además, los métodos existentes que utilizan la probabilidad de respuestas de referencia (por ejemplo, VeriFree, JEPO, RLPR) han mostrado resultados mixtos, fallando particularmente en entornos no verificables debido a las probabilidades evanescentes de secuencias largas de coincidencia exacta.

Metodología

Los autores investigan recompensas basadas en la verosimilitud derivadas directamente de la probabilidad o el log-probabilidad de emitir una respuesta de referencia (o cualquier continuación de un prompt presente en los datos) dado un Chain-of-Thought (CoT) generado. Este enfoque evita los verificadores externos y aprovecha señales disponibles a escala.

El estudio compara sistemáticamente varias variantes de recompensa contra líneas base estándar (SFT sin CoT, y RL estándar con recompensas binarias):

• Base RL: RL estándar utilizando una recompensa binaria (1 si la respuesta coincide con la verdad de referencia, 0 de lo contrario).
• Probabilidad (VeriFree): La recompensa es la probabilidad bruta $\pi_\theta(a^*|p, z)$.
• Log-prob: La recompensa es el log-probabilidad $\log \pi_\theta(a^*|p, z)$.
• Log-prob Promedio: Log-probabilidad normalizada por la longitud de la respuesta ($\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$).
• JEPO: Una variante de pérdida ELBO basada en Jensen utilizando recompensas a nivel de grupo.
• SFT: Ajuste fino supervisado estándar prediciendo la respuesta directamente sin CoT.

Los experimentos utilizan el algoritmo RLOO (Reinforce Leave-One-Out) para la estimación de la ventaja. La evaluación abarca:

• Dominios Verificables: Benchmarks MATH y DeepScaleR (problemas de respuesta corta).
• Dominios No Verificables: Alpaca y NuminaProof (respuestas de largo formato y demostraciones de teoremas).
• Modelos: Llama-3.2-3B-Instruct y Qwen-2.5-3B-Instruct.

Contribuciones Clave y Hallazgos

1. Universalidad de las Recompensas de Log-Probabilidad

El hallazgo central es que las recompensas de log-probabilidad son la única variante que se desempeña de manera robusta en todos los entornos.

• En Dominios Verificables: Las recompensas de log-prob logran tasas de éxito comparables o superiores a las líneas base de RL binario estándar. Crucialmente, producen una perplejidad significativamente mejor que el RL binario, alineando el objetivo de entrenamiento con el criterio de preentrenamiento (predicción del siguiente token).
• En Dominios No Verificables: Mientras que las recompensas basadas en la probabilidad (como VeriFree) y el RL estándar colapsan debido a las probabilidades infinitesimalmente pequeñas de generar coincidencias exactas de largo formato, las recompensas de log-probabilidad siguen siendo viables. Estas funcionan al nivel de la técnica de SFT, mientras que otros métodos basados en la probabilidad fallan en mejorar sobre el modelo base.

2. El Fenómeno de "Colapso del CoT"

Una observación significativa es el comportamiento de la longitud del CoT durante el entrenamiento:

• Entornos Verificables: Las recompensas de log-prob causan inicialmente un acortamiento del CoT, pero la longitud se recupera a medida que el entrenamiento progresa.
• Entornos No Verificables: Las recompensas de log-prob conducen a un "colapso" permanente del CoT, reduciendo la traza de razonamiento a una longitud mínima (aprox. 10 tokens). En este régimen, el método de log-prob se comporta efectivamente como SFT.
• Mecanismo: Los autores hipotetizan que, al inicio del entrenamiento, los CoT más cortos se correlacionan con log-probabilidades más altas de la respuesta correcta (probablemente porque el modelo base aún no se ha adaptado a trazas de razonamiento largas). Esta correlación negativa impulsa al agente de RL a acortar el CoT. Los intentos de mitigar esto mediante regularización KL o penalizaciones de longitud previnieron el colapso, pero resultaron en un rendimiento degradado, sugiriendo que, para dominios no verificables, el RL con recompensas de log-prob actualmente iguala el rendimiento de SFT solo mediante la eliminación del CoT.

3. Comparación con Otros Métodos

• Probabilidad vs. Log-Probabilidad: Las recompensas de probabilidad bruta (VeriFree) fallan en entornos no verificables porque la probabilidad de una coincidencia exacta para respuestas largas es cercana a cero, lo que no proporciona ninguna señal de aprendizaje. La log-probabilidad, al ser una suma sobre tokens, proporciona una señal más densa que no se desvanece tan severamente.
• Perplejidad vs. Tasa de Éxito: En dominios verificables, el RL binario optimiza la tasa de éxito pero degrada la perplejidad (el modelo se vuelve "confianzudamente erróneo" en caminos incorrectos). Las recompensas de log-prob optimizan ambos, manteniendo una distribución que es menos confiada en respuestas incorrectas, preservando así una mejor calidad general de modelado de lenguaje.

Significancia

El artículo establece las recompensas de log-probabilidad como una señal de entrenamiento unificada capaz de cerrar la brecha entre tareas de razonamiento verificables y no verificables sin depender de etiquetas de corrección externas.

• Demuestra que un único criterio (maximizar la log-verosimilitud de la respuesta de referencia dado un CoT) puede aplicarse a todo el espectro de tipos de respuesta, desde problemas matemáticos cortos hasta demostraciones de largo formato.
• Resalta un compromiso: mientras que las recompensas de log-prob mejoran la perplejidad y la generalizabilidad, actualmente no superan a SFT en dominios no verificables a menos que se preserve el CoT (lo cual requiere una investigación más profunda de la dinámica de entrenamiento o el escalado de cómputo).
• El trabajo sugiere que, para dominios no verificables, el "probleo de asignación de crédito" en RL puede ser demasiado severo para CoTs largos bajo los presupuestos de entrenamiento actuales, y que los beneficios del CoT en estos entornos pueden requerir un entrenamiento significativamente más largo o estrategias de inicialización diferentes (por ejemplo, calentamiento previo o warm-starting).

Los autores concluyen que las recompensas de log-verosimilitud ofrecen una receta simple y general para el post-entrenamiento de modelos de razonamiento LLM, válida para diversos tipos de respuestas, aunque el mecanismo para mantener CoTs largos en entornos no verificables sigue siendo un desafío abierto.