Resumen Técnico: MulFeRL

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un enfoque estándar para mejorar el razonamiento en los Modelos de Lenguaje Extensos (LLMs), particularmente en matemáticas y generación de código. Sin embargo, el RLVR estándar depende de recompensas escalares basadas únicamente en el resultado (por ejemplo, señales binarias de correcto/incorrecto). Los autores argumentan que, a medida que el rendimiento del modelo aumenta, este enfoque encuentra un cuello de botella debido a la naturaleza dispersa y poco informativa de las recompensas escalares, especialmente para las muestras fallidas.

Cuando un modelo genera una gran fracción de soluciones completamente incorrectas, el RLVR estándar asigna recompensas cercanas a cero o negativas que simplemente indican el fallo sin explicar por qué el razonamiento se rompió o cómo mejorar. Esto conduce a:

1. Asignación de crédito deficiente: Las estimaciones del gradiente se vuelven ruidosas.
2. Mesetas de entrenamiento: La señal de aprendizaje colapsa para los grupos de rollouts de "todo fallido" donde no existe contraste dentro del grupo.
   3.Ineficiencia de muestras: El entrenamiento tiene dificultades para progresar en problemas difíciles donde las recompensas escalares no proporcionan un contraste utilizable.

Mientras que los humanos aprovechan la retroalimentación verbal para localizar errores y cerrar brechas hacia las soluciones objetivo, los métodos de retroalimentación existentes de estilo RL suelen asignar la retroalimentación de manera amplia entre las muestras, en lugar de dirigirse específicamente a los casos de "todo fallido" donde las recompensas de resultado son menos informativas.

Metodología: MulFeRL

El artículo propone MulFeRL (Aprendizaje por Refuerzo Guiado por Retroalimentación de Múltiples Turnos), un marco de RLVR activado por eventos y de múltiples turnos, diseñado para convertir la retroalimentación verbal en señales de aprendizaje estables y entrenables para las muestras fallidas. El marco opera a través de dos etapas primarias: Inducción de Progreso y Asignación de Crédito de Progreso.

1. Inducción de Progreso Activada por Eventos

MulFeRL se dirige a los grupos de rollouts donde todas las $K$ muestras fallan la verificación (el estado FAILED). En este estado, el RLVR estándar no proporciona ninguna señal de aprendizaje.

• La retroalimentación como condicionamiento: En lugar de optimizar la retroalimentación directamente, MulFeRL utiliza la retroalimentación verbal como una intervención de condicionamiento. Cuando un grupo se encuentra en el estado FAILED, un proveedor de retroalimentación (por ejemplo, un simulador de LLM) genera retroalimentación accionable que identifica los modos de fallo dominantes y sugiere revisiones.
• Regeneración: Esta retroalimentación se inyecta en el contexto, y el modelo regenera un nuevo grupo de $K$ rollouts.
• Objetivo: El objetivo es inducir una transición de un estado FAILED a un estado CONTRASTIVE (éxito/fallo mixto) o un estado SOLVED (todos exitosos). Esta transición constituye un "progreso certificado por el verificador".

2. Asignación de Crédito de Progreso

Una vez que se induce el progreso, MulFeRL asigna el crédito basándose en la naturaleza de la transición utilizando dos objetivos complementarios:

• Crédito Intra-Estado (GRPO): Si el grupo regenerado es CONTRASTIVE (contiene respuestas tanto correctas como incorrectas), MulFeL aplica la Optimización de Política de Grupo Relativa (GRPO) estándar. Esto explota la ventaja relativa entre los rollouts exitosos y fallidos dentro del mismo contexto condicionado por la retroalimentación.
• Crédito Inter-Estado (FCO): Si el grupo regenerado se convierte en SOLVED (todos correctos), el contraste dentro del grupo desaparece (todas las recompensas son 1), lo que hace que el GRPO estándar sea ineficaz. Para recuperar la señal de aprendizaje, MulFeRL introduce la Optimización de Contraste de Retroalimentación (FCO). FCO construye pares entre el grupo SOLVED actual y el grupo FAILED inmediatamente anterior. Optimiza la política para aumentar la puntuación relativa de las trayectorias exitosas (condicionadas por la retroalimentación) en comparación con las trayectorias fallidas (condicionadas por el prompt original), tratando efectivamente la transición como una tarea de aprendizaje de preferencias.

3. Inyección de Retroalimentación Estructurada

Para asegurar que el modelo utilice eficazmente la retroalimentación durante la regeneración, MulFeRL emplea un mecanismo de inyección en ranura fija. La retroalimentación verbal se inserta en una etiqueta <feedback> dedicada dentro de la plantilla de razonamiento (por ejemplo, dentro de un bloque <thinking>) en lugar de añadirse al prompt. Este diseño:

• Trata la retroalimentación como una señal de condicionamiento explícita.
• Integra la retroalimentación estrechamente en el contexto de razonamiento.
• Permite un enmascaramiento de tokens preciso durante el entrenamiento, asegurando que el modelo aprenda a razonar dada la retroalimentación sin optimizar los tokens de la retroalimentación en sí mismos.

Principales Contribuciones

1. Marco Novedoso para Regímenes de Baja Señal: MulFeRL aborda la limitación específica del RLVR en muestras de "todo fallido" mediante la introducción de un bucle de múltiples turnos que utiliza la retroalimentación verbal para inducir progreso, convirtiendo fallos previamente no informativos en oportunidades de aprendizaje certificadas por el verificador.
2. Optimización de Contraste de Retroalimentación (FCO): El artículo introduce un nuevo objetivo para manejar el progreso de "recompensa saturada" (transiciones FAILED $\to$ SOLVED). Esto permite al modelo aprender de los casos en los que la retroalimentación resuelve con éxito todos los fallos, un escenario donde los métodos estándar de contraste dentro del grupo fallan.
3. Integración de Retroalimentación Estructurada: Los autores demuestran que inyectar la retroalimentación en una ranura de razonamiento fija, en lugar de un simple prompting, mejora significamente la capacidad del modelo para condicionarse y utilizar la retroalimentación para la regeneración.
4. Enrutamiento Activado por Eventos: El marco enruta dinámicamente las señales de entrenamiento basándose en la observación del verificador sobre el estado del grupo (CONTRASTIVE vs. SOLVED vs. FAILED), asegurando que las actualizaciones solo se apliquen cuando existe una señal de discriminación utilizable.

Resultados Experimentales

Los autores evaluaron MulFeRL en un subconjunto muestreado de OpenR1-Math y probaron el rendimiento en cinco entornos de referencia de razonamiento matemático (AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math) y tres tareas de razonamiento científico/general fuera de dominio (OOD) (MMLU-Pro, GPQA-Diamond, TheoremQA).

• Ganancias de Rendimiento: MulFeRL superó consistentemente a los fuertes baselines, incluyendo SFT (Supervised Fine-Tuning), SDPO (Self-Distillation) y varios métodos basados en RL (GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM).
  • En el backbone Qwen2.5-7B-Base, MulFeRL logró un Pass@1 promedio de 46.26%, superando significativamente al mejor baseline de RL (Critique-GRPO con 42.83%).
  • En el backbone Qwen3-4B-Inst, MulFeRL alcanzó un Pass@1 promedio del 68.36%, superando a Critique-GRPO (63.65%) y otros baselines.
• Generalización: El modelo mostró una fuerte generalización fuera de dominio, mejorando el rendimiento en tareas de razonamiento científico y general a pesar de haber sido entrenado principalmente con datos matemáticos.
• Estudios de Ablación: Eliminar los componentes principales provocó una degradación del rendimiento:
  • Eliminar la regeneración guiada por retroalimentación causó la mayor caída, confirmando la necesidad de inducir progreso a partir de los fallos.
  • Eliminar FCO perjudicó sustancialmente el rendimiento, validando su papel en la captura de transiciones FAILED $\to$ SOLVED.
  • Eliminar la inyección de retroalimentación estructurada provocó descensos consistentes, resaltando la importancia del diseño de ranura fija.
• Robustez del Simulador: El método se mantuvo efectivo incluso utilizando simuladores de retroalimentación más débiles (por ejemplo, el modelo base o GPT-4o-mini), aunque los simuladores más fuertes (GPT-4o) proporcionaron mayores ganancias.

Significancia y Reivindicaciones

El artículo afirma que MulFeRL proporciona una solución robusta al cuello de botella de la "recompensa dispersa" en RLVR mediante el aprovechamiento de la riqueza de la retroalimentación verbal sin caer en las trampas de la optimización directa de la retroalimentación o la simple imitación.

• Mecanismo: Los autores enfatizan que la mejora proviene no solo de la exposición a la retroalimentación, sino del mecanismo específico de inducción de progreso (convertir fallos en éxitos mediante la retroalimentación) y asignación de crédito consciente de la retroalimentación (usar FCO para aprender de estas transiciones).
• Eficiencia vs. Costo: Los autores reconocen que MulFeRL incurre en costos de entrenamiento más altos debido a la regeneración de múltiples turnos y la sobrecarga de verificación. Sin embargo, argumentan que el método es más eficiente en muestras, alcanzando un rendimiento sólido en menos pasos de optimización porque extrae señales de aprendizaje más densas de las muestras fallidas que de otro modo se descartarían.
• Limitaciones: El artículo señala modestamente que el enfoque depende de una verificación de resultados fiable y de una retroalimentación útil. También destaca que el diseño actual se centra en la retroalimentación a nivel de rollout para grupos de "todo fallido", lo que potencialmente pierde mejoras más finas en soluciones parcialmente correctas, sugiriendo que el trabajo futuro podría extenderse a la retroalimentación a nivel de paso.

En conclusión, MulFeRL demuestra que transformar la retroalimentación verbal en señales de aprendizaje controladas por el verificador permite que el entrenamiento por RL continúe progresando en muestras fallidas difíciles, lo que conduce a capacidades de razonamiento superiores tanto en tareas dentro del dominio como fuera de él.