Resumen Técnico: Granularidad de la Recompensa en RLVR para Modelos de Lenguaje Pequeños

Declaración del Probleemática

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha surgido como un paradigma para mejorar el razonamiento matemático en modelos de lenguaje, apoyándose típicamente en recompensas basadas en el resultado (corrección de la respuesta final). Sin embargo, el impacto de la supervisión a nivel de proceso (recompensas paso a paso) sigue siendo poco explorado, particularmente para modelos de lenguaje pequeños (SLM) como Qwen2.5-0.5B. Estos modelos más pequeños a menudo carecen de la capacidad interna para autocorregirse cuando se les proporciona una retroalimentación dispersa, basada solo en el resultado, lo que conduce a trazas de razonamiento que pueden ser lógicamente inconsistentes, alucinatorias o estructuralmente defectuosas, incluso cuando la respuesta final es correcta. La pregunta central de investigación es si las recompensas de proceso mejoran la coherencia y la validez de las trazas de razonamiento y si las estructuras de recompensa híbridas producen un razonamiento más estable que cualquiera de los dos enfoques por sí solo.

Metodología

Los autores llevaron a cabo un estudio empírico controlado utilizando Qwen2.5-0.5B, un modelo transformer compacto, ajustado mediante Optimización de Política Relativa de Grupo (GRPO) en el conjunto de datos GSM8K (problemas matemáticos de palabras de nivel de primaria).

Configuración Experimental

• Línea Base (Baseline): Un modelo preentrenado evaluado en un entorno de respuesta directa (sin Cadena de Pensamiento o CoT), que alcanzó una precisión del 33.13%.
• Regímenes de Recompensa: Se compararon cinco condiciones de recompensa distintas:
  1. Solo Proceso: Recompensas asignadas a cada paso intermedio si coincide con el cálculo de la verdad fundamental (dentro de una tolerancia numérica). Se aplica una penalización si la cadena generada excede 1.5× el recuento de pasos de la verdad fundamental.
  2. Solo Resultado: Recompensa binaria basada únicamente en la corrección de la respuesta numérica final.
  3. Configuraciones Híbridas: Combinaciones ponderadas de recompensas de proceso y de resultado ($R = \lambda \cdot R_{proceso} + (1-\lambda) \cdot R_{resultado}$) con $\lambda \in \{0.9, 0.5, 0.1\}$.
• Estrategia de Evaluación:
  • Precisión (Accuracy): Medida en el conjunto de prueba completo de 1,319 preguntas.
  • Fidelidad del Razonamiento: Evaluada en una muestra estratificada de 45 preguntas (15 fáciles, 15 medias, 15 difíciles) utilizando cuatro métricas:
    • CoT-Pass@1: Tasa de éxito de una única traza muestreada.
    • Validez de la Traza: Bien formada lógica (ausencia de contradicciones o transformaciones inválidas).
    • Desviación de la Longitud de la Cadena: Diferencia entre el recuento de pasos generado y el de la verdad fundamental.
    • Ratio de Pasos de Proceso: Proporción de pasos que se alinean con el razonamiento de la verdad fundamental.
  • Análisis de Errores: Se utilizó GPT-4o como juez para categorizar los modos de falla (por ejemplo, derivación incorrecta, errores de calculadora, pasos faltantes, contradicciones).

Resultados Clave

1. Ganancias de Precisión

La supervisión de solo proceso logró la mayor precisión en las pruebas con un 63.73%, lo que representa una mejora de +30.60% sobre la línea base. Esto superó significativamente a la supervisión de solo resultado (53.75%, una mejora de +20.62%).

• Desempeño Híbrido: La configuración híbrida con alto peso de proceso ($\lambda=0.9$) alcanzó una precisión del 61.10%.
• Anomalía: La configuración de bajo proceso/alto resultado ($\lambda=0.1$) tuvo un desempeño inferior a la supervisión de solo resultado (49.30%), lo que sugiere que los signos de optimización conflictivos en este peso específico degradan el rendimiento.

2. Fidelidad y Estabilidad del Razonamiento

• Validez de la Traza: El modelo híbrido $\lambda=0.9$ logró la mayor validez de la traza (0.60), seguido por el de solo resultado (0.40) y el de solo proceso (0.22).
• Longitud de la Cadena: Los modelos de solo proceso exhibieron la mayor desviación de las longitudes de cadena de la verdad fundamental (6.49), indicando una tendencia hacia un razonamiento verboso o redundante. Los modelos de solo resultado produjeron trazas más concisas (desviación 3.64).
• Ratio de Pasos de Proceso: El modelo híbrido $\lambda=0.9$ alcanzó el ratio más alto (0.84), indicando la mejor alineación con los pasos intermedios de la verdad fundamental.

3. Análisis Cualitativo y de Errores

• Modelos de Solo Proceso: Generaron trazas estructuralmente inconsistentes pero aritméticamente fundamentadas. Frecuentemente introdujeron inconsistencias estructurales y contradicciones, probablemente debido al incentivo para producir cadenas largas de pasos localmente plausibles.
• Modelos de Solo Resultado: Produjeron cadenas concisas pero fueron propensos a errores de derivación y de aritmética, reflejando un débil fundamento intermedio y una tendencia a "saltar" entre puntos de razonamiento.
• Modelos Híbridos: Exhibieron el flujo de razonamiento más humano, equilibrando la continuidad de los pasos con la brevedad necesaria, y mostraron la distribución más uniforme de tipos de error con menos fallos catastróficos.

Significación y Contribuciones

El artículo sostiene que la granularidad de la recompensa es una decisión de diseño de primer orden para RLVR, en lugar de un detalle menor de implementación. Las contribuciones clave son:

1. Comparación Sistemática: Proporcionar una comparación controlada de cinco condiciones de recompensa en un modelo pequeño, demostrando que las señales de proceso densas proporcionan una guía más informativa que la retroalimentación dispersa de resultado para los SLM.
2. Más allá de la Precisión: Establecer que la precisión por sí sola es insuficiente; la supervisión de proceso mejora sustancialmente la fidelidad de la traza y la validez de los pasos, mientras que la supervisión de solo resultado puede conducir a un razonamiento "frágil".
3. Dinámicas Híbridas: Identificar que, si bien las recompensas híbridas generalmente se correlacionan positivamente con el peso del proceso, las configuraciones específicas de bajo proceso crean señales conflictivas que perjudican el rendimiento.
4. Caracterización de Modos de Falla: Utilizar LLM-como-juez para revelar distribuciones de falla distintas: los modelos de proceso sufren de inconsistencia estructural, mientras que los modelos de resultado sufren de errores de derivación.

Los autores concluyen que para desarrollar modelos que no solo respondan correctamente sino que también razonen de manera fiable, es esencial supervisar tanto el proceso como el resultado del razonamiento. La brecha de casi 10 puntos porcentuales en la precisión entre la supervisión de solo proceso y la de solo resultado subraya la importancia crítica de la granularidad de la recompensa en los modelos de lenguaje pequeños.