Resumen Técnico: RREDCoT – Redistribución de Recompensas a Nivel de Segmento para Modelos de Razonamiento

Declaración del Problema

Los avances recientes en los modelos de lenguaje de razonamiento dependen fuertemente del ajuste fino mediante Aprendizaje por Refuerzo (RL), particularmente utilizando el algoritmo Group Relative Policy Optimization (GRPO) combinado con el paradigma de Reinforcement Learning with Verifiable Rewards (RLVR). En este entorno, los modelos generan una traza de Cadena de Pensamiento (CoT) antes de producir una respuesta final. Sin embargo, existe un cuello de botella crítico: la señal de recompensa se asigna típicamente solo después de que la traza completa de la CoT ha finalizado y la respuesta final ha sido verificada. Esto crea un problema de recompensa retardada.

Los enfoques estándar como GRPO corresponden a métodos de Monte Carlo en RL, que sufren de una alta varianza porque la recompensa se distribuye uniformemente a lo largo de toda la trayectoria, sin proporcionar una supervisión directa para los pasos de razonamiento individuales. El Muestreo de Monte Carlo (MCS) puede estimar los valores de los estados intermedios, pero requiere generar múltiples completaciones para cada segmento, lo que conlleva una carga computacional prohibitiva para la asignación de crédito de alta granularidad en contextos largos. Las alternativas existentes, como el uso de modelos jueces para el análisis paso a paso o la extracción de utilidad intermedia a partir de las estadísticas del modelo, suelen introducir ruido o requieren recursos computacionales adicionales.

Metodología: RREDCoT

Los autores proponen RREDCoT (Reward REDistribution for Chain of Thoughts), un método que adapta los principios del algoritmo RUDDER al proceso específico de generación de CoT. El objetivo central es redistribuir la recompensa final a los segmentos intermedios de la traza de la CoT para proporcionar señales de aprendizaje más densas sin requerir modelos adicionales ni pasos de generación extra.

1. Formulación MDP

El proceso de generación de CoT se modela como un Proceso de Decisión de Markov (MDP) donde el estado $s_t$ consiste en la consulta original y la secuencia de segmentos generados hasta $t-1$. El espacio de acciones se divide en:

• $Y$ (Respuesta): Acciones que activan la salida final.
• $U$ (Continuación): Acciones que generan más segmentos de CoT.
  La recompensa inmediata por generar un pensamiento es cero; la recompensa solo se materializa al generar una respuesta final correcta.

2. Redistribución Óptima de Recompensas

RREDCoT deriva una redistribución de recompensa óptima $\sigma$ basada en la diferencia en los retornos esperados entre estados consecutivos. El método utiliza el propio modelo de lenguaje generativo para aproximar la función de valor, evitando la necesidad de un LSTM auxiliar (como se usa en el RUDDER original) o un muestreo extensivo.

La redistribución se calcula como:
$$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$$
Donde:

• $\hat{R}_t$ es la estimación de la recompensa inmediata (probabilidad de la respuesta de referencia dada la traza actual).
• $\hat{v}_t$ es el valor estimado del estado (utilidad esperada de las completaciones futuras).

Para estimar estos valores de manera eficiente, los autores emplean un estimador de Recompensa de Probabilidad (PR) mediante muestreo de importancia sobre un conjunto de rutas de solución de referencia ($Y^\star, U^\star$). Esto permite que el modelo actúe como una función de dinámica (modelo de mundo) para estimar la probabilidad de alcanzar un estado de alta utilidad desde el segmento actual.

3. Estrategia de Segmentación Híbrida

Para hacer que la asignación de crédito sea tratable, RREDCoT introduce una estrategia de segmentación híbrida basada en palabras clave y entropía:

1. División Inicial: La traza se divide mediante palabras clave genéricas (ej. saltos de línea).
2. Fusión Iterativa: Los segmentos consecutivos con la menor entropía combinada se fusionan hasta alcanzar un número objetivo de segmentos.
3. Racional: Los tokens de alta entropía representan puntos de alta pluralidad (puntos de decisión) y sirven como "puntos de salida" naturales para estimar las contribuciones inmediatas. Esta estrategia asegura que los segmentos estén lo más desacoplados posible, minimizando el sesgo en la estimación de la función de valor.

4. Integración con Objetivos de RL

Las recompensas redistribuidas se integran en el objetivo estándar de gradiente de política. El método asegura la equivalencia de retorno, lo que significa que la suma de las recompensas redistribuidas es igual al retorno original del episodio, preservando la política óptima mientras se acelera la convergencia.

Contribuciones Clave

1. Algoritmo RREDCoT: Un algoritmo de asignación de crédito y redistribución de recompensa tratable para trazas de CoT que no requiere modelos adicionales ni pasos de generación extra, aprovechando el propio modelo generativo para la estimación de valor.
2. Segmentación Basada en Entropía: Una estrategia de segmentación novedosa diseñada para RREDCoT que equilibra la división por palabras clave con la fusión impulsada por la entropía para optimizar la estimación de las contribuciones intermedias.
3. Análisis Teórico y Empírico: Un análisis detallado que compara el estimador propuesto contra el muestreo de Monte Carlo y varios métodos de atribución (ej. valores de Shapley, Leave-One-Out), demostrando que los métodos de atribución no condicionadas a soluciones correctas capturan aspectos de la generación distintos a la redistribución de recompensa.

Resultados Experimentales

Los autores evaluaron RREDCoT en varios benchmarks, incluyendo AIME, MATH y Minerva.

• Rendimiento en Contextos Largos: En el dataset Numina-CoT con longitudes de generación de hasta 25k tokens, RREDCoT demostró un rendimiento superior comparado con el GRPO estándar. Por ejemplo, en el modelo Qwen3-4B Instruct, RREDCoT logró una puntuación AIME24 de 0.908 frente al 0.850 de GRPO.
• Refinamiento a Pequeña Escala: Al aplicarse a modelos de razonamiento pequeños (1.5B de parámetros) para refinamiento online, RREDCoT mostró resultados competitivos o superiores comparados con modelos ajustados con GRPO y optimización de hiperparámetros, particularmente en los benchmarks AMC23 y MATH500.
• Varianza y Sesgo: El estudio mostró que, mientras que el muestreo de Monte Carlo truncado conduce a una pérdida significativa de completaciones válidas (introduciendo sesgo), el estimador de RREDCoT se alinea bien con los resultados de muestreo de MC con una fracción de su costo computacional.
• Análisis de Correlación: El estudio encontró que los métodos de atribución basados en gradientes y Leave-One-Out (LOO) están altamente correlacionados entre sí, pero menos correlacionados con RREDCoT. Esto sugiere que los métodos de atribución capturan propiedades de señal diferentes a la redistribución de recompensa, y que usar la atribución sola para entrenar pesos puede ser redundante o subóptimo.

Significado y Afirmaciones

El artículo afirma que RREDCoT aborda los problemas de alta varianza y recompensa retardada inherentes al ajuste fino de RL en modelos de razonamiento. Al redistribuir las recompensas a los segmentos intermedios basándose en las propias capacidades predictivas del modelo, el método acelera la convergencia y mejora el rendimiento final sin las prohibiciones computacionales del muestreo de Monte Carlo.

Los autores enfatizan que su enfoque es una aproximación tratable de la redistribución óptima de recompensas. Observan que el método depende de la disponibilidad de soluciones de referencia y de cierta estructura de subobjetivos (ej. soluciones únicas en problemas matemáticos). Si bien el método introduce una sobrecarga computacional de 1.5–2x en comparación con el GRPO ingenuo, es significativamente más eficiente que el muestreo de Monte Carlo completo. El trabajo posiciona a RREDCoT tanto como un amplificador de la señal de entrenamiento como una herramienta de análisis, ofreciendo una nueva perspectiva sobre la asignación de crédito que es distinta de las técnicas de atribución tradicionales.