Resumen Técnico: Reforzando el Razonamiento de Múltiples Turnos en Agentes LLM mediante una Estructura de Recompensa de Grano Fino y Asignación de Crédito

1. Declaración del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un mecanismo primordial para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs) en escenarios complejos, de largo horizonte y de múltiples turnos. Estas interacciones se modelan formalmente como Procesos de Decisión de Markov (MDP) a nivel de turno. Sin embargo, una limitación crítica en la literatura existente es la dependencia de recompensas dispersas a nivel de trayectoria (por ejemplo, solo la corrección de la respuesta final). Este enfoque conduce a una mala asignación de crédito, donde el modelo tiene dificultades para atribuir el éxito o el fracaso a pasos intermedios (turnos) específicos dentro de una trayectoria de múltiples turnos.

Aunque algunos trabajos previos intentan incorporar señales intermedias, a menudo fusionan las recompensas de resultado y de los pasos intermedios en una única señal retrasada a nivel de trayectoria, fallando en proporcionar la supervisión de grano fino necesaria para un aprendizaje efectivo en entornos dinámicos. En consecuencia, los agentes tienen dificultades para refinar comportamientos como la selección de consultas en tareas de búsqueda o movimientos estratégicos en juegos, ya que carecen de retroalimentación densa a la granularidad de los turnos de interacción individuales.

2. Metodología

El artículo propone una investigación sistemática sobre el aprovechamiento de estructuras de recompensa densas a nivel de turno para permitir una asignación de crédito de grano fino. Los autores categorizan las estructuras de recompensa en tres tipos distintos según su granularidad, cada uno correspondiente a una formulación específica de MDP a nivel de turno:

1. Recompensa Terminal ($M_1$): Proporciona solo una recompensa de resultado final (por ejemplo, la corrección de la respuesta) sin señales intermedias.
2. Recompensa Retrasada ($M_2$): Fusiona las recompensas intermedias y de resultado en una única señal retrasada asignada al final de la trayectoria.
3. Recompensa por Turno ($M_3$): Proporciona recompensas explícitas y densas en cada turno, evaluando la corrección de las interacciones individuales entre el agente y el entorno (por ejemplo, la invocación de herramientas y su resultado).

Los autores derivan algoritmos de RL adaptados para la Optimización de Política Relativa de Grupo (GRPO) y la Optimización de Política Próxima (PPO) para acomodar estas diferentes formulaciones de MDP.

2.1. GRPO con Asignación de Crédito de Grano Fino (MT-GRPO)

El GRPO estándar computa las ventajas a nivel de trayectoria, asignando una ventaja uniforme a todos los tokens en una respuesta. Para abordar esto, los autores introducen MT-GRPO (Multi-Turn GRPO):

• Descomposición de la Ventaja: El método define dos tipos de ventajas:
  • Ventaja de Resultado ($A^O$): Captura señales globales de completitud de la tarea basadas en la respuesta final.
  • Ventaja Intermedia ($A^I$): Captura señales de optimización local comparando los retornos a través de las trayectorias en el mismo paso temporal (turno).
• Ventaja Agregada: Estas se combinan en una función de ventaja unificada que asigna crédito tanto a escala global como local mediante la agregación de ventajas actuales y futuras:
  $$A^{MT-GRPO}_{i,(k)} = \sum_{l=k}^{K-1} \alpha^{l-k} A^I_{i,(l)} + \alpha^{K-k} A^O_i$$
  donde $\alpha$ es un coeficiente de descuento.
• Estructura de Rollout: A diferencia del GRPO estándar que realiza rollouts por trayectoria, MT-GRPO realiza rollouts por estado (por turno). Esto resulta en una estructura basada en árboles donde se toman $G$ muestras en cada turno, lo que genera un total de $G^{K-1}$ trayectorias para un horizonte de $K$ turnos.

2.2. PPO con Recompensas a Nivel de Turno (MT-PPO)

Para PPO, los autores aprovechan la Estimación de Ventaja Generalizada (GAE) para incorporar recompensas a nivel de turno:

• Asignación de Recompensa: En la variante MT-PPO, las recompensas intermedias se asignan al último token del turno correspondiente, mientras que la recompensa de resultado se asigna al último token de toda la trayectoria.
• Modificación del Error TD: El error de Diferencia Temporal (TD) $\delta_t$ se modifica para incorporar recompensas explícitas por turno ($R_I$) en los límites de los turnos, permitiendo que la función de valor proporcione señales de entrenamiento de grano fino en cada paso.
• PPO Descompuesto por Turnos: El artículo también explora una variante donde los rollouts de múltiples turnos se descomponen en instancias de entrenamiento de un solo turno. Sin embargo, los experimentos sugieren que esta descomposición directa puede conducir a una asignación de crédito subóptima si no está cuidadosamente alineada con el éxito final de la tarea.

3. Contribuciones Clave

1. Taxonomía de Estructuras de Recompensa: El artículo categoriza formalmente el RL de múltiples turnos en tres formulaciones de MDP ($M_1, M_2, M_3$) basadas en la granularidad de la recompensa y deriva algoritmos específicos de GRPO y PPO para cada una.
2. Algoritmo MT-GRPO: Una nueva variante de GRPO que utiliza rollouts por turno y ventajas agregadas para permitir la asignación de crédito tanto a escala global como local.
3. Estrategia MT-PPO: Una estrategia refinada de asignación de recompensas dentro de GAE para PPO que utiliza explícitamente recompensas densas por turno, demostrando una estabilidad y convergencia superiores en comparación con las líneas base de nivel de trayectoria.
4. Validación Empírica: Experimentos extensos en agentes de búsqueda de múltiples turnos (usando búsqueda en Wikipedia) y agentes de juego (Sokoban) demuestran que las estructuras de recompensa densas por turno superan consistentemente a las estructuras de recompensa terminal y retrasada dispersas.

4. Resultados Experimentales

Los autores evaluaron sus métodos en dos dominios principales: Agentes de Búsqueda de Múltiples Turnos y Agentes de Juego de Múltiples Turnos.

4.1. Agentes de Búsqueda (Preguntas y Respuestas)

• Conjuntos de Datos: NQ, TriviaQA, PopQA (QA General); HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle (QA de Múltiples Saltos/Multi-Hop).
• Configuración: Se utilizó Qwen2.5-7B como modelo base y un juez basado en LLM (GPT-OSS-120B) para proporcionar recompensas intermedias a nivel de turno.
• Hallazgos:
  • Dinámica de Entrenamiento: MT-PPO exhibió una estabilidad de entrenamiento significativamente mayor y una convergencia más rápida en comparación con PPO-OR (solo terminal) y PPO-MR (retrasado). PPO-OR y PPO-MR mostraron alta varianza y degradación del rendimiento, particularmente en conjuntos de datos complejos de múltiples saltos.
  • Rendimiento: MT-PPO logró la mayor corrección de respuestas (Exact Match) en todos los conjuntos de datos, superando a los métodos de vanguardia (incluyendo StepSearch y PPR) por márgenes significativos (por ejemplo, +3.5% sobre PPO-OR en promedio).
  • Formato y Recuperación: MT-PPO logró una corrección de formato casi perfecta (~100%) y una precisión de recuperación más consistente, lo que indica que las recompensas a nivel de turno imponen eficazmente restricciones estructurales y guían el razonamiento.

4.2. Agentes de Juego (Sokoban)

• Configuración: Se utilizó Qwen2.5-VL-3B en un entorno Sokoban de cuadrícula de 6x6, una tarea que requiere planificación de largo horizonte e irreversible.
• Hallazgos:
  • MT-PPO alcanzó la mayor Tasa de Éxito (0.6563) y Tasa de Acción Efectiva (0.9870) en el paso 300, superando significativamente a las líneas base de GRPO y PPO.
  • El método demostró la capacidad de aprender secuencias de acciones estables y con propósito, manejando eficazmente la naturaleza irreversible del entorno donde un solo movimiento erróneo conduce a un callejón sin salida.

4.3. Resultados de GRPO

En el entorno de búsqueda de dos turnos, MT-GRPO superó a GRPO-OR y GRPO-MR en todas las métricas de recompensa, incluyendo la ejecución de herramientas, la corrección de la respuesta de búsqueda y la precisión de coincidencia exacta. Notablemente, MT-GRPO mostró una menor varianza durante el entrenamiento y la capacidad de recuperarse de caídas temporales en el uso de herramientas, resaltando la robustez de la asignación de crédito de grano fino.

5. Significado y Reivindicaciones

El artículo afirma que las estructuras de recompensa densas a nivel de turno y la asignación de crédito de grano fino son fundamentales para mejorar el rendimiento de los agentes LLM en tareas de largo horizonte y múltiples turnos.

• Superioridad sobre Recompensas Dispersas: Los autores afirman que, tanto para GRPO como para PPO, las estructuras de recompensa densas por turno superan consistentemente a los diseños de recompensa terminal y retrasada dispersos en términos de dinámica de entrenamiento, velocidad de convergencia y rendimiento numérico final.
• Estabilidad y Robustez: Los métodos propuestos (MT-PPO y MT-GRPO) proporcionan una mayor estabilidad de entrenamiento, reduciendo la varianza y el colapso que se observan frecuentemente en los enfoques de RL a nivel de trayectoria.
• Generalizabilidad: Se demuestra que el enfoque es efectivo en diversos dominios, desde la recuperación de información (búsqueda) hasta la toma de decisiones compleja (Sokoban), validando que la retroalimentación explícita a nivel de turno es crucial para que los agentes aprendan estrategias de interacción efectivas con entornos dinámicos.

El artículo concluye que aprovechar estas estructuras de recompensa densas permite a los agentes LLM refinar su comportamiento a la granularidad de los pasos de interacción individuales, lo que conduce a resultados finales más precisos y salidas mejor estructuradas.