Resumen Técnico: RC-GRPO para Agentes de Llamada a Herramientas de Múltiples Turnos

1. Planteamiento del Problema

La llamada a herramientas en múltiples turnos presenta desafíos significativos para los Modelos de Lenguaje de Gran Escala (LLM) debido a la escasez de recompensas y al alto costo de la exploración. La Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) es un método popular de aprendizaje por refuerzo (RL) que elimina la necesidad de una red crítica separada, pero sufre un modo de falla crítico cuando se aplica a agentes de herramientas multi-turno inicializados mediante Ajuste Fino Supervisado (SFT).

El problema central es la "paradoja de la perfección". Cuando un LLM es entrenado mediante SFT con demostraciones óptimas, desarrolla una política altamente concentrada (un fuerte "prior" de trayectoria dorada). Durante el entrenamiento con GRPO, esto conduce a una baja diversidad en los grupos de rollouts; múltiples trayectorias muestreadas suelen recibir recompensas idénticas (por ejemplo, todas 0 o todas 1). En consecuencia, la desviación estándar dentro del grupo ($\sigma_g$) se aproxima a cero, causando que la señal de ventaja normalizada por grupo se degrade ($A_j \approx 0$). Esto resulta en gradientes evanescentes y un aprendizaje estancado, particularmente en entornos parcialmente observables donde la confianza local puede conducir a comportamientos repetitivos de horizonte corto.

2. Metodología: RC-GRPO

Los autores proponen RC-GRPO (Optimización de Política Relativa de Grupo Condicionada por Recompensa), un pipeline de dos etapas diseñado para tratar la diversidad dentro del grupo como una variable controlable en lugar de un subproducto de la temperatura de muestreo.

Etapa 1: Ajuste Fino de la Política de Trayectoria Condicionada por Recompensa (RCTP)

Antes del RL, el LLM base es ajustado finamente para convertirse en una Política de Trayectoria Condicionada por Recompensa (RCTP).

• Construcción de Datos: Se crea un conjunto de datos de calidad mixta emparejando trayectorias con tokens de objetivo de recompensa discretos (por ejemplo, <|high reward|> para éxito, <|low reward|> para fallo).
• Objetivo: El modelo es entrenado para maximizar la log-verosimilitud de las acciones condicionadas tanto al historial como al token de recompensa específico: $\pi_\theta(a_t | h_t, r)$.
• Resultado: La política aprende a generar trayectorias de distinta calidad bajo demanda. El condicionamiento en <|high reward|> elicia acciones óptimas, mientras que <|low reward|> genera modos de fallo plausibles.

Etapa 2: GRPO Condicionado por Recompensa

El RCTP sirve como la inicialización para la etapa de RL.

• Muestreo Controlado: Para cada prompt, se genera un grupo de $G$ trayectorias. A diferencia del GRPO estándar, que muestrea desde una única política incondicional, RC-GRPO muestrea un token de recompensa discreto $r_j$ para cada trayectoria en el grupo a partir de una distribución fija $P_{sample}(r)$.
• Rollout Condicionado: Cada trayectoria $\tau_j$ es generada condicionada a su token de recompensa específico $r_j$ (es decir, $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$).
• Cálculo de la Ventaja: Debido a que el grupo contiene trayectorias condicionadas a diferentes modos de recompensa (alto vs. bajo), la varianza de la recompensa dentro del grupo se inyecta explícitamente. Esto asegura que la ventaja normalizada por grupo $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ no sea degenerada y sea informativa.
• Función de Recompensa: Se utiliza una recompensa unificada a nivel de trayectoria $R(\tau)$, definida como el producto de la consistencia de estado ($R_{state}$) y la cobertura esencial de acciones ($R_{action}$), resultando en una señal de éxito binaria (1 para éxito, 0 para fallo).

3. Principales Contribuciones

1. Marco de Trabajo RC-GRPO: La introducción de un enfoque condicionado por recompensa que transforma la exploración en un problema de dirección controlable mediante tokens de recompensa discretos, evitando el problema de la ventaja evanescente en políticas concentradas.
2. Pipeline de Dos Etapas: Un flujo de trabajo específico que involucra el ajuste fino RCTP sobre datos de calidad mixta seguido de GRPO condicionado por recompensa, lo cual asegura que la política pueda producir de manera confiable comportamientos diversos necesarios para actualizaciones relativas de grupo efectivas.
3. Validación Empírica: Experimentos exhaustivos en el benchmark de múltiples turnos Berkeley Function Calling Leaderboard v4 (BFCLv4) utilizando LLaMA-3.1-8B-Instruct y Qwen2.5-7B-Instruct.
4. Análisis Teórico y Dinámico:
   • Teórico: Un análisis basado en la varianza (Proposiciones 4.2 y 4.3) que demuestra cómo el GRPO estándar colapsa cuando $\sigma_g \to 0$ debido a las políticas SFT concentradas, mientras que el condicionamiento por recompensa garantiza un límite inferior en la varianza dentro del grupo.
   • Dinámico: Evidencia que muestra que RC-GRPO mejora el rendimiento mientras disminuye la entropía de la política, probando que las ganancias son impulsadas por la inyección de varianza estructurada en lugar de un aumento de la aleatoriedad.

4. Resultados Experimentales

El método fue evaluado en la división de múltiples turnos de BFCLv4.

• Qwen2.5-7B-Instruct: El pipeline completo de RC-GRPO alcanzó un 85.00% de precisión general. Esto superó significativamente al Modelo Base (11.25%), al SFT+GRPO estándar (48.75%), e incluso superó a todos los modelos de API de código cerrado evaluados (el mejor de los cuales, Opus-4.5, alcanzó 61.25%).
• LLaMA-3.1-8B-Instruct: El método alcanzó un 48.75% de precisión, mejorando sobre SFT+GRPO (35.00%) y el Modelo Base (0.00%).
• Estudios de Ablación:
  • Necesidad de RCTP: Añadir el condicionamiento por recompensa a una inicialización SFT estándar produjo ganancias insignificantes. Sin embargo, cambiar la inicialización a RCTP-FT bajo RC-GRPO resultó en mejoras masivas (+38.75% en Qwen2.5-7B).
  • Mecanismo: El análisis de la dinámica de entrenamiento reveló que RC-GRPO logra un alto rendimiento con una entropía menor y una correlación negativa entre la entropía y la recompensa, contrastando con el GRPO estándar donde el rendimiento depende de una alta entropía.

5. Significado y Reivindicaciones

El artículo afirma que RC-GRPO aborda una limitación fundamental en la aplicación de RL basado en grupos a agentes fuertes inicializados con SFT: el colapso de la señal de aprendizaje debido a la falta de diversidad dentro del grupo.

• Diversidad Controlada: El trabajo demuestra que la diversidad en los rollouts de RL puede controlarse explícitamente mediante tokens de condicionamiento en lugar de depender de la temperatura de muestreo estocástica, la cual suele ser insuficiente para políticas concentradas.
• Estabilidad sobre Aleatoriedad: Los autores argumentan que las mejoras observadas no se deben a un aumento de la aleatoriedad (entropía), sino a la restauración de señales de ventaja informativas y no evanescentes mediante la varianza estructurada.
• Impacto Práctico: Al permitir que los modelos de pesos abiertos superen a los modelos de API de código cerrado en tareas complejas de llamada a herramientas de múltiples turnos, el método ofrece un camino escalable para entrenar sistemas agénticos robustos sin la sobrecarga computacional de las redes críticas o la inestabilidad del GRPO estándar.

Los autores mantienen una postura modesta, señalando que, si bien proporcionan una explicación teórica basada en la varianza para la estabilidad de su método, no pretenden ofrecer una teoría completa de la dinámica de entrenamiento de agentes de múltiples turnos. La contribución principal es enmarcar la generación controlable y el RL basado en grupos como una solución unificada al problema de la "actualización evanescente" en entornos de recompensa dispersa.