Resumen Técnico: SAPO (Optimización de Política Autorregresiva de un Solo Despliegue)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Agéntico ha emergido como una etapa crítica de post-entrenamiento para los Grandes Modelos de Lenguaje (LLMs), permitiéndoles realizar tareas interactivas de largo horizonte como el razonamiento, el uso de herramientas y la navegación web. Aunque los métodos existentes han logrado el éxito, enfrentan tres limitaciones primarias:

1. Falta de Generalización Explícita del Valor: Los métodos sin crítico y relativos al grupo (por ejemplo, GRPO) estiman las ventajas normalizando las recompensas a través de múltiples trayectorias muestreadas. Este enfoque no logra aprender una función de valor generalizada que pueda asignar crédito a estados o prompts específicos independientemente del grupo, lo que conduce a una débil asignación de crédito temporal.
2. Colapso de la Ventaja: En tareas de largo horizonte con retroalimentación dispersa, es común que todos los despliegues en un grupo reciban recompensas idénticas o casi idénticas. Esto causa que las ventajas normalizadas se desvanezcan, resultando en regiones de gradiente cero o "colapso de la ventaja", lo que detiene el aprendizaje.
3. Compensaciones Ineficientes: Los métodos relativos al grupo requieren un costoso equilibrio entre el presupuesto de muestreo y el rendimiento. Los grupos pequeños generan bases ruidosas, mientras que los grupos grandes mejoran la estabilidad a expensas de costos computacionales masivos y barreras de sincronización. Por el contrario, la Optimización de Política Próxima (PPO) tradicional con un crítico aprendido ofrece un aprendizaje de valor explícito, pero incurre en una sobrecarga sustancial de memoria y computación debido a la necesidad de un modelo crítico separado a escala de la política.

Los intentos actuales para mitigar estos problemas (por ejemplo, DAPO, ReMax, VinePPO) siguen dependiendo de múltiples despliegues, mantienen una asignación de crédito gruesa o requieren redes de valor separadas que duplican los parámetros. Existe la necesidad de un marco que soporte el aprendizaje eficiente de un solo despliegue con estimación de valor temporal explícita sin mantener un crítico separado.

2. Metodología: SAPO

Los autores proponen la Optimización de Política Autorregresiva de un Solo Despliegue (SAPO), un marco de bajo consumo de memoria y computación que unifica el aprendizaje de la política y el valor dentro de un único núcleo autorregresivo.

Arquitectura Central: Actor-Crítico Autorregresivo

SAPO aprovecha la estructura causal de los LLMs para representar la política, el valor del estado ($V$) y el valor de la acción ($Q$) dentro de un único flujo de modelo.

• Límites Causales: El método identifica dos límites causales distintos dentro del turno de un agente:
  1. Límite pre-acción: El contexto del estado ($c^s_t$) antes de que se genere la acción.
  2. Límite post-acción: El contexto del estado concatenado con la acción generada ($c^{s,a}_t$).
• Núcleo Compartido: El mismo modelo Transformer genera los tokens de acción entre estos límites.
• Base de Dos Tokens: En lugar de una cabeza de valor separada, SAPO reserva dos tokens específicos del vocabulario ($w^+$ y $w^-$) exclusivamente como base de valor. El modelo lee los logits de estos dos tokens en los respectivos límites causales para calcular valores escalares normalizados:
  • $V_\theta(s_t)$ se lee en el límite pre-acción.
  • $Q_\theta(s_t, a_t)$ se lee en el límite post-acción.
  • El valor se deriva de la diferencia en los logits, recortada a un rango normalizado $[-1, 1]$, y escalada por el retorno máximo posible ($R_{max}$).
• Separación de la Política: Los tokens de valor reservados se excluyen del vocabulario de acciones durante la generación de la política y la normalización de probabilidad, asegurando que no interfieran con la distribución de la acción.

Estimación de Ventaja de un Solo Despliegue

A diferencia de los métodos relativos al grupo, SAPO muestrea solo una trayectoria por tarea.

• GAE a Nivel de Trayectoria: El método emplea un Estimador de Ventaja Generalizada (GAE) que propaga las recompensas terminales retrasadas hacia atrás a través de la trayectoria utilizando los valores de estado ($V$) aprendidos.
• Objetivos:
  • El Valor del Estado se entrena hacia el retorno $\lambda$ (propagando información de resultado de largo alcance).
  • El Valor de la Acción se entrena hacia un objetivo SARSA on-policy (anclando el límite post-acción en las consecuencias inmediatas).
• Normalización por Lotes: Para estabilizar el entrenamiento sin estadísticas de grupo, las ventajas a nivel de turno se normalizan usando estadísticas de lote ($\mu_B, \sigma_B$) a través del lote de entrenamiento actual antes de ser transmitidas a todos los tokens de la acción.

Optimización Conjunta

SAPO optimiza un objetivo unificado en una sola pasada hacia atrás:

1. Pérdida de Política a Nivel de Token: Una pérdida de estilo PPO recortada utilizando las ventajas normalizadas por lote.
2. Pérdidas de Valor: Pérdidas de regresión recortadas para ambos objetivos $V$ y $Q$, promediadas por turnos en lugar de por tokens para asegurar un peso igual para cada decisión independientemente de la longitud de la respuesta.
3. Regularización: Incluye la divergencia KL contra una política de referencia y la regularización de entropía.

3. Contribuciones Clave

1. Arquitectura Unificada: Introducción de una arquitectura actor-crítico autorregresiva de un solo despliegue que representa y entrena conjuntamente la política, el valor del estado y el valor de la acción mediante lecturas de límites causales, eliminando la necesidad de una red crítica separada.
2. Estimador Novedoso: Desarrollo de un estimador de ventaja a nivel de trayectoria que combina retornos $\lambda$ con normalización por lotes, permitiendo una asignación de crédito explícita a nivel de turno sin depender del muestreo relativo al grupo.
3. Eficiencia y Estabilidad: Demostración de que este marco unificado logra un equilibrio favorable de rendimiento, estabilidad de entrenamiento, eficiencia de memoria y eficiencia de tiempo de ejecución en tareas agénticas de largo horizonte.

4. Resultados Experimentales

Los autores evaluaron SAPO en los benchmarks ALFWorld (razonamiento encarnado) y WebShop (navegación web) utilizando modelos de núcleo Qwen2.5-1.5B y Qwen2.5-7B.

• Rendimiento: SAPO superó consistentemente a PPO y GRPO estándar.
  • En ALFWorld con Qwen2.5-1.5B, SAPO logró un éxito agregado del 90.1%, mejorando sobre PPO y GRPO por +35.7 y +17.3 puntos porcentuales, respectivamente.
  • En WebShop, SAPO logró una mejora de puntuación de +8.4 puntos y un aumento en la tasa de éxito de +12.2 puntos sobre PPO.
  • A través de los experimentos (como se resume en el Resumen), SAPO entrena de forma estable y supera a PPO y GRPO por una media de +15.1 y +12.1 puntos porcentuales, respectivamente.
  • Con el modelo 7B, SAPO obtuvo un 94.0% de éxito en ALFWorld y una puntuación de 88.6 en WebShop con un 82.4% de éxito, superando tanto a PPO como a GRPO y variantes recientes en las tres métricas agregadas.
• Eficiencia:
  • Memoria: SAPO elimina la huella de memoria de un modelo crítico separado (que típicamente es a escala de la política).
  • Tiempo de Ejecución: SAPO redujo el tiempo de ejecución por iteración en un 33.2% en comparación con PPO. Los ahorros principales provinieron de la eliminación de las etapas separadas de inferencia de valor y optimización del crítico, reduciendo el tiempo total de 451.2s a 301.4s por iteración en ALFWorld.
• Estabilidad: El método entrenó de forma estable desde un solo despliegue por prompt, evitando los problemas de colapso de la ventaja vistos en los métodos relativos al grupo bajo retroalimentación dispersa.

5. Significado y Reivindicaciones

El artículo afirma que SAPO resuelve la tensión entre la generalización de valor explícita de los algoritmos actor-crítico y la eficiencia de memoria/computación de la optimización sin crítico y relativa al grupo.

• Alineación Arquitectónica: Los autores argumentan que el flujo de información requerido para el aprendizaje actor-crítico se alinea naturalmente con el orden causal de la generación de lenguaje. Al explotar esta alineación, SAPO permite la optimización de valor eficiente dentro de un modelo causal único.
• Escalabilidad: El marco demuestra que el aprendizaje de valor explícito no requiere modelos duplicados ni muestreos costosos, ofreciendo un camino viable hacia un RL agéntico eficiente de largo horizonte.
• Generalización: Los resultados sugieren que la alineación arquitectónica entre el modelado autorregresivo y el aprendizaje actor-crítico puede reducir la dependencia de la ingeniería de recompensas densas específicas de la tarea, ya que el método funciona bien con recompensas de resultado dispersas.

El artículo concluye que SAPO representa un paso significativo para hacer que el RL agéntico sea más escalable y práctico para interacciones complejas de múltiples turnos.