Resumen Técnico: Gated-BEPO

Planteamiento del Problema

El entrenamiento de agentes de Modelos de Lenguaje de Gran Escala (LLM) en entornos de largo horizonte requiere una asignación de crédito efectiva: mapear recompensas terminales dispersas (éxito/fracaso) hacia las acciones individuales tomadas durante la trayectoria. Los métodos existentes sin crítico, como GRPO, suelen asignar la misma ventaja de la trayectoria a cada paso. Esta atribución gruesa refuerza acciones ineficaces en trayectorias exitosas y penaliza acciones útiles en las fallidas, lo que ralentiza el aprendizaje y limita el rendimiento final.

Los métodos recientes a nivel de paso intentan refinar esto construyendo grupos de pasos mediante el emparejamiento de estados o historiales (por ejemplo, GiGPO, HGPO) o mediante el uso de métricas de distancia basadas en grafos (por ejemplo, GraphGPO). Sin embargo, estos enfoques enfrentan limitaciones específicas:

1. A menudo dependen de una fusión de pesos fijos entre el crédito del paso y el del episodio sin mecanismos adaptativos.
2. Los métodos basados en grafos pueden sufrir de aliasing perceptual, donde observaciones idénticas corresponden a diferentes estados ocultos subyacentes, lo que conduce a estimaciones de valor frágiles.
3. Carecen de un mecanismo basado en evidencia para determinar cuándo las comparaciones locales a nivel de paso son lo suficientemente fiables como para anular o complementar los resultados gruesos de la trayectoria.

Metodología: Gated-BEPO

Gated-BEPO (Asignación de Crédito Bellman con Puerta de Confianza) es un método sin crítico que deriva el crédito a nivel de paso a partir de grafos de rollouts empíricos y lo fusiona adaptativamente con el crédito a nivel de trayectoria basado en la confianza local.

1. Construcción de Grafos Empíricos

Para cada grupo de rollout (un conjunto de trayectorias generadas desde la misma tarea inicial), el método fusiona estados observados idénticos en un grafo de estado compartido. Este grafo retiene las multiplicidades de las transiciones observadas (aristas). Los estados terminales (éxito, fracaso, truncamiento) se tratan como estados absorbentes con valor cero.

2. Estimación de Valor de Punto Fijo de Bellman

En lugar de aprender una red crítica, Gated-BEPO estima los valores de estado directamente desde el grafo empírico utilizando un punto fijo de Bellman de respaldo de media (mean-backup).

• Inicialización: Los valores se inicializan con retornos de Monte Carlo.
• Actualización: El valor de un estado no terminal $s$ se actualiza promediando los retornos de sus transiciones salientes observadas:
  $$V^{(k+1)}(s) = \frac{1}{|E(s)|} \sum_{(r, s') \in E(s)} [r + \gamma V^{(k)}(s')]$$
  donde $E(s)$ es el multiconjunto de transiciones salientes. Este operador es una contracción, lo que garantiza un punto fijo único que refleja la distribución de acciones empírica de la política actual.
• Residuales de Diferencia Temporal (TD): Una vez alcanzado el punto fijo, el método calcula los residuales TD para cada transición: $\delta_i = r_i + \gamma V(s'_i) - V(s_i)$. Estos residuales miden si una transición específica es mejor o peor que el promedio empírico de las aristas salientes de ese estado.

3. Estimación de Ventaja Generalizada (GAE)

Los residuales TD se propagan hacia atrás a lo largo de cada trayectoria original utilizando GAE para capturar tanto los efectos inmediatos como los de seguimiento:
$$\hat{A}^{FP}_i = \delta_i + \gamma \lambda \hat{A}^{FP}_{next(i)}$$
Esto produce una ventaja de punto fijo ($\hat{A}^{FP}$) que se estandariza a través del grupo de rollout.

4. Mezcla de Crédito con Puerta de Confianza

La innovación central es un mecanismo de puerta adaptativo que determina cuánto confiar en la señal de Bellman local frente al resultado de la trayectoria global.

• Definición de la Puerta: Una puerta binaria $\rho(s)$ se activa solo si el estado $s$ tiene suficiente evidencia local:
  1. Visitas repetidas ($n(s) \ge n_{min}$).
  2. Ramificación observada ($|Succ(s)| \ge b_{min}$, es decir, múltiples sucesores distintos).
• Regla de Mezcla: La ventaja final $\hat{A}_i$ es una suma ponderada de la ventaja del resultado ($\hat{A}^{out}$) y la ventaja del punto fijo ($\hat{A}^{FP}$):
  $$\hat{A}_i = \eta_i \hat{A}^{out}_i + w \rho(s_i) \hat{A}^{FP}_i$$
  • Estados no confiables ($\rho=0$): El método depende enteramente de la ventaja del resultado ($\eta_i = 1$).
  • Estados confiables ($\rho=1$): La ventaja del punto fijo se activa, y la ventaja del resultado se reduce de peso ($\eta_i = \eta_{min}$) para evitar que abrume la señal de paso más informativa.

Contribuciones Clave

1. Estimador de Punto Fijo de Bellman sin Crítico: Un método para derivar valores de estado y ventajas a nivel de paso directamente de grafos de rollout empíricos sin entrenar una red de valor separada, reduciendo el ruido y la sensibilidad al aliasing perceptual en comparación con los métodos de distancia de grafos.
2. Mezcla con Puerta de Confianza: Un mecanismo que utiliza la evidencia del grafo local (ramificación y repetición) para controlar la aplicación del crédito a nivel de paso. Esto evita que las estimaciones locales no sustentadas corrompan las actualizaciones de la política, asegurando al mismo tiempo que las señales de paso fiables no sean ahogadas por los resultados gruesos de la trayectoria.
3. Validación Empírica: Demostración de mejoras consistentes en entornos de texto (WebShop, ALFWorld) y lenguaje-visión (Sokoban) utilizando diversos backbones de LLM (Qwen2.5, Qwen3).

Resultados Experimentales

Los experimentos se realizaron en WebShop, ALFWorld y Visual Sokoban utilizando modelos Qwen2.5 (1.5B, 7B) y Qwen3 (1.7B).

• Ganancias de Rendimiento: Gated-BEPO superó consistentemente a bases fuertes incluyendo GRPO, GiGPO, HGPO y GAGPO.
  • En ALFWorld (1.5B), mejoró las tasas de éxito en un 2.78% sobre HGPO.
  • En WebShop (1.5B), mejoró el éxito en un 3.51% sobre HGPO y las puntuaciones de tareas en un 6.9% sobre GRPO.
  • En Visual Sokoban, alcanzó un 80.03% de éxito, superando a GRPO y GiGPO por márgenes significativos.
• Velocidad de Aprendizaje: Las curvas de entrenamiento indican una convergencia más rápida y tasas de éxito final más altas en comparación con los métodos a nivel de trayectoria.
• Robustez al Aliasing: En un experimento controlado en ALFWorld usando observaciones puras (sin información de estado aumentada), GraphGPO falló en aprender debido al aliasing perceptual, mientras que Gated-BEPO se mantuvo efectivo. Esto se atribuye a su uso de residuales TD específicos de la transición en lugar de distancias de camino corto en grafos fusionados.
• Estudios de Ablación:
  • Los tres componentes (Crédito de Punto Fijo, Puerta de Confianza, Reducción de Peso del Resultado) contribuyeron positivamente al rendimiento.
  • Se encontró que el respaldo Bellman de "Media" era superior a los respaldos de "Máximo" o "Softmax", que amplificaban las transiciones raras.
  • La puerta binaria que requiere sucesores distintos fue más efectiva que las puntuaciones de confianza continuas o las puertas basadas únicamente en la repetición.

Significancia

El artículo postula que Gated-BEPO aborda el compromiso fundamental en el aprendizaje por refuerzo sin crítico para agentes: equilibrar la estabilidad de los resultados a nivel de trayectoria con la granularidad del aprendizaje a nivel de paso. Al derivar valores de grafos empíricos y controlar su aplicación basándose en la evidencia local, el método proporciona una señal más fiable para la optimía de la política en tareas de largo horizonte. Demuestra que la asignación de crédito de grano fino puede lograrse sin el costo computacional o la inestabilidad de los críticos aprendidos, siempre que el sistema pueda distinguir entre los estados donde la comparación local está empíricamente sustentada y aquellos donde no lo está.