🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ es un novedoso marco de aprendizaje por refuerzo que optimiza la profundidad de la guía basada en pistas mediante el muestreo de una distribución gaussiana estimada en línea, superando así a los métodos deterministas y de sondeo existentes en tareas agénticas al tiempo que reduce significativamente los costes computacionales.

Autores originales: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un programa informático intentando aprender a navegar por un mundo complejo, como un robot moviéndose por una casa o un agente virtual comprando en un sitio web. Estas tareas suelen requerir una larga cadena de decisiones, donde el programa debe dar muchos pasos antes de finalmente tener éxito o fracasar. El problema central es que el programa solo recibe una señal al final que le indica si ganó o perdió. Esto hace que el aprendizaje sea increíblemente difícil, como intentar aprender a montar en bicicleta recibiendo únicamente un "buen trabajo" o "te caíste" después de haber recorrido ya un kilómetro, sin recibir ningún tipo de retroalimentación sobre si estabas dirigiendo bien el manubrio en medio del trayecto. Para ayudar al programa a aprender, los investigadores han intentado darle una "pista" al inicio de cada intento: un breve fragmento de una trayectoria perfecta realizada por un experto. Esto le da al programa un punto de partida, colocándolo más cerca de la meta para que pueda aprender de los pasos restantes. Sin embargo, existe una pregunta crítica: ¿qué tanta de esa trayectoria del experto debe mostrarse? Si se muestra muy poco, el programa sigue perdido; si se muestra demasiado, simplemente copia al experto sin aprender nada nuevo.

Durante mucho tiempo, los investigadores trataron esta cuestión como si hubiera una cantidad perfecta de ayuda que se aplicara a cada tarea, o intentaron adivinar la cantidad adecuada para cada tarea específica realizando muchas rondas de práctica adicionales y costosas para probar diferentes niveles de ayuda. Un nuevo estudio realizado por un equipo de la Universidad de Zhejiang y Baidu sugiere que ambos enfoques erran el tiro. Los investigadores descubrieron que el "punto ideal" de ayuda no es un punto único y preciso, sino un rango. Para cualquier tarea dada, existe una banda de diferentes cantidades de ayuda que funcionan bien, y esta banda se desplaza dependiendo de qué tan difícil sea la tarea. En lugar de intentar señalar un número exacto, el equipo desarrolló un método que trata la cantidad adecuada de ayuda como un rango flexible que cambia a medida que la computadora aprende. Llaman a su sistema Agent-G2.

Los investigadores probaron su idea en dos entornos desafiantes: un mundo basado en texto donde un agente debe completar tareas domésticas como recoger objetos o limpiar, y una tienda en línea simulada donde el agente debe buscar y comprar artículos específicos. Utilizaron un modelo de lenguaje como el cerebro de estos agentes. En sus experimentos, descubrieron que la cantidad de ayuda más efectiva forma una curva en forma de campana alrededor del punto ideal. Esto significa que para una tarea difícil, un amplio rango de niveles de ayuda podría funcionar, mientras que para una más fácil, el rango podría ser más estrecho. Crucialmente, descubrieron que la dificultad de una tarea está estrechamente ligada a la longitud de la trayectoria del experto. Una tarea que requiere veinte pasos es generalmente más difícil que una que requiere solo dos.

Para resolver el problema de encontrar el nivel de ayuda adecuado sin perder tiempo, Agent-G2 agrupa las tareas por su longitud y luego utiliza los resultados de las rondas de práctica actuales para ajustar la ayuda para la siguiente ronda. Si el grupo de tareas cortas tiene éxito con demasiada facilidad, el sistema reduce automáticamente la cantidad de ayuda que se les brinda. Si las tareas largas están fallando, aumenta la ayuda. El sistema hace esto calculando un punto central y una dispersión para cada grupo de tareas, creando esencialmente un mapa dinámico de dónde debe ocurrir el aprendizaje. Luego, elige al azar una cantidad específica de ayuda de ese mapa para cada nuevo intento. Este enfoque permite que el sistema explore una variedad de puntos de partida útiles simultáneamente, asegurando que tanto las tareas fáciles como las difíciles reciban el tipo de impulso adecuado sin necesidad de realizar pruebas adicionales solo para determinar la configuración.

Los resultados fueron sorprendentes. En el entorno de tareas domésticas, el nuevo método logró una tasa de éxito del 95.3 por ciento con un modelo más pequeño y del 98.4 por ciento con uno más grande. Esto superó a los métodos existentes más fuertes que utilizaban pistas, así como a aquellos que intentaban aprender sin ninguna pista. Quizás lo más importante es que el nuevo método logró estos resultados utilizando muchos menos recursos informáticos que los mejores métodos anteriores que intentaban adivinar el nivel de ayuda adecuado para cada tarea individualmente. Esos métodos antiguos requerían ejecutar muchas rondas de práctica adicionales para encontrar la respuesta, lo cual es lento y costoso. El nuevo sistema aprendió las configuraciones adecuadas sobre la marcha, utilizando los mismos datos que ya estaba recolectando para mejorar al agente.

El estudio también mostró que el sistema funciona bien a través de diferentes tamaños de modelos informáticos, demostrando que la forma en que se entrega la ayuda es tan importante como el tamaño del cerebro que realiza el aprendizaje. De hecho, el modelo más pequeño utilizando este sistema de guía inteligente funcionó mejor que modelos mucho más grandes que utilizaban métodos más antiguos y menos sofisticados. Los investigadores señalaron que su método depende de tener una trayectoria de ejemplo perfecta disponible para cada tarea para comenzar. Si tales trayectorias perfectas no existen, el sistema no puede usarse directamente. Sin embargo, para los muchos problemas del mundo real donde los expertos pueden demostrar el camino correcto, este enfoque ofrece una forma poderosa de enseñar a la inteligencia artificial a aprender de sus propios errores, en lugar de simplemente copiar lo que ve. Al tratar la cantidad adecuada de guía como un rango flexible en lugar de un número fijo, los investigadores han encontrado una forma más eficiente y robusta de ayudar a las máquinas a dominar objetivos complejos a largo plazo.

Resumen Técnico: Agent-G2: Guía Gaussiana para el Aprendizaje por Refuerzo Agéntico

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) para agentes de Modelos de Lenguaje Extensos (LLM) enfrenta un desafío crítico en tareas de toma de decisiones de largo horizonte: la escasez de recompensa (reward sparsity). En entornos como la navegación web o el control de cuerpos físicos, los agentes suelen recibir solo una señal de éxito binaria en el estado terminal tras docenas de decisiones secuenciales. En consecuencia, la exploración on-policy desde el estado inicial rara vez alcanza un estado terminal exitoso, lo que conduce al "colapso de la ventaja" (advantage collapse) en algoritmos de entrenamiento como la Optimización de Política Relativa de Grupo (GRPO).

El RL basado en pistas (Hint-based RL) intenta mitigar esto reteniendo un prefijo de una trayectoria experta antes de cada ejecución (rollout), permitiendo que la política explore desde un estado más cercano al éxito. Sin embargo, la efectividad de este enfoque depende de la profundidad de la guía ( $d$ ): la proporción de la trayectoria experta que se retiene.

Poca guía: La política comienza demasiado pronto, lo que resulta en pocas ejecuciones exitosas.
Demasiada guía: La recompensa se satura, eliminando el contraste necesario para una estimación de la ventaja efectiva.

Los métodos existentes tratan esta profundidad como un escalar determinista, lo que conduce a dos paradigías subóptimos:

Métodos basados en cronogramas (Schedule-based): Comparten un único valor de profundidad para todas las muestras en un lote (por ejemplo, basado en los pasos de entrenamiento). Esto ignora la heterogeneidad por tarea, ya que las tareas dentro de un mismo lote pueden variar significativamente en dificultad (por ejemplo, una tarea de 2 pasos frente a una de 20 pasos).
Métodos de sondeo por muestra (Per-sample probing): Estiman una profundidad óptima para cada muestra mediante búsqueda binaria o enumeración. Aunque son más precisos, incurren en un alto costo computacional ( $O(\log n)$ o $N \times$ ejecuciones adicionales por muestra) e introducen ruido bajo presupuestos de ejecución limitados.

Los autores identifican un desajuste estructural fundamental en estos enfoques: asumen que existe una única profundidad óptima por tarea. El análisis empírico revela que la guía útil ocupa una "banda" de profundidades alrededor de un punto óptimo, con un perfil de informatividad que es aproximadamente gaussiano.

2. Metodología: Agent-G2

Los autores proponen Agent-G2, un marco de guía gaussiana que modela la profundidad de la guía como una distribución gaussiana por tarea ( $N(\mu_i, \sigma_i^2)$ ) en lugar de un escalar. Esta distribución se estima en línea a partir de las estadísticas de ejecución recolectadas durante la optimización de la política, sin requerir ejecuciones de sondeo adicionales o redes predictoras de profundidad aprendidas.

Componentes Principales

Agrupamiento Fuera de Línea (Offline Clustering):
Las tareas se particionan en $K$ grupos basados en la longitud de la trayectoria experta (un indicador de dificultad). Esto permite al sistema manejar la heterogeneidad manteniendo estadísticas separadas para diferentes niveles de dificultad.
Cronograma Gaussiano Adaptativo (Adaptive Gaussian Schedule):
Para cada tarea $i$ en el grupo $k$ , los parámetros $\mu_i$ (centro) y $\sigma_i$ (dispersión) se computan dinámicamente:
- Línea Base Global ( $\mu_{global}$ ): Rastrea el progreso general de la política. Se ajusta basándose en la tasa de éxito del lote ( $acc_B$ ) relativa a una tasa de éxito objetivo ( $p_{target} = 0.5$ ), el régimen de "aprendizaje justo posible".
- Estadísticas de Grupo: Para cada grupo $k$ , el sistema mantiene Medias Móviles Exponenciales (EMA) de la tasa de éxito empírica ( $A_k$ ) y la varianza ( $V_k$ ).
- Cálculo de Parámetros:
  - $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : Ajusta el centro basándose en la dificultad del grupo respecto a la línea base global.
  - $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : Establece la dispersión basada en la varianza dentro del grupo, asegurando una cobertura más amplia para tareas heterogéneas.
Muestreo y Ejecución (Sampling and Rollout):
Para cada tarea, se muestrea una razón de guía $r_i$ de $N(\mu_i, \sigma_i^2)$ y se recorta al intervalo $[0, 1]$ . Esto determina la longitud del prefijo $n_i$ . El agente ejecuta el prefijo experto para alcanzar un estado $s_i$ , y luego realiza $R$ ejecuciones independientes desde $s_i$ .
Bucle de Entrenamiento:
- Actualización de la Política: La política se actualiza utilizando una combinación de la pérdida GRPO (sobre las $R$ ejecuciones) y una pérdida auxiliar ( $L_{aux}$ ) sobre los prefijos expertos muestreados (aprendizaje por imitación).
- Actualización del Cronograma: Las mismas ejecuciones utilizadas para las actualizaciones de la política refrescan la línea base global y las estadísticas del grupo ( $A_k, V_k$ ) para el siguiente lote. Esto crea un sistema de bucle cerrado donde la distribución de la guía evoluciona con las capacidades de la política.

3. Contribuciones Clave

Perspectiva Estructural: El artículo revela que las profundidades de guía informativas forman una banda en lugar de un punto único. El perfil de la señal de entrenamiento dentro de esta banda es unimodal, simétrico y se ajusta bien a una distribución gaussiana. Esto explica los modos de falla tanto de los programadores de profundidad compartida (desajuste estructural) como de los métodos de sondeo por muestra (compromiso entre ruido y costo).
Marco Agent-G2: Un nuevo marco que estima distribuciones de profundidad por tarea en línea utilizando una descomposición global-local. Logra la variación de profundidad por tarea sin ejecuciones de sondeo adicionales o redes auxiliares.
Superioridad Empírica: Evaluaciones extensas en ALFWorld y WebShop utilizando modelos Qwen2.5-1.5B y 7B demuestran que Agent-G2 supera a las líneas base de vanguardia (incluyendo métodos basados en pistas, sin pistas y métodos de RL auxiliares) operando a menos de un tercio del costo de ejecución de los métodos de sondeo por muestra.

4. Resultados Experimentales

ALFWorld: Agent-G2 alcanzó un 95.3% de éxito (modelo 1.5B) y 98.4% (modelo 7B). Esto representa mejoras de +2.3 y +3.9 puntos sobre las líneas base más fuertes con y sin pistas, respectivamente.
WebShop: Agent-G2 logró una puntuación de recompensa de 92.3 y un 84.4% de éxito en compras (modelo 7B), superando a todas las líneas base que no utilizan sondeo.
Eficiencia: Aunque Agent-G2 tiene una carga adicional modesta por paso en comparación con los métodos simples de cronograma, es significativamente más barato (3.24x–4.83x más rápido) que los métodos basados en sondeo (Búsqueda Binaria, Enumeración) porque evita ejecuciones adicionales.
Estudios de Ablación:
- Eliminar el muestreo estocástico (usando solo la media $\mu_i$ ) redujo el rendimiento en 5.5 puntos, confirmando la necesidad de cubrir la banda informativa.
- Eliminar la adaptación específica del grupo ( $K=1$ ) redujo el rendimiento en 6.2 puntos, resaltando la importancia de manejar la heterogeneidad de las tareas.
- La pérdida auxiliar ( $L_{aux}$ ) proporcionó estabilidad (+8.6 puntos) pero no fue el motor principal del rendimiento; el aprendizaje de GRPO sobre los estados post-prefijo fue crítico.

5. Significado y Reivindicaciones

El artículo afirma que Agent-G2 representa un cambio de tratar la profundidad de la guía como un hiperparámetro estático y determinista a una variable dinámica y probabilística. Al modelar el "vecindario" de la guía útil en lugar de un solo punto, el método equilibra eficazmente la exploración y la explotación en tareas de largo horizonte.

Los autores enfatizan que el diseño del cronograma puede sustituir al escalado del modelo base. Notablemente, el modelo de 1.5B con Agent-G2 superó la línea base BEACON de 7B, lo que sugiere que las estrategias de guía inteligente pueden compensar la capacidad limitada del modelo.

Limitaciones Reconocidas:

El método requiere una trayectoria experta por tarea; no puede aplicarse directamente donde tales datos no están disponibles.
La parametrización gaussiana está motivada empíricamente; las tareas con perfiles de profundidad multimodales o fuertemente sesgados podrían requerir distribaciones más ricas.
El agrupamiento de dificultad se basa actualmente en la longitud de la trayectoria fuera de línea; la estimación de dificultad en línea es una dirección futura potencial.

En resumen, Agent-G2 proporciona una solución escalable y rentable a la escasez de recompensa en el RL agéntico, aprovechando la estructura estadística de la profundidad de la guía, eliminando la necesidad de un sondeo costoso mientras se adapta a la heterogeneidad de las tareas en tiempo real.