🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

Este trabajo presenta un marco de agentes impulsado por subobjetivos y el método MiRA, que combinan planificación en tiempo real con recompensas basadas en hitos para superar significativamente las limitaciones de planificación a largo plazo de los agentes LLM, logrando un rendimiento superior al de los sistemas propietarios y al estado del arte anterior en navegación web.

Autores originales: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Publicado 2026-03-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como el manual de instrucciones para enseñarle a un robot a navegar por internet sin perderse, algo que hoy en día es muy difícil incluso para los humanos.

Aquí tienes la explicación, traducida al español y con algunas analogías para que sea súper fácil de entender:

🌐 El Problema: El Robot que se pierde en el laberinto

Imagina que le pides a un robot muy inteligente (una Inteligencia Artificial basada en texto) que haga algo complejo en internet, como: "Encuentra el café más cercano a la universidad de Pittsburgh, dentro de un radio de 50 millas, y dime su nombre".

El problema es que el internet es un laberinto gigante y cambiante.

El robot se pierde: A veces empieza bien, pero a mitad del camino se olvida de qué estaba haciendo.
Se queda atascado: Se queda dando vueltas en círculos (haciendo lo mismo una y otra vez) sin avanzar.
Se rinde: O intenta terminar la tarea antes de tiempo porque no sabe cómo continuar.

En el mundo técnico, esto se llama "falta de planificación a largo plazo". El robot ve el paso inmediato, pero no tiene un mapa mental de los pasos intermedios necesarios para llegar al final.

🚀 La Solución: "MiRA" y los "Hitos" (Submetas)

Los autores de este paper (de Google DeepMind) crearon un sistema llamado MiRA (Milestoning your Reinforcement Learning Enhanced Agent). Para explicarlo, usemos una analogía de escalar una montaña.

1. La analogía de la montaña (Los Hitos)

Si quieres subir una montaña muy alta, no puedes mirar solo la cima (la meta final) porque está muy lejos y te abruma. En su lugar, te fijas en hitos intermedios:

Hito 1: Llegar al primer campamento base.
Hito 2: Cruzar el río.
Hito 3: Llegar al bosque.
Meta final: La cima.

El sistema MiRA hace exactamente esto. En lugar de decirle al robot "Ve a la cima", le dice: "Primero llega al campamento base, luego cruza el río...".

2. Dos herramientas mágicas

El paper presenta dos formas de usar estos "hitos":

A. Durante la ejecución (El Planificador en tiempo real):
Imagina que el robot tiene un copiloto (un modelo de IA muy avanzado) que lo vigila mientras camina.
- El robot da un paso.
- El copiloto pregunta: "¿Ya llegaste al campamento base?".
- Si la respuesta es "No", el robot se detiene, piensa y cambia de rumbo. Si es "Sí", sigue adelante.
- Resultado: El robot deja de dar vueltas en círculos porque siempre sabe en qué parte del mapa está.
B. Durante el entrenamiento (El Entrenador de Gimnasio):
Aquí es donde entra la magia del aprendizaje. Normalmente, si un robot falla en una tarea larga, no recibe ninguna recompensa hasta el final (y como falla, no recibe nada). Es como si un entrenador te dijera: "Si terminas la maratón, te doy una medalla", pero si te caes en el kilómetro 5, no te dice nada.
- MiRA cambia las reglas: El entrenador le da recompensas pequeñas por cada hito completado.
- "¡Bien hecho por llegar al campamento base! Aquí tienes una moneda."
- "¡Muy bien cruzando el río! Otra moneda."
- Esto hace que el robot aprenda mucho más rápido y sepa exactamente qué acciones lo acercan al éxito, incluso si aún no ha llegado a la cima.

🏆 Los Resultados: ¡Ganan los pequeños!

Lo más impresionante del paper es lo que lograron:

Mejoraron a los gigantes: Tomaron modelos de IA privados y muy potentes (como Gemini) y, al usar este sistema de "hitos", mejoraron su éxito en un 10%.
Los pequeños ganaron a los gigantes: Tomaron un modelo de código abierto más pequeño (Gemma-3) y, con este entrenamiento especial, logró un 43% de éxito.
- ¡Esto es más que lo que lograron los modelos más caros y potentes de la competencia (como GPT-4o o GPT-4-Turbo), que solo llegaron al 13-17%!

💡 En resumen

Imagina que antes, enseñar a un robot a navegar internet era como dejarlo solo en una ciudad desconocida sin mapa y decirle: "Busca la biblioteca". Se perdía el 90% de las veces.

Con MiRA, ahora le das al robot:

Un mapa con paradas intermedias (hitos) para que no se pierda.
Un entrenador que le da golosinas cada vez que llega a una parada, para que sepa que va por buen camino.

El resultado es un agente digital que no solo es más inteligente, sino que es más persistente y menos propenso a perderse, capaz de completar tareas complejas que antes parecían imposibles. ¡Es como pasar de un turista perdido a un guía experto! 🗺️✨

Resumen Técnico: Un Marco Impulsado por Subobjetivos para Agentes LLM de Largo Horizonte

1. El Problema: Fallos en la Planificación de Largo Alcance

Los agentes basados en Grandes Modelos de Lenguaje (LLM) han demostrado ser poderosos controladores autónomos para entornos digitales (navegación web, sistemas operativos, móviles). Sin embargo, enfrentan un desafío crítico en tareas de largo horizonte (secuencias de acciones extensas y complejas):

Pérdida de la pista: Durante la ejecución en línea, los agentes a menudo pierden el rastro a medida que llega nueva información, careciendo de una ruta clara y adaptable hacia el objetivo final.
Recompensas dispersas: En el ajuste fino por Aprendizaje por Refuerzo (RL), las recompensas son escasas y retrasadas (solo se otorgan al final del éxito o fallo). Esto dificulta que el agente identifique qué acciones intermedias condujeron al éxito, impidiendo un razonamiento coherente.
Fenómeno "Atascado a mitad de camino" (Mid-Stuck): El análisis empírico revela que casi el 50% de los fallos en modelos propietarios (como Gemini-2.5-Pro) y más del 30% en modelos de código abierto (como Gemma-12B) se deben a que el agente entra en bucles de acciones no productivas o se queda estancado sin poder progresar hacia el siguiente hito lógico.

2. Metodología: El Marco MiRA y la Planificación Dinámica

Los autores proponen una solución unificada que combina la planificación explícita en tiempo de inferencia con el ajuste fino de RL basado en hitos. El marco se denomina MiRA (Milestoning your Reinforcement Learning Enhanced Agent).

La metodología se divide en tres componentes principales:

A. Generación de Subobjetivos (Subgoals)

Se utiliza un modelo "maestro" (Gemini-2.5-pro) para descomponer un objetivo de alto nivel en una secuencia estructurada de subobjetivos (hitos) verificables.
Estos subobjetivos actúan como puntos de control intermedios que guían al agente. La calidad de estos hitos se valida mostrando una fuerte correlación monotónica entre el número de subobjetivos completados y la probabilidad de éxito final.

B. Planificación en Tiempo de Inferencia (Online Planning)

Se introduce un mecanismo de Milestoning Dinámico. Antes de ejecutar una acción, el agente realiza una reflexión retrospectiva sobre su historial de interacciones.
El agente responde a tres preguntas clave:
1. ¿Qué hitos he logrado hasta ahora?
2. ¿He completado el subobjetivo actual?
3. ¿Qué hitos futuros debo lograr?
Esto permite al agente corregir desviaciones en tiempo real, evitando bucles y manteniendo un estado de creencia explícito sobre su progreso.

C. Ajuste Fino de RL con Moldeado de Recompensas (MiRA)

Para abordar la escasez de recompensas en el entrenamiento, MiRA introduce un Critic de Potencial ( $P_\psi$ ) además del crítico de valor tradicional ( $V_\phi$ ).
Moldeado de Recompensas Basado en Potencial: En lugar de esperar la recompensa binaria final, el sistema genera recompensas densas basadas en el progreso hacia los subobjetivos. Se utiliza una interpolación lineal para crear una señal de progreso suave ( $p^*_t$ ) entre hitos.
Entrenamiento: Se utiliza un enfoque de regresión supervisada (MSE) para alinear la política del agente con las ventajas calculadas a partir de estas recompensas moldeadas. Esto permite un aprendizaje off-policy más estable y eficiente que los métodos tradicionales de RL.
Curriculum Iterativo: El sistema entrena en fases, analizando los fallos de cada fase para generar tareas más difíciles en la siguiente, expandiendo continuamente la competencia del agente.

3. Contribuciones Clave

Análisis Automatizado de Fallos: Desarrollo de un analizador que identifica sistemáticamente los modos de fallo dominantes (especialmente "atascarse a mitad de camino") y localiza el paso de decisión exacto donde el agente se desvía.
Planificación Guiada por Subobjetivos en Inferencia: Integración de un bucle de planificación en tiempo real que utiliza listas de verificación de subobjetivos para mejorar el razonamiento de largo alcance tanto en modelos propietarios como de código abierto.
MiRA (Marco de RL con Hitos): Un procedimiento de RL offline que utiliza señales de recompensa densas basadas en hitos para mitigar la escasez de recompensas, superando los desafíos de asignación de crédito en tareas complejas.

4. Resultados Experimentales

Las pruebas se realizaron en el benchmark WebArena-Lite (165 tareas en dominios como comercio, mapas, GitLab, etc.).

Rendimiento de Modelos de Código Abierto:
- Al aplicar MiRA al modelo Gemma-3-12B, la tasa de éxito (Success Rate - SR) aumentó drásticamente del 6.4% (modelo base) al 43.0%.
- Este resultado supera significativamente a los sistemas propietarios como GPT-4-Turbo (17.6%) y GPT-4o (13.9%), así como al estado del arte anterior de modelos abiertos, WebRL (38.4%).
Mejora en Modelos Propietarios:
- La integración de la planificación dinámica (SGO) en Gemini-2.5-Pro mejoró su tasa de éxito de 23.0% a 32.1% (un aumento absoluto de ~10%).
Reducción de Errores:
- La tasa de fallos por "Atascarse a mitad de camino" se redujo del 48.4% (Gemini-2.5 Pro base) al 39.9% con el marco SGO.
- Se observó una transición de fallos de ejecución (no poder navegar) a fallos semánticos (llegar al final pero con la respuesta incorrecta), lo que indica que el agente ahora puede completar la navegación completa.

5. Significado e Impacto

Superación de la Brecha de Capacidad: El trabajo demuestra que un modelo de código abierto más pequeño (Gemma-12B), cuando se combina con una arquitectura de planificación explícita y recompensas densas, puede superar a modelos propietarios mucho más grandes en tareas de navegación web complejas.
Validación de la Supervisión de Procesos: Confirma que la supervisión intermedia (verificar subobjetivos) es más eficiente y efectiva para el aprendizaje de agentes que la supervisión solo basada en resultados finales.
Hacia Agentes Autónomos Auto-Evolucionables: El marco sugiere un camino hacia sistemas autónomos que pueden diagnosticar sus propios fallos, generar curricula de entrenamiento y mejorar iterativamente sin intervención humana constante, cerrando el ciclo entre planificación, ejecución y aprendizaje.

En conclusión, este artículo establece que la combinación de planificación explícita en tiempo de inferencia y recompensas densas basadas en hitos es fundamental para resolver el cuello de botella de la planificación en agentes LLM, permitiendo una navegación web robusta y generalizable.