🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

O artigo propõe um framework de subobjetivos e o método MiRA, que combinam planejamento em tempo real e recompensas baseadas em marcos para superar os desafios de planejamento de longo prazo em agentes LLM, alcançando desempenho superior ao de modelos proprietários e do estado da arte em benchmarks de navegação web.

Autores originais: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Publicado 2026-03-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você pediu para um assistente de IA (um "agente") fazer uma tarefa complexa na internet, como: "Encontre o café mais próximo da universidade CMU, que esteja a menos de 50 milhas, e me diga o nome e o endereço."

Para um humano, isso é fácil. Para uma Inteligência Artificial baseada em linguagem (LLM), isso é como tentar atravessar um labirinto gigante no escuro, sem mapa e sem saber se você está indo para a direita ou para a esquerda.

Este paper da Google DeepMind apresenta uma solução brilhante para esse problema, chamada MiRA. Vamos explicar como funciona usando analogias do dia a dia.

O Problema: O Assistente que se Perde no Caminho

Os agentes de IA atuais são ótimos em tarefas curtas (como "abra o navegador"). Mas quando a tarefa é longa e cheia de passos, eles tendem a:

Esquecer o objetivo final: Começam a clicar em coisas aleatórias.
Entrar em loops: Ficam presos girando em círculos (ex: clicam no mesmo botão 10 vezes).
Desistir prematuramente: Ajudam a dizer "não consigo" antes de realmente tentar.

É como se você estivesse dirigindo para um destino distante, mas a cada 5 minutos o GPS parasse de funcionar e você começasse a andar em círculos no mesmo quarteirão.

A Solução: O Mapa de "Meios de Caminho" (Submetas)

Os autores do paper descobriram que o segredo não é apenas dar a IA um objetivo gigante, mas quebrar a jornada em "marcos" ou "metas intermediárias".

Eles chamam isso de Milestoning (marcos). Pense na analogia de uma corrida de obstáculos:

Objetivo Final: Cruzar a linha de chegada.
Sem Marcos: O corredor corre cegamente e cansa ou se perde.
Com Marcos: O corredor foca em "chegar ao primeiro poste", depois "pular o primeiro rio", depois "subir a primeira colina".

O framework proposto faz duas coisas principais para ajudar o agente a ver esses marcos:

1. Planejamento em Tempo Real (O "Co-piloto" Inteligente)

Durante a execução da tarefa, o agente usa um modelo de IA muito inteligente (como um "co-piloto") para checar constantemente:

"Onde eu estou agora?"
"Já completei a meta de abrir o mapa?"
"O que eu preciso fazer a seguir para chegar na próxima meta?"

Isso é como ter um GPS que não só diz "vire à direita", mas que verifica a cada 10 segundos: "Ei, você ainda está na estrada certa? Se não estiver, pare e recalcule a rota antes de continuar." Isso evita que o agente fique preso em loops.

2. Treinamento com Recompensas Constantes (O "Treinador" que Elogia)

Aqui está a parte mais genial do MiRA.

Normalmente, ao treinar uma IA para jogar um jogo ou navegar na web, ela só recebe uma recompensa (um "bom trabalho!") no final, se conseguir a tarefa. Se ela falhar no meio, ela não sabe onde errou. É como um professor que só dá nota no final do ano, sem corrigir os exercícios durante o semestre.

O MiRA muda isso criando um sistema de recompensas densas:

Sempre que o agente completa um "marco" (ex: abriu o site correto), ele ganha um "ponto de progresso".
O sistema aprende que cada passo pequeno é importante.
Isso é como um treinador de corrida que grita "Muito bem, você passou da primeira curva!", "Ótimo, você pulou o primeiro obstáculo!", mantendo o atleta motivado e no caminho certo, mesmo antes de cruzar a linha de chegada.

Os Resultados: Pequenos vs. Gigantes

O paper mostra resultados impressionantes:

Eles pegaram um modelo de código aberto (Gemma-3, que é menor e mais barato) e o treinaram com essa técnica.
Resultado: Esse modelo pequeno, com o "treinamento de marcos", ficou mais inteligente do que modelos gigantes e caros da OpenAI (como o GPT-4o) e da Google (Gemini) que não usavam essa técnica específica.
O modelo pequeno conseguiu resolver 43% das tarefas complexas, enquanto os modelos gigantes paravam em cerca de 14-17%.

Resumo em uma Frase

O paper ensina a IA a não tentar "pular" direto para o final da tarefa, mas sim a quebrar o problema em pedacinhos menores, checar se ela completou cada pedacinho e receber "elogios" (recompensas) a cada passo, transformando um assistente que se perde em um navegador experiente e confiável.

É a diferença entre tentar escalar o Everest sem cordas e sem base de apoio, versus ter um guia que coloca uma corda a cada 100 metros e te garante que você está subindo na direção certa.

Título: Um Framework Orientado a Submetas para Melhorar Agentes LLM de Longo Horizonte

Autores: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva e Edward Grefenstette (Google DeepMind)
Data: Março de 2026

1. O Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) demonstraram capacidades promissoras em ambientes digitais (navegação web, sistemas operacionais, interfaces móveis). No entanto, eles enfrentam uma degradação severa de desempenho em tarefas de longo horizonte (sequências longas de ações).

As principais falhas identificadas são:

Perda de Rastreamento: Durante a execução online, os agentes perdem o rumo à medida que novas informações surgem, falhando em manter um caminho adaptativo para o objetivo final.
Recompensas Esparsas: No treinamento por Aprendizado por Reforço (RL), as recompensas são frequentemente binárias (sucesso/fracasso apenas no final), tornando difícil a atribuição de crédito (credit assignment) para ações intermediárias que levaram ao sucesso.
Falhas Comuns: A análise empírica revela que a maioria dos erros não é de execução inicial, mas sim o agente ficar "preso no meio" (Get Stuck Midway), entrando em loops de ação não produtivos ou desviando do objetivo devido à falta de planejamento robusto.

2. Metodologia Proposta

Os autores propõem um framework unificado que combina planejamento explícito em tempo de inferência com ajuste fino (fine-tuning) de RL offline baseado em marcos (milestones). A abordagem é dividida em dois componentes principais:

A. Planejamento Online com Submetas (SGO - Subgoal Generator)

Mecanismo: Utiliza um modelo proprietário (Gemini-2.5-pro) para decompor o objetivo de alto nível em uma lista estruturada de submetas (marcos) verificáveis.
Execução Dinâmica: Durante a inferência, o agente executa um ciclo de autorreflexão a cada passo:
1. Analisa o histórico de interações para verificar quais submetas foram concluídas.
2. Verifica se a submeta atual foi alcançada.
3. Planeja o próximo passo necessário para a próxima submeta.
Benefício: Isso transforma a execução opaca em um processo estruturado, permitindo que o agente detecte desvios e se recupere em tempo real, evitando loops infinitos.

B. Ajuste Fino de RL com Marcos (MiRA - Milestoning your Reinforcement Learning Enhanced Agent)

Objetivo: Resolver o problema da escassez de recompensas no treinamento.
Arquitetura de Críticos Duplos:
1. Crítico de Valor ( $V_\phi$ ): Aprende a probabilidade de sucesso final (recompensa esparsa).
2. Crítico de Potencial ( $P_\psi$ ): Um modelo treinado para prever o progresso contínuo (densidade) baseado na conclusão de submetas.
Moldeamento de Recompensa (Reward Shaping): O sistema gera recompensas densas e contínuas calculando a diferença no potencial entre estados consecutivos ( $\Delta P$ ). Isso guia o agente através de tarefas complexas, fornecendo feedback imediato sobre o progresso, mesmo antes da conclusão final.
Otimização: Utiliza uma regressão supervisionada (MSE) sobre a razão de log-probabilidades, regularizada por KL, permitindo aprendizado off-policy eficiente e estável.

3. Principais Contribuições

Análise Automatizada de Falhas: Desenvolvimento de um analisador que categoriza sistematicamente os modos de falha (ex: "preso no meio", "terminação errada"), identificando que a falta de planejamento é a causa raiz dominante.
Framework de Planejamento em Tempo de Inferência (SGO): Integração de submetas explícitas no loop de raciocínio do agente, melhorando a robustez sem depender exclusivamente do treinamento.
MiRA (Framework de RL): Um novo protocolo de treinamento que utiliza submetas para criar sinais de recompensa densos, superando a limitação de recompensas esparsas em navegação web.
Desempenho Superior: Demonstração de que a combinação de planejamento explícito e recompensas baseadas em marcos permite que modelos open-source superem sistemas proprietários de ponta.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark WebArena-Lite (165 tarefas em 5 domínios: Compras, Mapas, Reddit, GitLab, etc.).

Modelo Open-Source (Gemma3-12B + MiRA):
- Alcançou uma taxa de sucesso média de 43,0%.
- Superou o estado da arte anterior (WebRL) de 38,4%.
- Vitória sobre Proprietários: Superou o GPT-4-Turbo (17,6%) e o GPT-4o (13,9%), além do Gemini-2.5-Pro base (23,0%).
Modelo Proprietário (Gemini-2.5-Pro + SGO):
- A adição do planejamento dinâmico aumentou a taxa de sucesso de 23,0% para 32,1% (ganho absoluto de ~10%).
Redução de Erros:
- A categoria de erro "Get Stuck Midway" (agente preso no meio) foi reduzida drasticamente (de ~48% para ~39% no Gemini-SGO e de ~33% para ~21% no Gemma-MiRA).
- Houve uma mudança no perfil de erro: em vez de falhar por não navegar, o agente agora consegue navegar até o fim, expondo limitações de raciocínio semântico final (um trade-off preferível).

5. Significado e Conclusão

O trabalho demonstra que a planejamento explícito e a supervisão de processo densa são essenciais para superar as limitações de horizonte em agentes LLM.

Viabilidade de Agentes Autônomos: O framework prova que modelos open-source, quando adequadamente estruturados com submetas e RL, podem superar modelos proprietários massivos em tarefas complexas de navegação.
Ciclo de Auto-Evolução: O método sugere um caminho para agentes autônomos que podem diagnosticar suas próprias falhas, gerar curricula de treinamento e melhorar iterativamente sem intervenção humana constante.
Impacto Prático: Oferece uma solução engenharia robusta para a "falha de horizonte" que tem impedido a adoção generalizada de agentes autônomos em ambientes digitais reais.

Em resumo, o papel estabelece que submetas verificáveis atuam como a "cola" necessária para manter a coerência do raciocínio em tarefas longas, transformando problemas de otimização esparsa em problemas de aprendizado supervisionado denso e eficiente.