🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

O Agent-G $^2$ é uma nova estrutura de aprendizado por reforço que otimiza a profundidade da orientação baseada em dicas ao amostrar de uma distribuição Gaussiana estimada online, superando assim os métodos determinísticos e de sondagem existentes em tarefas de agentes, ao mesmo tempo em que reduz significativamente os custos computacionais.

Autores originais: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador tentando aprender a navegar em um mundo complexo, como um robô movendo-se por uma casa ou um agente virtual fazendo compras em um site. Essas tarefas geralmente exigem uma longa cadeia de decisões, onde o programa deve dar muitos passos antes de finalmente ter sucesso ou falhar. O problema central é que o programa só recebe um sinal no final, dizendo se ele venceu ou perdeu. Isso torna o aprendizado incrivelmente difícil, como tentar aprender a andar de bicicleta sendo apenas informado "bom trabalho" ou "você caiu" depois de já ter percorrido uma milha, sem qualquer feedback sobre se você estava dirigindo corretamente no meio do caminho. Para ajudar o programa a aprender, pesquisadores tentaram dar-lhe uma "dica" no início de cada tentativa: um pequeno trecho de um caminho perfeito realizado por um especialista. Isso dá ao programa uma vantagem inicial, colocando-o mais próximo da linha de chegada para que possa aprender os passos restantes. No entanto, uma questão crítica permanece: quanto desse caminho do especialista deve ser mostrado? Mostre pouco, e o programa ainda estará perdido; mostra demais, e ele simplesmente copiará o especialista sem aprender nada de novo.

Por muito tempo, os pesquisadores trataram essa questão como se houvesse uma quantidade perfeita de ajuda que se aplicasse a cada tarefa, ou tentaram adivinhar a quantidade certa para cada tarefa específica realizando muitas rodadas de prática extras e caras apenas para testar diferentes níveis de ajuda. Um novo estudo de uma equipe da Universidade de Zhejiang e da Baidu sugere que ambas as abordagens falham. Os pesquisadores descobriram que o "ponto ideal" para a ajuda não é um único ponto preciso, mas sim uma faixa. Para qualquer tarefa dada, existe uma banda de diferentes quantidades de ajuda que funcionam bem, e essa banda muda dependendo de quão difícil é a tarefa. Em vez de tentar determinar um número exato, a equipe desenvolveu um método que trata a quantidade certa de ajuda como uma faixa flexível que muda conforme o computador aprende. Eles chamam seu sistema de Agent-G2.

Os pesquisadores testaram sua ideia em dois ambientes desafiadores: um mundo baseado em texto onde um agente deve completar tarefas domésticas, como pegar objetos ou limpar, e uma loja online simulada onde o agente deve procurar e comprar itens específicos. Eles usaram um modelo de linguagem como o cérebro desses agentes. Em seus experimentos, descobriram que a quantidade mais eficaz de ajuda forma uma curva em forma de sino ao redor do ponto ideal. Isso significa que, para uma tarefa difícil, uma ampla faixa de níveis de ajuda pode funcionar, enquanto para uma mais fácil, a faixa pode ser mais estreita. Crucialmente, eles descobriram que a dificuldade de uma tarefa está intimamente ligada ao comprimento do caminho do especialista. Uma tarefa que exige vinte passos é geralmente mais difícil do que uma que exige apenas dois.

Para resolver o problema de encontrar o nível certo de ajuda sem desperdiçar tempo, o Agent-G2 agrupa tarefas pelo seu comprimento e, em seguida, usa os resultados das rodadas de prática atuais para ajustar a ajuda para a próxima rodada. Se o grupo de tarefas curtas estiver tendo sucesso com muita facilidade, o sistema reduz automaticamente a quantidade de ajuda dada a elas. Se as tarefas longas estiverem falhando, ele aumenta a ajuda. O sistema faz isso calculando um ponto central e uma dispersão para cada grupo de tarefas, criando essencialmente um mapa dinâmico de onde o aprendizado deve ocorrer. Ele então escolhe aleatoriamente uma quantidade específica de ajuda desse mapa para cada nova tentativa. Essa abordagem permite que o sistema explore uma variedade de pontos de partida úteis simultaneamente, garantindo que tanto as tarefas fáceis quanto as difíceis recebam o tipo certo de impulso sem a necessidade de executar testes extras apenas para definir as configurações.

Os resultados foram impressionantes. No ambiente de tarefas domésticas, o novo método alcançou uma taxa de sucesso de 95,3 por cento com um modelo menor e 98,4 por cento com um maior. Isso superou os métodos existentes mais fortes que utilizavam dicas, bem como aqueles que tentavam aprender sem nenhuma dica. Talvez o mais importante seja que o novo método alcançou esses resultados usando muito menos recursos de computação do que os métodos anteriores que tentavam adivinhar o nível de ajuda ideal para cada tarefa individualmente. Esses métodos antigos exigiam a execução de muitas rodadas de prática extras para encontrar a resposta, o que é lento e caro. O novo sistema aprendeu as configurações certas "on the fly", usando os mesmos dados que já estava coletando para melhorar o agente.

O estudo também mostrou que o sistema funciona bem em diferentes tamanhos de modelos de computador, provando que a maneira como a ajuda é entregue é tão importante quanto o tamanho do cérebro que realiza o aprendizado. De fato, o modelo menor usando este sistema de orientação inteligente teve um desempenho melhor do que modelos muito maiores usando métodos antigos e menos sofisticados. Os pesquisadores observaram que seu método depende de ter um exemplo de caminho perfeito disponível para cada tarefa para começar. Se tais caminhos perfeitos não existirem, o sistema não pode ser usado diretamente. No entanto, para os muitos problemas do mundo real onde especialistas podem demonstrar o caminho correto, esta abordagem oferece uma maneira poderosa de ensinar a inteligência artificial a aprender com seus próprios erros, em vez de apenas copiar o que vê. Ao tratar a quantidade certa de orientação como uma faixa flexível, em vez de um número fixo, os pesquisadores encontraram uma maneira mais eficiente e robusta de ajudar as máquinas a dominar objetivos complexos e de longo prazo.

Resumo Técnico: Agent-G2: Orientação Gaussiana para Aprendizado por Reforço Agêntico

1. Declaração do Problema

O Aprendizado por Reforço (RL) para agentes de Grandes Modelos de Linguagem (LLMs) enfrenta um desafio crítico em tarefas de tomada de decisão de longo horizonte: a escassez de recompensa (reward sparsity). Em ambientes como navegação na web ou controle incorporado, os agentes frequentemente recebem apenas um sinal binário de sucesso no estado terminal após dezenas de decisões sequenciais. Consequentemente, a exploração on-policy a partir do estado inicial raramente alcança um estado terminal de sucesso, levando ao "colapso de vantagem" (advantage collapse) em algoritmos de treinamento como o Group Relative Policy Optimization (GRPO).

O RL baseado em dicas (Hint-based RL) tenta mitigar isso retendo um prefixo de uma trajetória de especialista antes de cada rollout, permitindo que a política explore a partir de um estado mais próximo do sucesso. No entanto, a eficácia desta abordagem depende da profundidade de orientação ( $d$ ): a proporção da trajetória do especialista a ser retida.

Pouca orientação: A política começa cedo demais, resultando em poucos rollouts bem-sucedidos.
Muita orientação: A recompensa torna-se saturada, eliminando o contraste necessário para uma estimativa de vantagem eficaz.

Os métodos existentes tratam esta profundidade como um escalar determinístico, levando a dois paradigmas subótimos:

Métodos baseados em cronograma (Schedule-based): Compartilham um único valor de profundidade para todas as amostras em um lote (ex: com base nos passos de treinamento). Isso ignora a heterogeneidade por tarefa, já que tarefas dentro do mesmo lote podem variar significativamente em dificuldade (ex: uma tarefa de 2 passos vs. uma tarefa de 20 passos).
Métodos de sondagem por amostra (Per-sample probing): Estimam uma profundidade ideal para cada amostra via busca binária ou enumeração. Embora mais precisos, incorrem em um alto custo computacional ( $O(\log n)$ ou $N \times$ rollouts extras por amostra) e introduzem ruído sob orçamentos limitados de rollout.

Os autores identificam um desajuste estrutural fundamental nestas abordagens: elas assumem que existe uma única profundidade ideal por tarefa. A análise empírica revela que a orientação útil ocupa uma "faixa" (band) de profundidades em torno de um ponto ideal, com um perfil de informatividade que é aproximadamente Gaussiano.

2. Metodologia: Agent-G2

Os autores propõem o Agent-G2, um framework de orientação Gaussiana que modela a profundidade de orientação como uma distribuição Gaussiana por tarefa ( $N(\mu_i, \sigma_i^2)$ ) em vez de um escalar. Esta distribuição é estimada online a partir de estatísticas de rollout coletadas durante a otimização da política, não exigindo rollouts de sondagem extras ou redes preditoras de profundidade aprendidas.

Componentes Principais

Agrupamento Offline (Offline Clustering):
As tarefas são particionadas em $K$ clusters baseados no comprimento da trajetória do especialista (um proxy para dificuldade). Isso permite que o sistema lide com a heterogeneidade mantendo estatísticas separadas para diferentes níveis de dificuldade.
Cronograma Gaussiano Adaptativo (Adaptive Gaussian Schedule):
Para cada tarefa $i$ no cluster $k$ , os parâmetros $\mu_i$ (centro) e $\sigma_i$ (dispersão) são computados dinamicamente:

Linha de Base Global ( $\mu_{global}$ ): Rastreia o progresso geral da política. É ajustada com base na taxa de sucesso do lote ( $acc_B$ ) em relação a uma taxa de sucesso alvo ( $p_{target} = 0.5$ ), o regime "just-learnable".
Estatísticas do Cluster: Para cada cluster $k$ , o sistema mantém Médias Móveis Exponenciais (EMA) da taxa de sucesso empírica ( $A_k$ ) e da variância ( $V_k$ ).
Cálculo de Parâmetros:
- $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : Ajusta o centro com base na dificuldade do cluster em relação à linha de base global.
- $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : Define a dispersão com base na variância dentro do cluster, garantindo uma cobertura mais ampla para tarefas heterogêneas.

Amostragem e Rollout:
Para cada tarefa, uma razão de orientação $r_i$ é amostrada de $N(\mu_i, \sigma_i^2)$ e clipada para $[0, 1]$ . Isso determina o comprimento do prefixo $n_i$ . O agente executa o prefixo do especialista para alcançar um estado $s_i$ , e então realiza $R$ rollouts independentes a partir de $s_i$ .
Loop de Treinamento:

Atualização da Política: A política é atualada usando uma combinação da perda GRPO (nos $R$ rollouts) e uma perda auxiliar ( $L_{aux}$ ) nos prefixos de especialista amostrados (aprendizado por imitação).
Atualização do Cronograma: Os mesmos rollouts usados para atualizações de política atualizam a linha de base global e as estatísticas do cluster ( $A_k, V_k$ ) para o próximo lote. Isso cria um sistema de malha fechada onde a distribuição de orientação evolui com as capacidades da política.

3. Contribuições Principais

Insight Estrutural: O artigo revela que as profundidades de orientação informativas formam uma faixa (band) em vez de um único ponto. O perfil do sinal de treinamento dentro desta faixa é unimodal, simétrico e bem ajustado por uma distribuição Gaussiana. Isso explica as falhas de modo tanto dos cronogramas de profundidade compartilhada (desajuste estrutural) quanto da sondagem por amostra (troca entre ruído e custo).
Framework Agent-G2: Um novo framework que estima distribuições de profundidade por tarefa online usando uma decomposição global-local. Ele alcança variação de profundidade por tarefa sem rollouts de sondagem extras ou redes auxiliares.
Superioridade Empírica: Avaliação extensiva no ALFWorld e WebShop usando modelos Qwen2.5-1.5B e 7B demonstra que o Agent-G2 supera os baselines de estado da arte (incluindo métodos baseados em dicas, sem dicas e métodos de RL auxiliar) operando com menos de um terço do custo de rollout dos métodos de sondagem por amostra.

4. Resultados Experimentais

ALFWorld: O Agent-G2 alcançou 95.3% de sucesso (modelo 1.5B) e 98.4% (modelo 7B). Isso representa melhorias de +2.3 e +3.9 pontos sobre os baselines mais fortes baseados em dicas e sem dicas, respectivamente.
WebShop: O Agent-G2 alcançou uma pontuação de recompensa de 92.3 e 84.4% de sucesso de compra (modelo 7B), superando todos os baselines não-probabilísticos.
Eficiência: Embora o Agent-G2 tenha um overhead modesto por passo em comparação com métodos simples de cronograma, ele é significativamente mais barato (3.24x–4.83x mais rápido) do que métodos de sondagem (Busca Binária, Enumeração) porque evita rollouts extras.
Estudos de Ablação:
- Remover a amostragem estocástica (usando apenas a média $\mu_i$ ) reduziu o desempenho em 5.5 pontos, confirmando a necessidade de cobrir a faixa informativa.
- Remover a adaptação específica do cluster ( $K=1$ ) reduziu o desempenho em 6.2 pontos, destacando a importância de lidar com a heterogeneidade das tarefas.
- A perda auxiliar ( $L_{aux}$ ) proporcionou estabilidade (+8.6 pontos), mas não foi o principal motor de desempenho; o aprendizado GRPO nos estados pós-prefixo foi crítico.

5. Significância e Alegações

O artigo afirma que o Agent-G2 representa uma mudança de tratar a profundidade de orientação como um hiperparâmetro estático e determinístico para uma variável dinâmica e probabilística. Ao modelar a "vizinhança" da orientação útil em vez de um único ponto, o método equilibra efetivamente exploração e explotação em tarefas de longo horizonte.

Os autores enfatizam que o design de cronograma pode substituir o escalonamento do backbone. Notavelmente, o modelo 1.5B com Agent-G2 superou o baseline BEACON de 7B, sugerindo que estratégias de orientação inteligentes podem compensar a capacidade limitada do modelo.

Limitações Reconhecidas:

O método requer uma trajetória de especialista por tarefa; não pode ser aplicado diretamente onde tais dados não estão disponíveis.
A parametrização Gaussiana é motivada empiricamente; tarefas com perfis de profundidade multimodais ou fortemente assimétricos podem exigir distribuições mais ricas.
O agrupamento de dificuldade é atualmente baseado no comprimento da trajetória offline; a estimativa de dificuldade online é uma direção futura potencial.

Em resumo, o Agent-G2 fornece uma solução escalável e de baixo custo para a escassez de recompensa em RL agêntico, aproveitando a estrutura estatística da profundidade de orientação, eliminando a necessidade de sondagem dispendiosa enquanto se adapta à heterogeneidade das tarefas em tempo real.