Resumo Técnico: Aprendendo a Explorar: Escalonamento do Raciocínio Agente via Otimização de Política Consciente de Exploração

Declaração do Problema

Avanços recentes no escalonamento de tempo de execução de agentes permitem que Modelos de Linguagem de Grande Escala (LLMs) coletem feedback ambiental antes de comprometer-se com ações finais, habilitando raciocínio multi-etapa durante a implantação. No entanto, os métodos existentes sofrem de uma limitação crítica: empregam estratégias de exploração indiferenciadas. As abordagens atuais tipicamente entrelaçam exploração e seleção de ações dentro de uma única política, carecendo da capacidade de distinguir adaptativamente quando a exploração é verdadeiramente necessária. Consequentemente, os agentes frequentemente se envolvem em exploração indiscriminada mesmo em estados bem compreendidos, acumulando informações de baixo valor e obscurecendo sinais críticos. Por outro lado, podem falhar em explorar suficientemente em estados desconhecidos, levando a tomada de decisão subótima. O desafio central é ensinar agentes a alocar adaptativamente etapas de interação baseadas na incerteza, distinguindo entre quando a exploração voltada à busca de informações é necessária e quando a busca direta de objetivos é suficiente.

Metodologia

O artigo propõe Otimização de Política Consciente de Exploração (EAPO), um framework projetado para permitir que agentes explorem seletivamente em estados apropriados e aproveitem informações adquiridas para a tomada de decisão. A metodologia consiste em três componentes principais:

1. Modo de Raciocínio de Exploração e Memória

Para estruturar o processo de raciocínio, os autores introduzem um formato de saída específico onde o agente gera explicitamente:

• Guia de Exploração ($e_t$): Uma estratégia estruturada especificando que informações adquirir e ações candidatas a tomar.
• Memória Acumulativa ($m_t$): Um resumo de informações relevantes para a tarefa extraídas de interações passadas e estados recém-observados.
• Ação Executável ($a_t$): A ação final tomada.

Essa separação permite que o agente delibere sobre as dinâmicas ambientais antes de comprometer-se com a execução e mantém um registro persistente de estados visitados, facilitando a reutilização de informações adquiridas.

2. Modelagem de Recompensa de Alta Granularidade via Inferência Variacional

Para incentivar exploração valiosa sem depender de rolagens online custosas, os autores projetam uma função de recompensa que avalia a utilidade de ações exploratórias.

• Perspectiva Bayesiana: O método trata exploração e memória como variáveis latentes. Define uma recompensa exploratória Bayesiana baseada na probabilidade posterior de sucesso da tarefa dado o estado atual, estratégia de exploração e memória.
• Proxy Variacional: Como o posterior verdadeiro é intratável, um proxy variacional aprendível $q_\phi$ é treinado para aproximar a distribuição de configurações ótimas de exploração-memória.
• Definição de Recompensa: A recompensa $R_{explore}$ é definida como o máximo de:
  1. A utilidade da exploração imediata (usando memória existente).
  2. A utilidade da exploração proativa (incorporando um estado recém-observado à memória), descontada por $\gamma^2$ para penalizar latência e prevenir excessivo conservadorismo.
• Recompensa Total: A recompensa final é uma combinação ponderada do sinal de sucesso da tarefa, uma recompensa de formato (garantindo saída estruturada) e a recompensa exploratória.

3. Estratégia de Treinamento em Duas Etapas Consciente de Exploração

Para abordar os desafios de atribuição de crédito e otimização de política na presença de exploração, a EAPO emprega uma abordagem em duas etapas:

• Etapa 1: Aprendendo a Reverter (SFT): Os agentes são ajustados finamente supervisionados em um conjunto de dados de especialistas para adquirir a capacidade de "reverter" para estados anteriores (por exemplo, clicando em um botão "voltar") após uma ação exploratória levar a um estado indesejável. Isso trata a exploração como um comportamento reversível em vez de um risco terminal.
• Etapa 2: Otimização de Política Consciente de Exploração (GRPO): Os autores modificam a Otimização de Política Relativa de Grupo (GRPO) introduzindo profundidade de visita ($\kappa$) como critério de agrupamento. As transições são agrupadas não apenas por estado, mas pelo número de vezes que o agente revisitou aquele estado. Isso garante que ações exploratórias sejam comparadas contra outras ações em estágios informativos similares, prevenindo a subestimação do valor da exploração que ocorre ao comparar etapas exploratórias iniciais com etapas de execução final no mesmo grupo.

Contribuições Principais

1. Framework Consciente de Exploração: Um método de otimização de política novel que ensina explicitamente aos agentes a distinguir entre quando explorar e quando executar, indo além de estratégias de exploração uniformes.
2. Modelagem de Recompensa Variacional: Uma abordagem principiante para quantificar a utilidade de ações exploratórias usando inferência variacional, evitando os altos custos computacionais de amostragem de trajetória online enquanto fornece sinais de recompensa estáveis.
3. Raciocínio Estruturado e Memória: A introdução de tags explícitas <explore> e <memory> que integram a coleta de informações e o resumo de estado diretamente no loop de raciocínio do agente.
4. Agrupamento por Profundidade de Visita: Um mecanismo para estabilizar a estimativa de vantagem agrupando transições com base na frequência com que um estado foi visitado, garantindo comparação justa entre fases de exploração e exploração.
5. Capacidade de Reversão: A integração de um mecanismo de reversão supervisionado que permite aos agentes recuperar-se de erros exploratórios, tornando a exploração um processo seguro e reversível.

Resultados Experimentais

Os autores avaliaram a EAPO em quatro ambientes desafiadores: ALFWorld e WebShop (baseados em texto) e AndroidWorld e OSWorld (baseados em GUI).

• Ganhos de Desempenho: A EAPO superou consistentemente bases fortes (incluindo GRPO, DAPO, GiGPO, LAMER e vários modelos de código fechado) em todos os ambientes. As melhorias variaram de 20% a 60% sobre métodos existentes.
• Eficiência do Modelo: Um modelo de escala 2B treinado com EAPO alcançou desempenho comparável ou superior a modelos gerais e agentes substancialmente maiores (por exemplo, modelos de 72B parâmetros), demonstrando que estratégias de exploração eficazes podem compensar a escala de parâmetros.
• Comportamento Adaptativo: A análise mostrou que agentes treinados com EAPO exibem exploração adaptativa: aumentam os graus de exploração em estados incertos e convergem para exploração seletiva à medida que aprendem o ambiente, evitando tentativa e erro indiscriminada.
• Generalização: Modelos treinados no AndroidWorld generalizaram efetivamente para o ambiente não visto OSWorld com apenas leve degradação de desempenho, sugerindo que as políticas de exploração aprendidas são invariantes de domínio.
• Eficiência: O método incorreu em apenas cerca de 30% de sobrecarga adicional de treinamento (principalmente do treinamento do modelo de recompensa variacional) em comparação com o GRPO padrão, evitando a amostragem online cara requerida por abordagens alternativas. O tempo de inferência viu um aumento modesto (no máximo 10 etapas adicionais em média) devido à exploração, controlado pelo fator de desconto.

Significado e Alegações

O artigo alega que a EAPO representa um passo significativo para frente no escalonamento de tempo de execução de agentes. Ao modelar explicitamente a utilidade da exploração e separar a busca de informações da tomada de decisão, o framework permite que agentes:

• Raciocinem sobre incerteza: Agentes aprendem a identificar quando o estado ou memória atual é insuficiente para uma decisão e buscam informações proativamente.
• Otimizem a alocação de recursos: Agentes evitam desperdiçar etapas de interação em exploração redundante em estados conhecidos enquanto coletam efetivamente dados críticos em cenários novos.
• Alcancem generalização robusta: A capacidade de explorar adaptativamente permite que agentes lidem com ambientes fora de distribuição (por exemplo, layouts de UI atualizados) sem exigir re-treinamento específico do ambiente.

Os autores concluem que aprender quando e como explorar é uma capacidade fundamental que pode melhorar substancialmente a qualidade da decisão e a compreensão do ambiente, frequentemente mais efetivamente do que simplesmente escalar parâmetros do modelo. O trabalho fornece um framework principiante para integrar exploração no processo de raciocínio de LLMs agentes, indo além de estratégias de exploração heurísticas ou uniformes.