Resumo Técnico: Agentes podem generalizar para o Mundo Aberto?

1. Formulação do Problema

Embora agentes de Grandes Modelos de Linguagem (LLMs) demonstrem alta proficiência em benchmarks estáticos utilizando Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL), sua implantação em cenários do mundo real é dificultada pela natureza não estacionária dos ambientes abertos. Os benchmarks atuais frequentemente dependem de uma "suposição de mundo estático", onde as distribuições de ferramentas, esquemas e lógica de interação permanecem consistentes entre o treinamento e a inferência. No entanto, implantações no mundo real enfrentam mudanças dinâmicas: APIs são depreciadas, esquemas de ferramentas evoluem e instruções de usuários são ambíguas.

Os autores formalizam o OpenAgent, um cenário de problema que caracteriza mudanças distributivas em quatro dimensões:

1. Consultas de Usuário ($\Delta Q$): Mudanças nas diretrizes semânticas e nas formas superficiais linguísticas.
2. Conjuntos de Ferramentas ($\Delta A$): Espaços de ação não estacionários envolvendo ferramentas renomeadas, comportamentos alterados ou reconfigurações estruturais (fusões/divisões).
3. Dinâmicas de Interação ($\Delta O$): Canais de feedback não estacionários, incluindo estados de erro inesperados, valores nulos ou instruções corretivas.
4. Domínio da Tarefa ($\Delta D$): Mudanças conjuntas em $Q, A$ e $O$ para um novo domínio, preservando estruturas latentes de resolução de problemas.

A questão central de pesquisa é se os paradigmas de treinamento atuais (SFT e RL) permitem que os agentes generalizem para essas mudanças de mundo aberto ou se seu desempenho é meramente um artefato de sobreajuste (overfitting) de conjunto fechado.

2. Metodologia

2.1 Ambiente de Sandbox Controlado

Para isolar as mudanças ambientais do ruído das APIs do mundo real, os autores construíram um ambiente de sandbox sintético baseado em dados de Pontos de Interesse (POI).

• Dados: Um conjunto de dados de 6.050 amostras de treinamento e 880 amostras de avaliação, estritamente separados para evitar vazamento de dados (data leakage).
• Backbone: Qwen2.5-7B-Instruct.
• Baselines: SFT de parâmetros completos e RL (usando o framework GRPO com recompensas esparsas). Ambos foram treinados até a convergência em um ambiente fechado para estabelecer uma linha de base estável.

2.2 Estrutura de Diagnóstico de Quatro Níveis

Os autores projetaram uma estrutura de avaliação hierárquica para sondar sistematicamente a robustez do agente:

• Nível 1: Generalização de Percepção: Testa a capacidade de fundamentar observações brutas.
  • Robustez de Instrução: Lidar com instruções borradas e redundância de informações.
  • Adaptabilidade de Esquema: Adaptar-se a mudanças em chaves de parâmetros (ex: args vs. parameters).
  • Fundamentação Semântica: Testar a tolerância ao desvio simbólico, armadilhas semânticas (descrições adversariais) e apagamento de identidade (nomes de ferramentas aleatórios).
• Nível 2: Generalização de Interação: Testa a capacidade de usar feedback para ajuste de política.
  • Adaptabilidade de Formato: Analisar formatos de retorno não padronizados (ex: Markdown vs. JSON).
  • Correção de Erro: Recuperar-se de erros explícitos ou retornos nulos silenciosos.
  • Alinhamento Dinâmico: Adaptar-se a redirecionamentos de valores ou ferramentas fornecidos no feedback.
• Nível 3: Generalização de Raciocínio: Testa a capacidade de compor planos de execução válidos.
  • Raciocínio de Regras: Adaptar-se a mudanças nas semânticas funcionais (ex: fatores de cálculo).
  • Planejamento de Caminho: Lidar com simplificação de rastreio (atalhos) e inversão lógica (dependências causais invertidas).
• Nível 4: Generalização de Internalização: Testa a consciência de limites de alto nível.
  • Recusa Ativa: Reconhecer tarefas insolúveis (condições ausentes ou erros fatais).
  • Transferência de Domínio: Transferir topologias de raciocínio para domínios semanticamente distintos (ex: de geografia para registro médico).

2.3 Solução Proposta: Ajuste Fino Aumentado por Perturbação (PAFT)

Para abordar a fragilidade identificada no SFT, os autores propõem o PAFT, uma estratégia de intervenção centrada em dados. Diferente da aumentação padrão, o PAFT opera ao nível da trajetória, injetando perturbações controladas em trajetórias de treinamento bem-sucedidas:

• Perturbação de Feedback Ambiental (EFP): Injeta anomalias de observação (ex: redirecionamento de ferramenta) no meio da trajetória, supervisionando o modelo para gerar ações corretivas.
• Perturbação de Limite de Solubilidade (SBP): Introduz amostras de erro fatal para ensinar a recusa explícita, quebrando a suposição de que "todo problema é solucionável".
• Perturbação de Representação Simbólica (SRP): Aplica aumentações de nível superficial (reescrita de sinônimos, injeção de ruído) aos nomes das ferramentas e documentação para desacoplar o ancoramento simbólico.

3. Principais Resultados e Observações

3.1 Modos de Falha dos Paradigmas Atuais

• SFT (Ancoragem Simbólica): Agentes SFT exibem um "ancoramento simbólico frágil". Eles dependem fortemente de sequências de tokens memorizadas e nomes superficiais. Quando os nomes das ferramentas são perturbados ou a semântica muda (Nível 1), o desempenho do SFT degrada-se drasticamente. Além disso, o SFT tende a ignorar o feedback ambiental (comportamento de malha aberta), alucinando resultados bem-sucedidos mesmo quando redirecionamentos de erro explícitos são fornecidos (Nível 2).
• RL (Cegueira de Limite): Agentes de RL demonstram melhor fundamentação semântica e adaptabilidade a orientações explícitas (Nível 2) devido à interação impulsionada por recompensa. No entanto, eles sofrem de "cegueira de limite". Embora percebam erros, seu viés teleológico (recompensas orientadas ao resultado) os compele a forçar a conclusão em vez de recusar tarefas insolúveis (Nível 4). Tanto o SFT quanto o RL falham significativamente sob inversão de dependência global (Inversão Lógica no Nível 3), indicando um sobreajuste à ordem temporal das sequências de ação em vez de estruturas lógicas dinâmicas.

3.2 Desempenho do PAFT

O PAFT mitiga efetivamente a degradação observada no SFT padrão:

• Robustez: O PAFT transforma a severa degradação de desempenho nos estágios iniciais do treinamento em deltas positivos através dos Níveis 1–3.
• Capacidade de Recusa: O componente SBP restaura especificamente a capacidade de recusar tarefas insolúveis (Nível 4), alcançando uma taxa de recusa de ~99% em cenários de erro fatal, comparado a quase zero para o SFT padrão.
• Ablação: O estudo confirma que cada componente (EFP, SBP, SRP) aborda modos de falha distintos. Uma razão de perturbação ($\alpha$) de 0,3 foi considerada ideal, equilibrando a cobertura distributiva com a qualidade do sinal.

4. Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Formalização do OpenAgent: Define um cenário de problema rigoroso para agentes de uso de ferramentas em mundos abertos, caracterizando mudanças em consultas, ferramentas, interações e domínios.
2. Avaliação Sistemática: Estabelece um sandbox controlado e uma estrutura de diagnóstico de quatro níveis que revela fraquezas estruturais específicas em ambos os paradigmas SFT e RL (ancoragem simbólica e cegueira de limite).
3. Intervenção Metodológica: Propõe o PAFT, uma estratégia baseada em perturbação que aumenta a robustez e a segurança do agente ao desacoplar os modelos da memorização de padrões superficiais e ensinar a consciência explícita de limites.

Significância:
Os autores argumentam que o domínio aparente dos agentes em benchmarks estáticos é frequentemente frágil. Ao identificar que o SFT sofre de sobreajuste de trajetória e o RL de conclusão forçada por viés de resultado, o artigo destaca lacunas críticas de segurança e confiabilidade para implantação no mundo real. O proposto PAFT oferece um caminho para aumentar a utilidade dos agentes em ambientes não estacionários e realistas, garantindo que os agentes possam não apenas resolver tarefas, mas também reconhecer quando se abster. O trabalho ressalta a necessidade de ir além das avaliações de conjuntos fechados e estáticos para diagnosticar e melhorar as capacidades de generalização de sistemas agentes.