Resumo Técnico: TOOLSELF

Declaração do Problema

Os atuais sistemas de agentes impulsionados por Grandes Modelos de Linguagem (LLMs) enfrentam uma tensão fundamental entre desempenho específico de domínio e generalização entre tarefas. Os sistemas existentes dependem tipicamente de configurações estáticas (fixas antes da execução) que definem a estratégia, a caixa de ferramentas, o gerenciamento de contexto e o estilo de raciocínio do agente.

• Especialização vs. Generalização: Priores de domínio fortes e espaços de ferramentas compactos auxiliam o desempenho em tarefas específicas, mas enfraquecem a transferibilidade. Por outro lado, agentes de propósito geral com amplos espaços de ferramentas e fluxos de trabalho agnósticos à tarefa expandem a cobertura, mas frequentemente sofrem com orientação diluída e desempenho degradado em horizontes longos.
• Limitações das Soluções Existentes: Abordagens anteriores tentam resolver isso via:
  • Otimização pré-execução: Deriva configurações especializadas offline, mas não consegue se adaptar em tempo de execução.
  • Orquestração planejador-trabalhador: Desacopla o planejamento da execução, levando à perda de informação e fragmentação da atribuição de crédito.
  • Patching de configuração: Modifica dimensões isoladas (ex: contexto ou ferramentas) via módulos externos, resultando em uma otimização fragmentada que falha em coordenar mudanças em nível de sistema.
• Desafio Central: Esses métodos desacoplam a adaptação da execução, impedindo que o agente atualize proativamente sua configuração com base no progresso da tarefa e no feedback em tempo real.

Metodologia: TOOLSELF

Os autores propõem o TOOLSELF (Autoreconfiguração Orientada por Ferramentas), um paradigma que unifica a execução de tarefas e a autorreconfiguração em tempo de execução dentro de uma única política otimizável.

1. Mecanismo Central: Espaço de Ação Unificado

O TOOLSELF trata a configuração não como uma constante pré-fixada, mas como um estado dinâmico e atualizável por ferramentas. O agente de execução $\pi_i$ opera sob uma configuração $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$, onde:

• $q_i$: Subobjetivo atual.
• $\sigma_i$: Estratégia de execução.
• $T_i$: Caixa de ferramentas específica para o estágio (subconjunto do pool global).
• $K_i$: Conhecimento local e restrições.
• $m_i$: Modo de gerenciamento de contexto.

O agente é equipado com uma Ferramenta de Reconfiguração padronizada ($T_{reconfig}$). Quando o agente determina que a configuração atual está desalinhada com as demandas da tarefa (ex: falha de estratégia, falta de conhecimento ou conclusão de subobjetivo), ele invoca a $T_{reconfig}$. Esta ferramenta:

1. Arquiva o resumo do estágio atual em um pool de histórico global.
2. Retorna uma especificação de geração de configuração ($z_i$) que guia a mesma política para sintetizar a próxima configuração $C_{i+1}$.

Este design garante que as atualizações de configuração sejam ações nativas dentro do espaço de ação do agente, permitindo atualizações holísticas de subobjetivos, estratégias, ferramentas e gerenciamento de contexto simultaneamente.

2. Estrutura de Treinamento: Treinamento de Dois Estágios Consciente de Configuração (CAT)

Para internalizar a autorreconfiguração como uma metacapacidade, os autores introduzem o CAT, uma estrutura de treinamento end-to-end:

• Estágio I: Inicialização de Cold-Start (RFT): Utiliza Rejeição de Amostragem para Fine-tuning (RFT) em trajetórias bem-sucedidas geradas por um modelo professor (Qwen3-235B). A política aprende a gerar trajetórias de estágio válidas e atualizações de configuração condicionadas a resultados bem-sucedidos.
• Estágio II: Refinamento por Aprendizado por Reforço (KTO): Emprega a Otimização de Kahneman-Tversky (KTO) com feedback binário de nível de trajetória. Como a qualidade da autorreconfiguração só é observável através do sucesso da tarefa subsequente, a atribuição de crédito é propagada para todas as decisões (execução e reconfiguração) dentro de uma trajetória com base no resultado final da tarefa (Sucesso/Falha).

Principais Contribuições

1. Paradigma TOOLSELF: Uma nova arquitetura que abstrai atualizações de configuração como uma interface de ferramenta padronizada, unificando execução e adaptação dentro do espaço de ação de uma única política. Isso permite otimização conjunta e adaptabilidade emergente sem a necessidade de injeção manual de orientação.
2. Estrutura CAT: Uma abordagem de treinamento de dois estágios (RFT + KTO) que ensina agentes a realizar autorreconfiguração entre estágios, otimizando decisões de configuração explicitamente para o sucesso da tarefa subsequente.
3. Otimização Unificada: Ao colocar a adaptação e a execução no mesmo local, o método elimina a perda de informação do repasse entre módulos e permite a atribuição de crédito end-to-end, fomentando capacidades como planejamento de longo horizonte e autocorreção.

Resultados Experimentais

Os autores avaliaram o TOOLSELF em cinco conjuntos de dados abrangendo pesquisa profunda (FRAMES, xbench), assistência de IA geral (GAIA, GAIA(WS)) e engenharia de software (SWE-Lite), utilizando modelos Qwen3-8B e Qwen3-14B.

• Desempenho Zero-Shot: Mesmo sem o treinamento CAT, o TOOLSELF zero-shot rivaliza com agentes especializados em tarefas (ex: WebSailor, SWE-Agent) enquanto mantém uma forte generalização entre tarefas.
• Ganhos de Treinamento: Após o treinamento CAT, o TOOLSELF alcança uma melhoria média de 28,8 pontos sobre as linhas de base de configuração estática.
  • No Qwen3-8B, a acurácia média subiu de 16,5% (Agente Vanilla) para 45,3% (TOOLSELF + RFT + KTO).
  • No FRAMES (Qwen3-14B), atingiu 61,5%, superando baselines especializados como WebSailor (42,0%) e Co-Sight (46,0%).
• Estudos de Ablação:
  • Integrado vs. Desacoplado: O design integrado (política unificada) supera significativamente uma variante desacoplada onde um LLM separado gera as configurações, confirmando que o contexto de execução detalhado é crítico para uma reconfiguração eficaz.
  • Análise de Componentes: A transferência de conhecimento e o planejamento de subobjetivos foram identificados como as dimensões de configuração mais críticas para o raciocínio de longo horizonte.
  • Eficiência: O TOOLSELF demonstrou maior eficiência de tokens em comparação com agentes especializados como o Co-Sight, apesar de uma exploração mais profunda.

Significância e Alegações

O artigo afirma que o TOOLSELF ilumina um caminho para a adaptabilidade emergente em sistemas de agentes. Ao substituir a orientação injetada manualmente por uma autorreconfiguração em tempo de execução aprendível, o sistema pode:

• Especializar-se dinamicamente para diversas tarefas e estágios de execução, preservando a flexibilidade de um generalista.
• Internalizar capacidades avançadas como planejamento de longo horizonte, autorrefinamento e autocorreção.
• Alcançar desempenho de estado da arte em benchmarks complexos sem exigir configurações estáticas específicas de tarefa ou orquestradores externos.

Os autores enfatizam que esta abordagem resolve o conflito especialização-generalização ao tornar a configuração uma variável dinâmica e aprendível, em vez de uma restrição estática, permitindo que os agentes "aprendam a adaptar-se" através de feedback de nível de trajetória.