Resumo Técnico: Recuperando Computação Desperdiçada em Agentes de Autopesquisa

Declaração do Problema

Avanços recentes em "autopesquisa" — agentes impulsionados por Grandes Modelos de Linguagem (LLMs) projetados para resolver problemas de pesquisa de ponta a ponta — atraíram investimentos significativos da indústria. Esses sistemas tipicamente automatizam o pipeline de engenharia de aprendizado de máquina (MLE): gerando código para processar dados, treinar modelos e avaliar soluções. No entanto, quando aplicados a conjuntos de dados tabulares, as principais estruturas agênticas baseadas em busca em árvore (especificamente AIDE e ML-Master) exibem quatro modos de falha recorrentes que desperdiçam orçamentos computacionais em vez de produzir resultados produtivos:

1. Isolamento de Contexto: Ramos paralelos na árvore de busca operam sem memória compartilhada. Consequentemente, diferentes ramos redescobrem repetidamente e tentam corrigir os mesmos bugs de tempo de execução (ex: chamadas de API obsoletas ou incompatibilidades de versão), levando a um gasto redundante de computação.
2. Terminação Prematura: Agentes frequentemente interrompem a busca após encontrar algumas soluções válidas devido a critérios de convergência superficiais, falhando em utilizar o orçamento de computação restante para a otimização sistemática de hiperparâmetros (HPO).
3. Estados de Busca Improdutivos: Agentes frequentemente ficam presos em caminhos de solução de "beco sem saída", tentando repetidamente variações de uma abordagem falha até que o orçamento seja esgotado, em vez de explorar ramos alternativos.
4. Análise de Dados Ineficaz: Embora os agentes mimetizem cientistas de dados humanos ao realizar análise exploratória de dados (EDA), eles falham em utilizar os insights derivados da EDA para informar decisões de modelagem subsequentes. Em testes diagnósticos, os agentes ignoraram resultados de EDA "adversários" injetados, sugerindo uma desconexão entre análise e ação.

Metodologia

Os autores propõem um conjunto de intervenções estruturais projetadas para recuperar a computação desperdiçada sem modificar o backbone do LLM subjacente (GPT-5-mini). Essas intervenções visam o arcabouço (scaffold) agêntico em vez dos pesos do modelo.

1. Consultor de Depuração Consciente de Contexto

Para abordar o isolamento de contexto, os autores introduzem um consultor de depuração global que mantém um registro compartilhado de restrições de tempo de execução em toda a árvore de busca.

• Mecanismo: Quando um nó falha, o traceback bruto é comprimido em um registro compacto (tipo de erro, assinatura e estratégia de falha). Isso é acumulado em um registro compartilhado contendo padrões "PROIBIDOS" (chamadas de API conhecidas por falhar) e "CORREÇÕES PROVADAS".
• Injeção: Antes de cada etapa de geração (elaboração, depuração ou melhoria), o consultor injeta essas restrições no contexto do agente. Isso evita que o agente repita erros conhecidos e o guia imediatamente em direção a soluções válidas.
• Regras Determinísticas: O consultor também impõe regras de controle determinísticas, tratando timeouts de execução e logs vazios como becos sem saída terminais, em vez de ruído estocástico a ser tentado novamente.

2. Imposição de Ajuste de Hiperparâmetros Consciente de Orçamento

Para evitar a terminação prematura e garantir uma HPO sistemática, os autores implementam dois níveis de intervenção:

• Orientação ao Nível de Prompt: Instruções explícitas são anexadas ao contexto do agente, direcionando-o a estabelecer uma linha de base, executar testes baratos para identificar hiperparâmetros sensíveis e, então, ajustar esses parâmetros uma vez que os ganhos estagnem.
• Imposição de Loop de Controle: Um mecanismo de recompensa de busca é introduzido onde um juiz LLM pontua a qualidade do ajuste de hiperparâmetros em uma escala de 0–3 (Nenhum a Extensivo). Essa pontuação influencia diretamente o processo de seleção de nós. No AIDE, ajusta a métrica de validação; no ML-Master, é incorporada ao Upper Confidence Bound para Árvores (UCT) de recompensa. O sistema penaliza o ajuste fraco ao longo da busca, mas recompensa o ajuste forte especificamente nas fases finais, incentivando a exploração ampla cedo e a explotação intensiva mais tarde.

3. Backtracking Melhorado por Amostragem de Thompson

Para escapar de loops improdutivos, os autores substituem a seleção aleatória de irmãos por Amostragem de Thompson (TS) dentro de um framework de Busca em Árvore Monte Carlo (MCTS).

• Mecanismo: Cada nó irmão mantém uma distribuição Beta sobre sua qualidade, atualizada com base nas recompensas observadas. Quando um erro idêntico recorre em um caminho, o agente faz o backtracking para o ponto de ramificação e reamostra entre os irmãos, selecionando o nó com o maior valor extraído de sua distribuição.
• Efeito: Esta abordagem probabilística equilibra exploração (dando uma chance a nós incertos) e explotação (favorecendo ramos consistentemente de alto desempenho), redirecionando efetivamente o orçamento para longe de caminhos que falham repetidamente.

4. Diagnóstico de Integração de EDA

Os autores conduziram um estudo diagnóstico onde resultados de EDA "adversários" (enganosos) foram injetados no contexto do agente. Eles avaliaram se os agentes incorporariam esses sinais na seleção de características ou decisões de modelagem.

Principais Resultados

Os experimentos foram conduzidos em nove tarefas de predição tabular (classificação e regressão) do MLE-bench e Kaggle, usando um orçamento fixo de 2 horas em 22 núcleos de CPU.

• Desempenho do Consultor de Depuração: O consultor produziu os ganhos mais significativos. Para o AIDE, ele quase dobrou a contagem de medalhas de ouro (de 22 para 38) e eliminou todas as 17 execuções de linha de base que falharam, elevando a taxa de submissão válida de 81% para 100%. Para o ML-Master, as medalhas de ouro aumentaram de 18 para 29. Crucialmente, a mediana do número de etapas para uma primeira submissão válida caiu de 6 para 0, pois o consultor forneceu restrições ambientais antes do agente escrever sua primeira linha de código.
• Ajuste de Hiperparâmetros: A orientação explícita melhorou significativamente o desempenho do AIDE em tarefas onde a linha de base sub-investiu em ajuste (ex: melhoria de +0.388 no score em S5E8). No entanto, a mesma intervenção de loop de controle degradou o desempenho do ML-Master devido a interações com sua arquitetura de memória existente, destacando que intervenções de arcabouço não são universalmente transferíveis.
• Amostragem de Thompson: A TS melhorou significativamente a estabilidade. Em um estudo controlado no AIDE, reduziu as execuções nulas (execuções que não produzem resultado) em 54,5% (de 33 para 15) em comparação com uma linha de base com aumento de elaboração, mas sem TS, sem perda no desempenho de pico. No MLEvolve, a TS venceu ou empatou em 6 de 9 competições.
• Diagnóstico de EDA: O estudo revelou que os agentes atuais não agem significativamente sobre a EDA. Em execuções adversárias, o AIDE reconheceu a EDA injetada em apenas 21% dos casos e permitiu que ela afetasse a seleção de características em apenas 5%. As diferenças de desempenho induzidas pela injeção de EDA foram estatisticamente insignificantes, indicando uma falha em integrar insights analíticos em decisões de downstream.

Significância e Alegações

O artigo afirma que grandes ganhos no desempenho de agentes de autopesquisa são alcançáveis através do design agêntico isoladamente, mantendo o modelo de linguagem subjacente fixo. Os autores argumentam que os agentes atuais operam bem abaixo do teto permitido por seus LLMs devido a ineficiências no gerenciamento de memória, estratégia de busca e loops de controle.

Principais conclusões incluem:

• Memória Global é Crítica: Separar fatos globais (ex: restrições de API, configuração de ambiente) da exploração de ramos locais reduz a redundância e permite que o agente se comporte como uma entidade unificada, em vez de uma coleção de trabalhadores isolados.
• Confiabilidade como Objetivo de Design: Uma parte significativa das execuções de agentes produz nenhum resultado. Os autores argumentam que tornar os agentes dependentes (reduzindo execuções nulas) é tão importante quanto melhorar o desempenho de pico, especialmente conforme as tarefas se tornam mais caras.
• Interações de Arcabouço: Intervenções não são "plug-and-play". A eficácia de um arcabouço específico (como a imposição de HPO) depende da interação com a memória e a arquitetura de raciocínio subjacente do agente.

Os autores concluem que, à medida que os sistemas de autopesquisa assumem papros mais complexos (geração de hipóteses, design de experimentos), tratar memória, diversidade e confiabilidade como objetivos de primeira classe do design de agentes é essencial para fechar a lacuna entre as capacidades atuais e o potencial dos modelos subjacentes.