Resumo Técnico: Rumo à Pesquisa de IA Automatizada com Fundamentação em Execução

Declaração do Problema

A pesquisa de IA automatizada visa alavancar Grandes Modelos de Linguagem (LLMs) para gerar, implementar e verificar ideias de pesquisa em escala, potencialmente convertendo computação em descoberta científica através de autoaperfeiçoamento recursivo. No entanto, um gargalo crítico existe: os LLMs de fronteira frequentemente geram ideias que parecem plausíveis, mas falham na execução por pesquisadores humanos ou sistemas automatizados. Embora a "fundamentação em execução" (aprender com os resultados reais da execução de código) seja uma solução promissora, não está claro se a execução automatizada é viável para problemas de pesquisa abertos e se os LLMs podem aprender efetivamente com o feedback de execução para melhorar a geração de ideias.

Metodologia

1. Sistema de Executor de Ideias Automatizado

Os autores construíram um sistema de executor automatizado de alto rendimento projetado para implementar ideias de pesquisa em linguagem natural, executar experimentos e retornar métricas de desempenho. O sistema consiste em três componentes principais (Figura 1):

• Implementador: Um servidor que recebe ideias em linguagem natural e uma base de código de referência, solicitando a um LLM de execução de código que gere um diff de código. Ele emprega um loop de auto-revisão (até 2 tentativas) para garantir que o diff possa ser aplicado com sucesso ao código base.
• Escalonador (Scheduler): Uma camada de middleware que gerencia a alocação de recursos, o download de bases de código da nuvem e a preparação de configurações de tarefas com base nos requisitos do ambiente.
• Trabalhador (Worker): Um cluster de GPUs que executa os experimentos. Após a conclusão (ou falha), ele faz o upload de logs, métricas e metadados para um bucket na nuvem para análise.

2. Ambientes de Pesquisa

Para testar o sistema em problemas realistas e intensivos em GPU, dois ambientes foram definidos:

• Pré-Treinamento (nanoGPT): Baseado no speedrun do nanoGPT. O objetivo é minimizar o tempo de relógio (wall-clock time) para atingir uma perda de validação alvo (3.28) no corpus FineWeb usando um Transformer de 124M. O sistema utiliza uma recompensa de proximidade (recíproco da perda) para busca e RL para fixar orçamentos de tempo de treinamento, reportando o tempo real apenas para as melhores soluções.
• Pós-Treinamento (GRPO): Baseado no algoritmo GRPO para raciocínio matemático. O objetivo é maximizar a acurácia de validação no conjunto de dados MATH para um modelo de 1.5B dentro de um orçamento de tempo fixo.

3. Algoritmos de Aprendizado

O estudo avalia dois métodos para aprender com o feedback de execução:

• Busca Evolutiva Guiada por Execução: Um método de otimização que mistura exploração e explotação. Em cada época, o sistema amostra um lote de ideias, as executa e usa os resultados para guar a próxima geração. Ele mantém um pool de "trajetórias positivas" (ideias que superam a linha de base) para gerar variantes (explotação), enquanto também amostra ideias novas (exploração).
• Aprendizado por Reforço (RL): O executor automatizado serve como uma função de recompensa para ajustar um modelo ideador (Qwen3-30B) usando o algoritmo GRPO. A recompensa é a acurácia de validação (pós-treinamento) ou o recíproco da perda de validação (pré-treinamento).

Principais Resultados

1. Viabilidade de Execução Automatizada

O executor automatizado implementou com sucesso uma grande fração das ideias geradas por LLMs de fronteira.

• Taxas de Execução: No ambiente de pré-treinamento, o Claude-4.5-Opus e o Claude-4.5-Sonnet alcançaram taxas de execução de 96% e 90%, respectivamente. No ambiente de pós-treinamento, as taxas foram menores (52% para GPT-5, 84% para Claude-4.5-Sonnet), mas ainda significativas.
• Desempenho da Linha de Base: Mesmo sem busca ou RL, o desempenho "melhor-de-N" (N=50) desses modelos excedeu as linhas de base originais (ex: o Claude-4.5-Sonnet alcançou 60.4% de acurácia no GRPO contra 48.0% da linha de base).

2. Desempenho da Busca Evolutiva Guiada por Execução

A busca evolutiva provou ser altamente eficiente em termos de amostras, encontrando soluções superiores em apenas dez épocas de busca:

• Pós-Treinamento: A busca encontrou um método que alcançou 69.4% de acurácia na tarefa GRPO, superando significativamente a linha de base de 48.0% e a melhor solução de especialistas humanos (68.8%) de um curso de pós-graduação de Stanford.
• Pré-Treinamento: A busca descobriu uma receita que reduziu o tempo de treinamento para 19.7 minutos para atingir a perda alvo, comparado aos 35.9 minutos da linha de base.
• Tendências de Escalonamento: O Claude-4.5-Opus exibiu uma clara tendência de escalonamento onde mais épocas de busca levaram a limites superiores mais altos. Em contraste, o Claude-4.5-Sonnet e o GPT-5 tenderam a saturar precocemente.
• Diversidade de Ideias: Os modelos geraram ideias algorítmicas substanciais (ex: mudanças arquitetônicas, novas dinâmicas de treinamento) em vez de apenas ajuste de hiperparâmetros. O Claude-4.5-Sonnet gerou significativamente mais ideias focadas em hiperparâmetros, enquanto o Opus e o GPT-5 focaram mais em inovações algorítmicas.

3. Desempenho de Aprendizado por Reforço (RL)

O RL a partir da recompensa de execução mostrou resultados mistos:

• Recompensa Média: A recompensa média do modelo ideador melhorou significativamente ao longo das épocas de treinamento (ex: a acurácia média no GRPO subiu de 0.253 para 0.343).
• Falha do Limite Superior: Crucialmente, a recompensa máxima não melhorou. O modelo falhou em descobrir ideias disruptivas que superassem o melhor desempenho inicial.
• Colapso de Modo (Mode Collapse): O RL causou a convergência do modelo em algumas poucas ideias simples e fáceis de implementar (ex: substituir RMSNorm por LayerNorm, ou aplicar Média Móvel Exponencial). Isso levou a um colapso na diversidade de ideias e a uma redução no "comprimento do pensamento" (o modelo parou de gerar traços de raciocínio complexos para maximizar a probabilidade de uma execução simples e bem-sucedida).

Significância e Alegações

O artigo afirma demonstrar a viabilidade e o potencial de fundamentar a ideação de LLMs na execução automatizada para pesquisa de IA aberta.

• Validação da Fundamentação em Execução: O estudo confirma que executores automatizados podem lidar com uma grande fração de ideias de pesquisa em linguagem natural e que a busca evolutiva pode aproveitar efetivamente o feedback de execução para encontrar soluções superiores às linhas de base humanas e aos métodos de busca padrão.
• Limitações do RL Atual: O trabalho destaca uma limitação crítica da aplicação de RL padrão à pesquisa aberta: embora melhore o desempenho médio, induz o colapso de modo, fazendo com que os modelos convirjam para ideias seguras e simples e falhem em elevar o limite superior da descoberta científica.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem abordar o colapso de diversidade no RL, melhorar a generalizabilidade das ideias descobertas e desenvolver agentes de execução mais capazes para lidar com tarefas complexas de geração de código.

O artigo conclui que, embora o feedback de execução automatizada seja um sinal poderoso para melhorar a pesquisa de IA, os algoritmos de aprendizado atuais (especificamente o RL padrão) requerem novas intervenções para manter a diversidade e explorar a "cauda longa" de ideias potencialmente disruptivas.