Resumo Técnico: GEAR (AutoPesquisa Genética)

Declaração do Problema

Agentes de pesquisa autônomos, exemplificados por sistemas como o AutoResearch, demonstraram a capacidade de propor, executar e comprometer experimentos de aprendizado de máquina sem supervisão humana. No entanto, a arquitetura predominante baseia-se em escalada de colina de único incumbente: o agente mantém um único artefato ativo, edita-o, avalia o resultado e retém a alteração apenas se ela melhorar o desempenho atual mais alto.

Essa estratégia apresenta uma limitação estrutural. Ao descartar qualquer experimento que não supere imediatamente o incumbente atual, o sistema perde prematuramente sinais de busca valiosos, incluindo:

• Ótimos locais complementares que podem ser fortes em dimensões diferentes (por exemplo, eficiência versus desempenho bruto).
• Ideias parcialmente bem-sucedidas que poderiam ser combinadas com outras descobertas.
• Insights acumulados de diversas direções de pesquisa.

Consequentemente, esses agentes frequentemente convergem rapidamente para um ótimo local e falham em fazer progresso adicional ao longo de horizontes mais longos, apesar de possuírem orçamentos computacionais significativos restantes.

Metodologia: GEAR

Para abordar essas limitações, os autores introduzem o GEAR (AutoPesquisa Genética), um controlador de busca plug-and-play que substitui a escalada de colina de único incumbente por uma busca de fronteira baseada em população sobre estados de pesquisa. O GEAR opera no mesmo ambiente experimental que o AutoResearch (treinar um modelo de linguagem no estilo GPT-2 para minimizar bits por byte de validação em um orçamento fixo de GPU), mas altera fundamentalmente a dinâmica de busca.

Mecanismos Principais

1. Fronteira de Elite: Em vez de um único incumbente, o GEAR mantém uma população limitada de nós "elite". Cada nó armazena:
   • As alterações específicas de código (commit).
   • Métricas medidas (bpb, VRAM, contagem de parâmetros).
   • Parentesco e histórico de mutação/cruzamento.
   • Metadados descritivos (o que foi tentado, função e estatísticas de produtividade).
2. Funções: A fronteira é estruturada para manter a diversidade através de três funções atribuídas:
   • MELHOR: O nó com o menor bpb.
   • LEVE: O nó com o menor uso de memória.
   • DIVERSO: Um nó com uma descrição materialmente diferente de todos os outros elites, garantindo que linhas distintas de investigação permaneçam ativas.
3. Operadores de Busca:
   • Mutação: O agente propõe uma alteração no código de um único pai (por exemplo, arquitetura, otimizador, hiperparâmetros).
   • Cruzamento: O agente sintetiza um filho transplantando uma ideia coerente de um pai secundário ($p_2$) para a base de código de um pai primário ($p_1$). $p_2$ é selecionado para ser maximamente complementar a $p_1$.
4. Seleção de Pais e Promoção:
   • Os pais são selecionados com base em uma pontuação composta que equilibra produtividade (sucesso histórico dos filhos), novidade local (distância de Jaccard das descrições) e cobertura global (raridade da combinação função/categoria).
   • As regras de promoção priorizam novos melhores globais, melhorias sobre o elite mais fraco, eficiência de memória e preservação da diversidade.

Três Variantes

O artigo avalia três implementações da política de busca genética para determinar o nível ótimo de estrutura:

1. GEAR-Prompt: O agente LLM gerencia a dinâmica da população, a seleção de pais e a lógica de promoção exclusivamente por meio de instruções em linguagem natural.
2. GEAR-Fixed: A política de busca é externalizada para um controlador determinístico e programático que lida explicitamente com a seleção de pais, agendamento de operadores e regras de promoção.
3. GEAR-Evolve: O próprio controlador é tratado como um artefato mutável. O agente decide, a cada iteração, se executa um experimento ou modifica o próprio código da política de busca, permitindo que a estratégia de busca evolua junto com os modelos.

Contribuições Principais

1. Estrutura GEAR: Uma política de busca genética plug-and-play que substitui a escalada de colina de único incumbente por uma fronteira limitada de estados elite, não exigindo alterações no ambiente de treinamento subjacente ou no sistema de avaliação.
2. Dissecção Sistemática dos Mecanismos: O artigo demonstra como a mutação permite exploração local diversa, enquanto o cruzamento compõe descobertas complementares entre ramos. Isso é instanciado em três formas: promptagem em linguagem natural, um controlador fixo e um controlador auto-modificável.
3. Evidência Empírica de Horizontes Estendidos: O estudo fornece evidências de que a busca de fronteira baseada em população estende o horizonte da descoberta autônoma. Diferentemente da linha de base, que esgota direções úteis precocemente, as variantes do GEAR continuam a descobrir melhorias ao longo de todo o orçamento de busca.

Resultados Experimentais

Os autores avaliaram as três variantes do GEAR contra a linha de base do AutoResearch em uma tarefa de modelagem de linguagem com orçamentos computacionais idênticos (100 experimentos, execuções de treinamento de 5 minutos em NVIDIA H100).

• Desempenho: Todas as variantes do GEAR superaram a linha de base do AutoResearch.
  • Linha de Base: Convergiu para um melhor bpb de 0,98232 após o experimento 50, sem nenhuma melhoria subsequente.
  • GEAR-Prompt: Alcançou 0,98001.
  • GEAR-Fixed: Alcançou 0,97914.
  • GEAR-Evolve: Alcançou o menor bpb de 0,97658.
• Progresso Sustentado: Enquanto a linha de base estagnou no primeiro quarto dos experimentos, as variantes do GEAR continuaram a melhorar em cada trimestre subsequente. O GEAR-Evolve, em particular, mostrou ganhos significativos no segundo trimestre (melhoria de 9,95 mbpb) e manteve progresso constante.
• Eficiência e Composição:
  • GEAR-Evolve produziu um modelo substancialmente mais leve (33,5 GB de VRAM versus 60+ GB para os outros) ao descobrir uma estratégia composta: reduzir o tamanho do lote para liberar VRAM, o que então permitiu a escalabilidade da profundidade do modelo.
  • Ganhos Composicionais: A estrutura de fronteira permitiu que os agentes preservassem ideias "falhas" (por exemplo, aumentar a profundidade) que mais tarde se tornaram viáveis quando combinadas com outras descobertas (por exemplo, tamanho de lote reduzido). Isso permitiu a escalabilidade bem-sucedida da profundidade (profundidade $\ge$ 10) que a linha de base não conseguiu alcançar consistentemente.
• Qualidade do Cruzamento: Variantes com controladores externalizados (Fixed e Evolve) produziram cruzamentos significativamente de maior qualidade. O GEAR-Prompt frequentemente reutilizava os mesmos pares de pais, enquanto os controladores impunham complementaridade, resultando em taxas de promoção de elite de ~71-72% em comparação com 14% para a variante baseada em prompt.
• Evolução da Política: O GEAR-Evolve modificou com sucesso seu próprio código de controlador seis vezes para corrigir sugestões de cruzamento degeneradas (por exemplo, bloquear cruzamentos entre ancestrais diretos, melhorar o rastreamento de ancestralidade), demonstrando o valor de uma política de busca mutável.

Significado e Alegações

O artigo alega que equipar agentes de pesquisa autônomos com estrutura de população explícita e políticas de busca mutáveis estende significativamente sua capacidade de progresso sustentado.

Os autores argumentam que a transição da escalada de colina de único incumbente para a busca de fronteira baseada em população aborda a convergência prematura que limita os agentes atuais. Ao preservar ideias parcialmente bem-sucedidas, reavaliar ramos complementares e recombinar alterações úteis, o GEAR evita a "armadilha do ótimo local". A progressão do GEAR-Prompt para o GEAR-Evolve sugere que a transição de instruções por prompt para controladores fixos e, finalmente, para controladores auto-evolutivos, transforma comportamentos opcionais (como manutenção da diversidade) em mecanismos obrigatórios, levando a uma descoberta autônoma mais forte e eficiente em termos de amostras.