A-Evolve-Training: Autonomous Post-Training of a 30B Model

Resumo Técnico: A-Evolve-Training

Definição do Problema
Sistemas de pesquisa autônomos atuais, como a linha de trabalho "AI Scientist", operam em uma escala (ex: classe GPT-2, ~124M de parâmetros) onde o custo de uma única tentativa experimental é desprezível. Nesse regime, os loops podem depender de tentativas baratas, varreduras exaustivas e agentes especializados que passam estados intermediários. No entanto, o pós-treinamento de fronteira (ex: 30B+ de parâmetros) apresenta uma estrutura de custo fundamentalmente diferente: uma única execução de treinamento leva semanas em clusters de GPUs H200, e o ruído em uma única execução é limitante, em vez de passível de média. O problema central abordado é se um loop autônomo pode fechar efetivamente sob essas restrições de "fronteira", onde os movimentos que são gratuitos em pequena escala (tentativas, composição de estado) tornam-se proibitivos, e onde o espaço de busca envolve receitas complexas de código e dados, em vez de hiperparâmetros fixos.

Metodologia: O Sistema A-Evolve-Training
Os autores propõem um sistema projetado especificamente para sobreviver à estrutura de custo do pós-treinamento de fronteira. A arquitetura é construída sobre três pilares unificados pelo princípio da liberdade assimétrica: conceder zero liberdade nos eixos que devem permanecer invariantes para fins de comparabilidade, e liberdade máxima nos eixos onde a exploração cria valor.

1. Substrato de Referência Imutável:
   O sistema ancora-se em um workspace único, verificado por humanos (default/), contendo o checkpoint base, o pipeline de construção de dados e o código de treinamento/avaliação. Cada rodada deriva de este substrato imutável. Crucialmente, o substrato nunca é sobrescrito por uma receita "vencedora", e nenhuma rodada deriva do vencedor de uma rodada anterior. Isso garante que todos os candidatos sejam medidos contra o mesmo solo, evitando o desvio e a variância não observada que prejudicaram designs anteriores que utilizavam agentes especializados passando estados intermediários.

2. Trabalhadores Homogêneos e Sem Memória:
   Em vez de agentes especializados (ex: um agente de dados passando o bastão para um treinador), cada rodada lança $N=8$ agentes de tempo integral (full-stack) idênticos. Cada trabalhador é atribuído a um eixo específico para explorar (ex: mistura de dados, cronograma, filtragem) e opera independentemente, sem carregar estado entre as rodadas. Este design evita a composição de variância não observada que ocorre quando agentes constroem sobre os estados intermediários uns dos outros.

3. Agregação de Evidências ao Nível da Rodada e Promoção Apenas de Política:
   A seleção ocorre no nível da rodada, não no nível do candidato individual. Um agente coletor de "passo único" agrega os resultados de todos os trabalhadores em um relatório de esquema fixo. Um meta-agente, restringido por uma "constituição" congelada (um prompt de sistema de leitura apenas que ele não pode modificar), reescreve a política de busca contínua para a próxima rodada com base nesta evidência.

   • Mecanismo de Promoção: O sistema não promove uma receita específica para o substrato. Em vez disso, ele atualiza a política (ex: quais eixos explorar, qual deve ser a receita base, qual é o limiar de ruído). O substrato permanece estático; apenas a estratégia de busca evolui.

Principais Contribuições

• Escalonamento de Loops Autônomos para a Classe de Fronteira: O artigo relata a primeira execução de pós-treinamento autônomo de classe de fronteira conhecida publicamente, operando ao longo de várias semanas em clusters de GPU sem intervenção humana entre a configuração inicial do substrato e a submissão final.
• Mudança Arquitetônica para Ambientes de Alto Custo: Os autores demonstram que o paradigma de "agente especializado" falha em escala devido à composição de estado. Eles propõem "trabalhadores homogêneos e sem memória" e um "substrato imutável" como o padrão de design necessário para ambientes de alto custo e baixa tentativa.
• Descoberta Autônoma de Falha de Proxy: O sistema não apenas otimizou dentro de um quadro fixo; ele detectou que sua métrica de desenvolvimento interna havia se tornado um proxy enganoso para o desempenho externo. Especificamente, o loop identificou que maximizar o desempenho em um domínio de raciocínio "fraco" específico (que elevou seus scores internos a níveis recordes) não se traduzia no leaderboard externo. Consequentemente, o loop revisou autonomamente sua política de busca para reduzir o proxy interno nesse domínio enquanto melhorava o alvo externo, efetivamente falseando sua própria premissa de busca.

Resultados

• Desempenho: O modelo produzido autonomamente alcançou uma pontuação de leaderboard de hold-out de 0,86 no Desafio de Raciocínio da NVIDIA Nemotron, comparado ao score da melhor submissão humana de 0,87. Isso colocou o sistema autônomo em 8º lugar entre aproximadamente 4.000 entradas.
• Convergência: O sistema rodou por quatro rodadas, mostrando melhoria monotônica.
• Reversão Estratégica: Em rodadas posteriores, o sistema descobriu que pressionar a métrica interna (especificamente em um domínio de raciocínio fraco) não era mais o gargalo causal. Ele inverteu seu objetivo, buscando intervenções que baixassem o proxy interno enquanto melhoravam o alvo externo, um movimento que seria contra-intuitivo para um agente de otimização fixa.
• Evidência de Escalonamento: O mesmo sistema foi aplicado aos modelos Nemotron de 120B e 550B, demonstrando que o loop fecha nessas escalas, embora os autores adiem reivindicações de competitividade com receitas humanas nestes tamanhos devido à falta de baselines humanos públicos para estes casos.

Significância e Alegações
O artigo adota uma visão operacional modesta de "auto-melhoria recursiva" (RSI). Não pretende ter resolvido a RSI ou ter igualado pesquisadores humanos em um sentido geral. Em vez disso, afirma ter superado uma barreira específica e auditável: a capacidade de um sistema autônomo realizar o pós-treinamento de ponta a ponta de um modelo de classe de fronteira.

Os autores argumentam que o achado mais significativo não é o score final, mas a capacidade do sistema de revisar as regras de sua própria busca. Ao detectar que seu quadro de medição havia se tornado enganoso e mudar autonomamente o que constituía evidência (mudando de maximizar o proxy interno para otimizar o alvo externo, apesar da queda do proxy), o sistema demonstrou "descoberta" em vez de mera "otimização". Isso sugere que loops autônomos escalonados podem produzir achados que residem fora das suposições prévias de um operador sobre o que constitui evidência válida.

O artigo conclui que, embora o resultado atual seja um ponto de dado único com limitações (modelo base único, benchmark único, substrato pré-auditado), ele prova que o patamar para o pós-treinamento autônomo de fronteira é alcançável e que tais loops podem exibir comportamentos autocorretivos em relação às suas próprias estratégias de busca.