Resumo Técnico: Escalonamento Estruturado da Descoberta de IA em Diversos Domínios Científicos

Declaração do Problema

A descoberta científica frequentemente requer ciclos iterativos de proposição, teste e refinamento de soluções candidatas. Embora os Grandes Modelos de Linguagem (LLMs) possam participar desses loops, simplesmente escalar o número de tentativas (por exemplo, através de rastros de raciocínio mais longos ou amostragem paralela mais intensa) não garante progresso. Buscas paralelas podem duplicar esforços, e o refinamento iterativo pode ficar preso em direções subótimas. O desafio central identificado pelo autor não é meramente escalar a descoberta impulsionada por IA, mas sim estruturar esse escalonamento para que os sinais de avaliação se acumulem ao longo do tempo. O artigo questiona: Como os loops de descoberta impulsionados por IA podem ser escalados de forma estruturada para acelerar as descobertas científicas?

Metodologia: SIMPLETES

O autor introduz o SIMPLETES (Simple Test-time Evaluation-driven Scaling), um framework projetado para organizar a alocação de consultas de avaliadores e o reuso de históricos avaliados. Diferente de sistemas que dependem de coordenação de agentes complexos ou ensembles de múltiplos modelos, o SIMPLETES isola a própria estrutura do loop de descoberta.

Tupla de Design Central $(C, L, K, \Phi)$

O SIMPLETES organiza o processo de busca através de quatro dimensões principais:

1. Largura Global ($C$): Executa $C$ trajetórias independentes em paralelo. Isso evita o efeito de "aprisionamento" (lock-in), onde escolhas precoces enviesam uma única trajetória profunda, permitindo que diversas linhas de investigação amadureçam sem influenciar umas às outras prematuramente.
2. Profundidade de Refinamento ($L$): Cada trajetória avança através de $L$ etapas de refinamento. O feedback se acumula dentro de uma trajetória, permitindo que as tentativas posteriores construam sobre as anteriores.
3. Tamanho de Amostra Local ($K$): Em cada etapa, o modelo gera $K$ soluções candidatas. Apenas o candidato com a maior pontuação é comprometido ao histórico da trajetória. Isso mitiga o ruído inerente aos outputs de LLMs, impedindo que candidatos fracos ou não executáveis corrompam os refinamentos subsequentes.
4. Construtor de Proposta ($\Phi$): Um mecanismo que seleciona e comprime soluções anteriores úteis, falhas e feedbacks para o próximo prompt. O $\Phi$ utiliza uma variante baseada em grafos da regra PUCT para selecionar nós históricos que pontuaram bem ou que levaram a descendentes fortes, enquanto também resume falhas recorrentes (ex: erros de compilação) para direcionar o modelo para longe de direções improdutivas.

O orçamento total de consultas de avaliador é $N = C \times L \times K$. O framework trata a alocação deste orçamento como a principal alavanca de escalonamento, em vez de aumentar os parâmetros do modelo ou os dados de treinamento.

Pós-treinamento ao Nível da Trajetória

Para abordar a limitação do pós-treinamento padrão (que recompensa pontuações imediatas e pode desencorajar "falhas" exploratórias que levam a avanços), o autor propõe o pós-treinamento ao nível da trajetória.

• Atribuição de Crédito: Em vez de recompensar passos individuais com base em sua pontuação imediata, o modelo é treinado no resultado final de toda a trajetória.
• Mecanismo: Trajetórias que alcançam uma pontuação no topo de $R\%$ recebem um peso de $w=1$, enquanto outras recebem $w=0$. O modelo é ajustado para maximizar a verossimilhança de gerar o raciocínio e as soluções que levaram a esses resultados finais de alta pontuação.
• Objetivo: Isso treina o modelo para otimizar para avanços de longo horizonte, em vez de ganhos imediatos e míopes, aprendendo efetivamente a "buscar por soluções fortes eventuais".

Principais Contribuições e Resultados

O autor aplicou o SIMPLETES a 28 problemas de descoberta abertos em cinco domínios científicos diversos usando um único modelo de código aberto fixo (gpt-oss-120b). O framework alcançou resultados de Estado da Arte (SOTA) em todos os domínios, frequentemente superando sistemas que utilizam modelos proprietários ordens de magnitude maiores.

1. Compilação de Circuitos Quânticos

• Tarefa: Otimizar o roteamento de qubits para dispositivos de átomos neutros zoneados e supercondutores para minimizar o overhead (portas SWAP) e o tempo de execução.
• Resultados:
  • Supercondutor: Reduziu o overhead de SWAP adicionado em 21,7% vs. SABRE e 14,9% vs. LightSABRE em média. Em benchmarks específicos (Q20), as reduções atingiram 24,5%.
  • Átomo Neutro: Reduziu o tempo total de execução em 33,2% (média geométrica) comparado às baselines de estilo ZAC.

2. Design de Trajetória de Astrodinâmica

• Tarefa: Projetar trajetórias de espaço profundo com baixo consumo de combustível usando assistências gravitacionais e manobras no espaço profundo (DSMs).
• Resultados: Otimizadores evoluídos reduziram os custos propulsivos em 2,1% a 23,1% em cinco janelas de missão históricas (Mariner 10, Voyager 2, Galileo, Cassini, Rosetta) comparados a referências construídas a partir de sequências de encontros históricos.
• Descoberta: Sintetizou uma trajetória Terra–Vênus–Terra–Terra–Júpiter viável para uma janela de lançamento de 2028–2030 sem DSMs intermediários.

3. Algoritmos Científicos

• Solucionador de Caminho Lasso: Descobriu um solucionador consciente da geometria que é 2,17× mais rápido que o glmnet projetado por especialistas e 14,08× mais rápido que o sklearn em datasets do mundo real, mantendo garantias estritas de correção. O solucionador alterna dinamicamente entre LARS homotopy e descida de coordenadas com base na geometria do problema.
• Atividade Neural de Cérebro Inteiro: Descobriu um preditor para ZAPBench (atividade neural de zebrafish) que reduziu o Erro Médio Absoluto (MAE) em 8,5% em um horizonte de 32 passos comparado ao SOTA anterior (ERA), superando tanto resultados impulsionados por modelos proprietários quanto baselines de U-Net volumétrica.
• Denoising de RNA-seq de Célula Única: Alcançou um score de denoising de 0,74 no dataset hold-out Tabula Muris Senis Lung, superando o TTT-Discover (0,73).

4. Fundações de IA

• Otimização de Kernel de GPU: Descobriu o kernel TriMul mais rápido relatado (central para o AlphaFold3) com uma latência de 1,122 ms em H100, superando submissões de especialistas em Triton (1,140 ms) e baselines de IA. A implementação generalizou-se entre A100, H100 e MI300 sem necessidade de novo ajuste.
• Descoberta de Leis de Escalonamento: No SLDBench, o SIMPLETES alcançou o maior $R^2$ médio de extrapolação (0,674), superando o SLDAgent com GPT-5 (0,572). Notavelmente, teve sucesso em tarefas de extrapolação difíceis (ex: escalonamento em forma de U) onde outros agentes falharam ($R^2$ negativo).

5. Descoberta Matemática

• Resultados: Estabeleceu novos limites SOTA em quatro problemas clássicos:
  • Erdős Minimum-Overlap: Melhorou o limite de 0,380871 para 0,380868.
  • Segunda Desigualdade de Autocorrelação: Melhorou o limite de 0,961206 para 0,962694.
  • Terceira Desigualdade de Autocorrelação: Melhorou o limite de 1,454555 para 1,453675.
  • Problema Soma–Diferença: Melhorou a razão de 1,121936 para 1,143975.
• Impacto do Pós-treinamento: Com o pós-treinamento ao nível da trajetória, o modelo atingiu um novo SOTA de 1,144887 no problema Soma–Diferença, uma solução que a busca não treinada não conseguiu encontrar sob o mesmo orçamento.

Significância e Alegações

O artigo postula que o escalonamento estruturado é um mecanismo geral para o avanço da descoberta de IA científica. O autor alega que:

1. Estrutura sobre Complexidade: Um único modelo de código aberto com um loop de avaliação estruturado pode igualar ou superar sistemas construídos com modelos proprietários muito maiores e maquinaria de agentes complexos. A organização do próprio loop de avaliação é uma fonte primária de capacidade.
2. Escalonamento Impulsionado pela Avaliação: A chave para o progresso não é apenas mais computação, mas como as consultas de avaliador são distribuídas (através de largura, profundidade e seleção local) e como o feedback é reutilizado.
3. Aprendizado de Longo Horizonte: O pós-treinamento nos resultados ao nível da trajetória, em vez de recompensas imediatas, permite que os modelos aprendam a "topologia" da descoberta, permitindo que busquem caminhos não convencionais que levam a avanços.
4. Generalidade: O mesmo procedimento e configuração fixos lidaram com sucesso com problemas que variam desde verificação matemática exata e simulação física até timing de hardware empírico e predição biológica, demonstrando a versatilidade do framework.

O autor enfatiza que esses resultados foram alcançados sem coordenação multi-agente, ensembles de modelos ou atualizações de parâmetros online durante a busca (exceto para a fase específica de pós-treinamento), destacando o poder do próprio loop estruturado. Eles reconhecem limitações em relação à fidelidade do avaliador (reward hacking) e a necessidade de feedback automatizado e barato, mas argumentam que o framework fornece um caminho escalável para a descoberta em domínios onde tais avaliadores existem.