BootLoops: an LLM-driven toolkit for exact quantitative science

Durante a maior parte da história da computação científica, um ser humano escreveria um programa, sabendo exatamente o que ele faz, e então um computador o executaria. Mais tarde, o paradigma mudou: um humano especificaria a arquitetura, um computador ajustaria uma rede neural aos dados e o humano interpretaria os resultados. Agora, uma nova mudança está em curso. Um modelo de linguagem de grande escala, atuando como um agente semiautônomo, pode projetar e escrever o programa, executá-lo e, em seguida, revisar e interpretar a resposta por si mesmo. O potencial de tais sistemas parece ilimitado, mas uma questão fundamental permanece: como os humanos podem ser maximamente produtivos usando esses agentes? A resposta reside em conectar campos distantes. Métodos desenvolvidos para a física de partículas podem resolver problemas na ecologia, ou ferramentas da análise numérica poderiam esclarecer limiares regulatórios na saúde pública, mas poucas pessoas conhecem ambos os lados suficientemente bem para fazer a conexão. Um modelo de linguagem de grande escala, tendo lido tudo, conhece ambos.

Este artigo apresenta o BootLoops, um conjunto de ferramentas projetado para aproveitar essa amplitude de conhecimento. É uma coleção de programas de computador especializados que um modelo de linguagem pode operar e estender para realizar ciência exata e quantitativa. O conjunto de ferramentas reúne métodos da física de colisores, matemática experimental e álgebra computacional para resolver problemas que geralmente são estimados com aproximações ou computados com números de ponto flutuante que escondem erros de arredondamento. Em vez de adivinhar ou estimar, o BootLoops permite que o modelo compute respostas como números racionais exatos, prove que uma solução existe ou não existe, e realize cálculos com limites de erro garantidos. O objetivo não é substituir os cientistas humanos, mas dar a eles uma maneira de usar ferramentas de um campo para resolver problemas em outro, transformando conexões que são difíceis para os humanos fazerem em operações rotineiras.

O núcleo do trabalho envolve um modelo de linguagem de grande escala rodando em um loop, emitindo comandos para executar programas e ler sua saída. Diante de um cálculo difícil, o modelo planeja as etapas, seleciona as ferramentas certas do conjunto de ferramentas e as executa. Se uma ferramenta estiver faltando, o modelo escreve uma nova rotina, testa-a e a adiciona à coleção. Os programas em si computam cada número e símbolo; o modelo nunca adivinha um dígito. O conjunto de ferramentas persiste através de diferentes problemas, crescendo à medida que novos métodos são adicionados. Inclui programas que reduzem integrais complexos a uma base finita, resolvem equações diferenciais e ajustam constantes exatas a números de alta precisão. Alguns desses programas são códigos públicos adotados da física e da matemática, enquanto outros foram escritos do zero especificamente para este projeto. No total, aproximadamente cem novos programas foram escritos apenas para lidar com as computações descritas no artigo.

A primeira grande aplicação do BootLoops é o cálculo de integrais de Feynman, que descrevem como partículas se espalham e interagem. Por décadas, físicos as computaram por integração direta ou por estimá-las ponto a ponto. O BootLoops adota uma abordagem diferente, usando um método chamado "bootstrap". O modelo primeiro identifica a forma geométrica definida pelo problema, que pode ser uma esfera simples, uma curva elíptica ou uma forma complexa conhecida como variedade de Calabi-Yau. Esta geometria dita o tipo de funções que podem descrever a resposta. O modelo então constrói uma fórmula geral com coeficientes desconhecidos e usa amostras numéricas de alta precisão para ajustar esses coeficientes. O resultado é uma resposta em forma fechada, uma expressão matemática precisa, em vez de uma lista de números. O autor computou trinta dessas integrais, variando de diagramas de um loop simples a estruturas complexas de quatro loops. Quinze delas eram conhecidas na literatura, e as outras quinze eram novas, sem computação prévia encontrada. Cada resultado foi verificado contra uma avaliação numérica independente para trinta ou mais dígitos de precisão, garantindo que a resposta estivesse correta sem depender da intuição do modelo.

A segunda aplicação mostra como essas ferramentas da física resolvem problemas de biologia e estatística. Em campos como a biologia evolutiva, cientistas comparam diferentes árvores genealógicas de espécies para ver qual delas melhor explica os dados de DNA. Isso requer o cálculo de uma "evidência Bayesiana", um número que representa a probabilidade dos dados sob uma árvore específica. Tradicionalmente, isso é estimado usando métodos de Monte Carlo, que são lentos e trazem seus próprios erros estimados. O BootLoops reconhece que a matemática para essas integrais de evidência biológica é idêntica à matemática para integrais de Feynman. Ao aplicar as mesmas técnicas de redução e ajuste, o conjunto de ferramentas computa essas evidências como números racionais exatos. Para casos simples, a resposta é uma fração precisa. Para casos mais complexos, fornece um intervalo garantido que contém o valor verdadeiro. Isso permite que cientistas comparem árvores com certeza absoluta, algo que era anteriormente impossível com estimativas de ponto flutuante. O mesmo método é aplicado a modelos de mistura em estatística, genética de populações e biologia de célula única, onde fornece respostas exatas para problemas que geralmente dependem de simulações ruidosas.

A terceira capacidade é a habilidade de realizar uma busca exaustiva com uma prova de completude. Em muitas questões científicas, a resposta depende de verificar todos os casos possíveis, ou provar que nenhum caso de um certo tipo existe. O BootLoops pode enumerar todas as configurações em um espaço finito, como os arranjos possíveis de fluxo na teoria de cordas ou as formas ideais de agrupar dados para classificações de qualidade. Ele faz isso com uma prova rigorosa de que nada foi perdido. Se a busca encontrar uma solução, ela retorna a lista completa. Se não encontrar nenhuma solução, fornece um teorema provando que tal objeto não existe. Por exemplo, o conjunto de ferramentas foi usado para analisar a integral de Watson, um problema famoso em matemática sobre caminhadas aleatórias. Ao esgotar a classe de todas as possíveis soluções de forma fechada, o modelo provou que tal forma fechada não existe para o caso geral, um resultado que havia sido uma questão em aberto por décadas. Isso transforma uma busca que poderia ser heurística ou incompleta em uma certeza matemática.

Finalmente, o conjunto de ferramentas aborda o problema dos erros de arredondamento em cálculos padrão. Quando computadores usam aritmética de ponto flutuante, erros minúsculos se acumulam e podem levar a respostas erradas, especialmente em longas cadeias de cálculo. O BootLoops usa "aritmética de bolas" (ball arithmetic), onde cada número é tratado como um ponto médio com um raio de erro garantido. Este raio cresce ou diminui conforme os cálculos procedem, garantindo que o valor verdadeiro esteja sempre contido dentro dos limites. Se o erro se tornar grande demais para ser útil, o sistema se recusa a dar uma resposta em vez de fornecer uma errada. Este método foi usado para auditar números publicados, como limiares regulatórios para a qualidade do ar e classificações médicas. Em um caso, o conjunto de ferramentas reproduziu o cálculo para um padrão de ozônio dos EUA usando aritmética exata e descobriu que o resultado publicado dependia de como os números eram truncados, um detalhe que a aritmética de ponto flutuante havia obscurecido. Em outro, verificou os valores exatos para as classificações de estrelas do Medicare, provando que os pontos de corte publicados eram de fato otimizados.

O artigo conclui que o verdadeiro poder da inteligência artificial agêntica reside em sua capacidade de combinar conhecimento de diferentes campos. O BootLoops é uma primeira tentativa de reunir esses métodos em um único conjunto de ferramentas extensível que um modelo de linguagem possa operar. Ele não empurra as fronteiras do conhecimento humano em uma única direção, mas sim preenche as lacunas entre os campos existentes. O conjunto de ferramentas é de código aberto e projetado para crescer, com a expectativa de que cientistas adicionem novos métodos conforme forem descobertos. O autor enfatiza que, embora o modelo escreva o código e execute as ferramentas, os resultados não se baseiam no julgamento do modelo, mas na execução determinística dos programas. O trabalho demonstra que, ao reunir os algoritmos de redução da física de colisores, as integrais de evidência da estatística e os limites rigorosos da análise numérica, podemos resolver problemas de longa data com um nível de precisão e certeza que antes era inalcançável. O conjunto de ferramentas e sua documentação estão disponíveis para qualquer pessoa usar e estender, marcando um passo em direção a um futuro onde o envelope convexo do conhecimento científico humano seja totalmente explorado.