BootLoops: an LLM-driven toolkit for exact quantitative science

Pendant la majeure partie de l'histoire du calcul scientifique, un être humain écrivait un programme, sachant exactement ce qu'il fait, puis un ordinateur l'exécutait. Plus tard, le paradigme a changé : un humain spécifiait l'architecture, un ordinateur ajustait un réseau de neurones aux données, et l'humain interprétait les résultats. Aujourd'hui, un nouveau changement est en cours. Un grand modèle de langage, agissant comme un agent semi-autonome, peut concevoir et écrire le programme, l'exécuter, puis examiner et interpréter lui-même la réponse. Le potentiel de tels systèmes semble illimité, pourtant une question clé demeure : comment les humains peuvent-ils être maximalement productifs en utilisant ces agents ? La réponse réside dans la connexion de domaines distants. Des méthodes développées pour la physique des particules pourraient résoudre des problèmes en écologie, ou des outils issus de l'analyse numérique pourraient clarifier les seuils réglementaires en santé publique, mais peu de personnes maîtrisent les deux côtés suffisamment pour établir la connexion. Un grand modèle de langage, ayant tout lu, connaît les deux.

Ce document présente BootLoops, un ensemble d'outils conçu pour exploiter cette étendue de connaissances. Il s'agit d'une collection de programmes informatiques spécialisés qu'un modèle de langage peut manipuler et étendre pour effectuer une science exacte et quantitative. La boîte à outils rassemble des méthodes issues de la physique des collisionneurs, des mathématiques expérimentales et de l'algèbre informatique pour résoudre des problèmes qui sont habituellement estimés par des approximations ou calculés avec des nombres à virgule flottante qui cachent les erreurs d'arrondi. Au lieu de deviner ou d'estimer, BootLoops permet au modèle de calculer des réponses sous forme de nombres rationnels exacts, de prouver qu'une solution existe ou n'existe pas, et de mener des calculs avec des bornes d'erreur garanties. L'objectif n'est pas de remplacer les scientifiques humains, mais de leur donner un moyen d'utiliser des outils d'un domaine pour résoudre des problèmes dans un autre, transformant les connexions difficiles à établir pour les humains en opérations de routine.

Le cœur du travail consiste en un grand modèle de langage tournant en boucle, émettant des commandes pour exécuter des programmes et lisant leur sortie. Face à un calcul difficile, le modèle planifie les étapes, sélectionne les bons outils dans la boîte à outils et les exécute. Si un outil manque, le modèle écrit une nouvelle routine, la teste et l'ajoute à la collection. Les programmes eux-mêmes calculent chaque nombre et chaque symbole ; le modèle ne devine jamais un chiffre. La boîte à outils persiste à travers différents problèmes, s'enrichissant à mesure que de nouvelles méthodes sont ajoutées. Elle comprend des programmes qui réduisent des intégrales complexes à une base finie, résolvent des équations différentielles et ajustent des constantes exactes à des nombres de haute précision. Certains de ces programmes sont des codes publics adoptés de la physique et des mathématiques, tandis que d'autres ont été écrits de toutes pièces spécifiquement pour ce projet. Au total, environ cent nouveaux programmes ont été écrits juste pour gérer les calculs décrits dans le papier.

La première application majeure de BootLoops est le calcul des intégrales de Feynman, qui décrivent comment les particules se diffusent et interagissent. Pendant des décennies, les physiciens les ont calculées par intégration directe ou en les estimant point par point. BootLoops adopte une approche différente, utilisant une méthode appelée « bootstrap ». Le modèle identifie d'abord la forme géométrique définie par le problème, qui peut être une sphère simple, une courbe elliptique ou une forme complexe connue sous le nom de variété de Calabi-Yau. Cette géométrie dicte le type de fonctions capables de décrire la réponse. Le modèle construit ensuite une formule générale avec des coefficients inconnus et utilise des échantillons numériques de haute précision pour ajuster ces coefficients. Le résultat est une réponse sous forme fermée, une expression mathématique précise, plutôt qu'une liste de nombres. L'auteur a calculé trente de ces intégrales, allant de diagrammes simples à une boucle jusqu'à des structures complexes à quatre boucles. Quinze d'entre elles étaient connues dans la littérature, et les quinze autres étaient nouvelles, sans aucun calcul préalable trouvé. Chaque résultat a été vérifié par rapport à une évaluation numérique indépendante à trente chiffres de précision ou plus, garantissant que la réponse était correcte sans dépendre de l'intuition du modèle.

La seconde application montre comment ces outils de physique résolvent des problèmes en biologie et en statistiques. Dans des domaines comme la biologie évolutive, les scientifiques comparent différents arbres généalogiques d'espèces pour voir lequel explique le mieux les données d'ADN. Cela nécessite de calculer une « évidence bayésienne », un nombre qui représente la probabilité des données sous un arbre spécifique. Traditionnellement, cela est estimé à l'aide de méthodes de Monte Carlo, qui sont lentes et comportent leurs propres erreurs estimées. BootLoops reconnaît que les mathématiques de ces intégrales d'évidence biologique sont identiques à celles des intégrales de Feynman. En appliquant les mêmes techniques de réduction et d'ajustement, la boîte à outils calcule ces évidences sous forme de nombres rationnels exacts. Pour les cas simples, la réponse est une fraction précise. Pour les cas plus complexes, elle fournit une plage garantie contenant la valeur réelle. Cela permet aux scientifiques de comparer des arbres avec une certitude absolue, ce qui était auparavant impossible avec des estimations en virgule flottante. La même approche est appliquée aux modèles de mélange en statistiques, en génétique des populations et en biologie cellulaire, où elle fournit des réponses exactes pour des problèmes qui reposent habituellement sur des simulations bruitées.

La troisième capacité est l'aptitude à effectuer une recherche exhaustive avec une preuve de complétude. Dans de nombreuses questions scientifiques, la réponse dépend de la vérification de chaque cas possible, ou de la preuve qu'aucun cas de certain type n'existe. BootLoops peut énumérer chaque configuration dans un espace fini, comme les arrangements possibles du flux dans la théorie des cordes ou les meilleures façons de regrouper des données pour les évaluations de qualité. Il le fait avec une preuve rigoureuse que rien n'a été omis. Si la recherche trouve une solution, elle renvoie la liste complète. Si elle ne trouve aucune solution, elle fournit un théorème prouvant qu'un tel objet n'existe pas. Par exemple, la boîte à outils a été utilisée pour analyser l'intégrale de Watson, un problème célèbre en mathématiques concernant les marches aléatoires. En épuisant la classe de toutes les solutions possibles sous forme fermée, le modèle a prouvé qu'aucune telle forme fermée n'existe pour le cas général, un résultat qui était resté une question ouverte pendant des décennies. Cela transforme une recherche qui aurait pu être heuristique ou incomplète en une certitude mathématique.

Enfin, la boîte à outils traite le problème des erreurs d'arrondi dans les calculs standards. Lorsque les ordinateurs utilisent l'arithmétique à virgule flottante, de minuscules erreurs s'accumulent et peuvent conduire à de mauvaises réponses, surtout dans de longues chaînes de calcul. BootLoops utilise l'« arithmétique de balles » (ball arithmetic), où chaque nombre est traité comme un point milieu avec un rayon d'erreur garanti. Ce rayon croît ou décroît au fur et à mesure des calculs, garantissant que la valeur réelle est toujours contenue dans les bornes. Si l'erreur devient trop grande pour être utile, le système refuse de donner une réponse plutôt que de donner une réponse erronée. Cette méthode a été utilisée pour auditer des chiffres publiés, tels que les seuils réglementaires pour la qualité de l'air et les évaluations médicales. Dans un cas, l'outil a rejoué le calcul pour une norme d'ozone américaine en utilisant une arithmétique exacte et a découvert que le résultat publié dépendait de la façon dont les nombres étaient tronqués, un détail que l'arithmétique à virgule flottante avait obscurci. Dans un autre cas, il a vérifié les valeurs exactes pour les évaluations de l'étoile Medicare, prouvant que les points de coupure publiés étaient effectivement optimaux.

Le papier conclut que le véritable pouvoir de l'intelligence artificielle agentique réside dans sa capacité à combiner des connaissances de différents domaines. BootLoops est une première tentative de regrouper ces méthodes dans une boîte à outils unique et extensible. Il ne repousse pas les limites de la connaissance humaine dans une seule direction, mais comble plutôt les lacunes entre les domaines existants. La boîte à outils est open source et conçue pour croître, avec l'attente que les scientifiques y ajoutent de nouvelles méthodes à mesure qu'elles sont découvertes. L'auteur souligne que, bien que le modèle écrive le code et utilise les outils, les résultats ne reposent pas sur le jugement du modèle mais sur l'exécution déterministe des programmes. Le travail démontre qu'en réunissant les algorithmes de réduction de la physique des collisionneurs, les intégrales d'évidence de la statistique et les bornes rigoureuses de l'analyse numérique, nous pouvons résoudre des problèmes de longue date avec un niveau de précision et de certitude qui était auparavant hors de portée. La boîte à outils et sa documentation sont disponibles pour toute personne souhaitant les utiliser et les étendre, marquant une étape vers un futur où l'enveloppe convexe de la connaissance scientifique humaine sera pleinement explorée.