BootLoops: an LLM-driven toolkit for exact quantitative science

Gedurende het grootste deel van de geschiedenis van de wetenschappelijke computertechniek schreef een mens een programma, wetende wat het precies doet, en voerde een computer dit vervolgens uit. Later verschoof het paradigma: een mens specificeerde de architectuur, een computer paste een neuraal netwerk aan op data, en de mens interpreteerde de resultaten. Nu is er een nieuwe verschuiving gaande. Een groot taalmodel, optredend als een semi-autonome agent, kan het programma ontwerpen en schrijven, het uitvoeren, en vervolgens de antwoorden zelf beoordelen en interpreteren. Het potentieel van dergelijke systemen lijkt onbegrensd, maar een cruciale vraag blijft: hoe kunnen mensen deze agenten maximaal productief gebruiken? Het antwoord ligt in het verbinden van verre vakgebieden. Methoden ontwikkeld voor de deeltjesfysica zouden problemen in de ecologie kunnen oplossen, of instrumenten uit de numerieke analyse zouden regelgevingsdrempels in de volksgezondheid kunnen verduidelijken, maar weinig mensen kennen beide kanten goed genoeg om de verbinding te leggen. Een groot taalmodel, dat alles heeft gelezen, kent beide.

Dit artikel introduceert BootLoops, een toolkit die ontworpen is om die breedte aan kennis aan te boren. Het is een verzameling gespecialiseerde computerprogramma's die een taalmodel kan bedienen en uitbreiden om exacte, kwantitatieve wetenschap uit te voeren. De toolkit brengt methoden uit de deeltjesfysica, de experimentele wiskunde en de computeralgebra samen om problemen op te lossen die gewoonlijk met benaderingen worden berekend of met drijvende-kommagetallen die afrondingsfouten verbergen. In plaats van te gokken of te schatten, stelt BootLoops het model in staat om antwoorden te berekenen als exacte rationale getallen, te bewijzen dat een oplossing wel of niet bestaat, en berekeningen uit te voeren met gegarandeerde foutmarges. Het doel is niet om de menselijke wetenschapper te vervangen, maar om hen een manier te geven om instrumenten uit het ene veld te gebruiken om problemen in een ander veld op te lossen, waardoor verbindingen die moeilijk voor mensen te leggen zijn, veranderen in routinematige operaties.

De kern van het werk bestaat uit een groot taalmodel dat in een lus draait, waarbij commando's wordt gegeven om programma's uit te voeren en de output ervan te lezen. Wanneer het geconfronteerd wordt met een moeilijke berekening, plant het model de stappen, selecteert het de juiste instrumenten uit de toolkit en voert deze uit. Als een instrument ontbreekt, schrijft het model een nieuwe routine, test deze en voegt deze toe aan de collectie. De programma's zelf berekenen elk getal en symbool; het model gokt nooit een cijfer. De toolkit persisteert over verschillende problemen heen en groeit naarmate er nieuwe methoden worden toegevoegd. Het bevat programma's die complexe integralen reduceren tot een eindige basis, differentiaalvergelijkingen oplossen en exacte constanten aan hoogprecisiegetallen aanpassen. Sommige van deze programma's zijn publieke codes overgenomen uit de natuurkunde en wiskunde, terwijl andere specifiek voor dit project vanaf nul zijn geschreven. In totaal werden er ongeveer honderd nieuwe programma's geschreven, enkel om de in het artikel beschreven berekeningen af te handelen.

De eerste grote toepassing van BootLoops is de berekening van Feynman-integralen, die beschrijven hoe deeltjes verstrooien en interageren. Decennialang hebben natuurkundigen deze berekend door directe integratie of door ze punt voor punt te schatten. BootLoops hanteert een andere aanpak, gebruikmakend van een methode die een "bootstrap" wordt genoemd. Het model identificeert eerst de geometrische vorm die door het probleem wordt gedefinieerd, wat een eenvoudige sfeer, een elliptische curve of een complexe vorm zoals een Calabi-Yau-variëteit kan zijn. Deze geometrie bepaalt het type functies dat de oplossing kan beschrijven. Het model bouwt vervolgens een algemene formule met onbekende coëfficiënten en gebruikt hoogprecisie numerieke steekproeven om die coëfficiënten aan te passen. Het resultaat is een gesloten vorm-antwoord, een precieze wiskundige expressie, in plaats van een lijst met getallen. De auteur berekende dertig van dergelijke integralen, variërend van eenvoudige één-lus diagrammen tot complexe vier-lus structuren. Vijftien hiervan waren bekend in de literatuur, en de andere vijftien waren nieuw, zonder dat er eerder een berekening voor gevonden was. Elk resultaat werd gecontroleerd tegen een onafhankelijke numerieke evaluatie tot dertig of meer cijfers van precisie, om te garanderen dat het antwoord correct was zonder te vertrouwen op de intuïtie van het model.

De tweede toepassing laat zien hoe deze natuurkundige instrumenten problemen in de biologie en statistiek oplossen. In vakgebieden zoals de evolutionaire biologie vergelijken wetenschappers verschillende stambomen van soorten om te zien welke het DNA-data het beste verklaart. Dit vereist het berekenen van een "Bayesiaanse evidentie", een getal dat de waarschijnlijkheid van de data onder een specifieke boom representeert. Traditioneel wordt dit geschat met Monte Carlo-methoden, die traag zijn en hun eigen geschatte fouten met zich meebrengen. BootLoops herkent dat de wiskunde voor deze biologische evidentie-integralen identiek is aan de wiskunde voor Feynman-integralen. Door dezelfde reductie- en aanpassingstechnieken toe te passen, berekent de toolkit deze evidenties als exacte rationale getallen. Voor eenvoudige gevallen is het antwoord een precieze breuk. Voor complexere gevallen biedt het een gegarandeerde marge die de ware waarde bevat. Dit stelt wetenschappers in staat om bomen met absolute zekerheid te vergelijken, iets wat met drijvende-komma-schattingen voorheen onmogelijk was. Dezelfde aanpak wordt toegepast op mengmodellen in de statistiek, populatiegenetica en single-cell biologie, waar het exacte antwoorden biedt voor problemen die gewoonlijk op ruisige simulaties vertrouwen.

De derde capaciteit is het vermogen om een uitputtend onderzoek uit te voeren met een bewijs van volledigheid. Bij veel wetenschappelijke vragen hangt het antwoord af van het controleren van elk mogelijk geval, of het bewijzen dat er geen geval van een bepaalde soort bestaat. BootLoops kan elk configuratie in een eindige ruimte enumereren, zoals de mogbare arrangementen van flux in de snaartheorie of de optimale manieren om data te groeperen voor kwaliteitsbeoordelingen. Dit gebeurt met een rigoureus bewijs dat er niets is gemist. Als het onderzoek een oplossing vindt, geeft het de volledige lijst terug. Als het geen oplossing vindt, levert het een stelling die bewijst dat een dergelijk object niet bestaat. Bijvoorbeeld, de toolkit werd gebruikt om de Watson-integraal te analyseren, een beroemd probleem in de wiskunde betreffende random walks. Door de klasse van mogelijke closed-form oplossingen uit te putten, bewees het model dat er voor het algemene geval geen dergelijke closed-form bestaat, een resultaat dat decennialang een open vraag was. Dit transformeert een zoektocht die wellicht heuristisch of incompleet zou zijn, naar een wiskundige zekerheid.

Ten slotte adresseert de toolkit het probleem van afrondingsfouten in standaardberekeningen. Wanneer computers rekenen met drijvende-komma-aritmetica, kunnen minuscule fouten accumuleren en leiden tot foute antwoorden, vooral in lange ketens van berekeningen. BootLoops gebruikt "ball-aritmetica", waarbij elk getal wordt behandeld als een middelpunt met een gegarandeerde straal van fout. Deze straal groeit of krimpt naarmate de berekeningen vorderen, waardoor gegarandeerd wordt dat de ware waarde altijd binnen de grenzen valt. Als de fout te groot wordt om nuttig te zijn, weigert het systeem een antwoord te geven in plaats van een foutief antwoord te geven. Deze methode werd gebruikt om gepubliceerde getallen te auditeren, zoals regelgevingsdrempels voor luchtkwaliteit en medische beoordelingen. In één geval herhaalde de toolkit de berekening voor een Amerikaanse ozonstandaard met exacte aritmetica en stelde vast dat het gepubliceerde resultaat afhankelijk was van hoe de getallen werden afgerond, een detail dat door drijvende-komma-aritmetica verborgen was gebleven. In een ander geval verifieerde het de exacte waarden voor Medicare star ratings, waarmee werd bewezen dat de gepubliceerde afkappunten inderdaad optimaal waren.

Het artikel concludeert dat de ware kracht van agentic kunstmatige intelligentie ligt in haar vermogen om kennis uit verschillende velden te combineren. BootLoops is een eerste poging om deze methoden te bundelen in een enkele, uitbreidbare toolkit die een taalmodel kan bedienen. Het duwt niet de grenzen van de menselijke kennis in één specifieke richting, maar vult eerder de hiaten tussen bestaande velden in. De toolkit is open source en ontworpen om te groeien, met de verwachting dat wetenschappers nieuwe methoden zullen toevoegen zodra deze worden ontdekt. De auteur benadrukt dat hoewel het model de code schrijft en de instrumenten uitvoert, de resultaten niet gebaseerd zijn op het oordeel van het model, maar op de deterministische uitvoering van de programma's. Het werk demonstreert dat door de reductie-algoritmen van de deeltjesfysica, de evidentie-integralen van de statistiek en de rigoureuze grenzen van de numerieke analyse samen te brengen, we langlopende problemen kunnen oplossen met een niveau van precisie en zekerheid dat voorheen onbereikbaar was. De toolkit en de documentatie ervan zijn beschikbaar voor iedereen om te gebruiken en uit te breiden, wat een stap markeert naar een toekomst waarin de convexeomhulling van de menselijke wetenschappelijke kennis volledig wordt verkend.