BootLoops: an LLM-driven toolkit for exact quantitative science

In den meisten Epochen der wissenschaftlichen Computertechnik schrieb ein Mensch ein Programm, wusste genau, was es tut, und dann führte ein Computer es aus. Später verschob sich das Paradigma: Ein Mensch spezifizierte die Architektur, ein Computer passte ein neuronales Netz an Daten an, und der Mensch interpretierte die Ergebnisse. Nun vollzieht sich ein neuer Wandel. Ein großes Sprachmodell, das als semi-autonomer Agent fungiert, kann das Programm entwerfen und schreiben, es ausführen und anschließend die Antwort selbst überprüfen und interpretieren. Das Potenzial solcher Systeme scheint unbegrenzt, doch eine entscheidende Frage bleibt: Wie können Menschen diese Agenten maximal produktiv nutzen? Die Antwort liegt in der Verbindung entfernter Gebiete. Methoden, die für die Teilchenphysik entwickelt wurden, könnten Probleme in der Ökologie lösen, oder Werkzeuge aus der numerischen Analysis könnten regulatorische Schwellenwerte in der öffentlichen Gesundheit klären, aber nur wenige Menschen kennen beide Seiten gut genug, um die Verbindung herzustellen. Ein großes Sprachmodell, das alles gelesen hat, kennt beide.

Dieses Paper stellt BootLoops vor, ein Toolkit, das darauf ausgelegt ist, dieses breite Wissen zu nutzen. Es ist eine Sammlung spezialisierter Computerprogramme, die ein Sprachmodell bedienen und erweitern kann, um exakte, quantitative Wissenschaft zu betreiben. Das Toolkit führt Methoden aus der Collider-Physik, der experimentellen Mathematik und der Computer-Algebra zusammen, um Probleme zu lösen, die normalerweise mit Näherungen berechnet oder mit Gleitkommazahlen berechnet werden, welche Rundungsfehler verbergen. Anstatt zu raten oder zu schätzen, ermöglicht BootLoops dem Modell, Antworten als exakte rationale Zahlen zu berechnen, zu beweisen, dass eine Lösung existiert oder nicht existiert, und Berechnungen mit garantierten Fehlergrenzen durchzuführen. Das Ziel ist nicht, menschliche Wissenschaftler zu ersetzen, sondern ihnen einen Weg zu geben, Werkzeuge aus einem Feld zu nutzen, um Probleme in einem anderen zu lösen – und damit Verbindungen, die für Menschen schwer herzustellen sind, in Routineoperationen zu verwandeln.

Der Kern der Arbeit besteht darin, dass ein großes Sprachmodell in einer Schleife läuft, Befehle zur Ausführung von Programmen erlässt und deren Ausgabe liest. Wenn es mit einer schwierigen Berechnung konfrontiert wird, plant das Modell die Schritte, wählt die richtigen Werkzeuge aus dem Toolkit aus und führt sie aus. Wenn ein Werkzeug fehlt, schreibt das Modell eine neue Routine, testet sie und fügt sie der Sammlung hinzu. Die Programme selbst berechnen jede Zahl und jedes Symbol; das Modell rät niemals eine Ziffer. Das Toolkit bleibt über verschiedene Probleme hinweg bestehen und wächst, wenn neue Methoden hinzugefügt werden. Es umfasst Programme, die komplexe Integrale auf eine endliche Basis reduzieren, Differentialgleichungen lösen und exakte Konstanten an hochpräzise Zahlen anpassen. Einige dieser Programme sind öffentliche Codes, die aus der Physik und Mathematik übernommen wurden, während andere speziell für dieses Projekt von Grund auf neu geschrieben wurden. Insgesamt wurden etwa einhundert neue Programme geschrieben, nur um die in diesem Paper beschriebenen Berechnungen zu bewältigen.

Die erste große Anwendung von BootLoops ist die Berechnung von Feynman-Integralen, die beschreiben, wie Teilchen streuen und interagieren. Jahrzehntelang haben Physiker diese durch direkte Integration oder durch punktweise Schätzung berechnet. BootLoops verfolt einen anderen Ansatz und nutzt eine Methode namens „Bootstrap“. Das Modell identifiziert zuerst die geometrische Form, die durch das Problem definiert ist, welche eine einfache Sphäre, eine elliptische Kurve oder eine komplexe Form wie eine Calabi-Yau-Mannigfaltigkeit sein könnte. Diese Geometrie bestimmt die Art von Funktionen, die die Antwort beschreiben können. Das Modell baut dann eine allgemeine Formel mit unbekannten Koeffizienten auf und verwendet hochpräzise numerische Stichproben, um diese Koeffizienten anzupassen. Das Ergebnis ist eine geschlossene Form, ein präziser mathematischer Ausdruck, statt einer Liste von Zahlen. Der Autor berechnete dreißig solcher Integrale, die von einfachen Ein-Schleifen-Diagrammen bis hin zu komplexen Vier-Schleifen-Strukturen reichen. Fünfzehn davon waren in der Literatur bekannt, und die anderen fünfzehn waren neu, ohne dass zuvor eine Berechnung gefunden wurde. Jedes Ergebnis wurde gegen eine unabhängige numerische Evaluierung mit dreißig oder mehr Nachkommastellen geprüft, um sicherzustellen, dass die Antwort korrekt war, ohne sich auf die Intuition des Modells zu verlassen.

Die zweite Anwendung zeigt, wie diese physikalischen Werkzeuge Probleme in der Biologie und Statistik lösen. In Feldern wie der Evolutionsbiologie vergleichen Wissenschaftler verschiedene Stammbäume von Arten, um zu sehen, welcher den DNA-Daten am besten entspricht. Dies erfordert die Berechnung einer „Bayesschen Evidenz“, einer Zahl, die die Wahrscheinlichkeit der Daten unter einem spezifischen Baum darstellt. Traditionell wird dies mittels Monte-Carlo-Methoden geschätzt, die langsam sind und eigene Schätzfehler mit sich bringen. BootLoops erkennt, dass die Mathematik für diese biologischen Evidenz-Integrale identisch mit der Mathematik für Feynman-Integrale ist. Durch die Anwendung derselben Reduktions- und Anpassungstechniken berechnet das Toolkit diese Evidenzen als exakte rationale Zahlen. In einfachen Fällen ist die Antwort ein präziser Bruch. In komplexeren Fällen liefert es einen garantierten Bereich, der den wahren Wert enthält. Dies ermöglicht es Wissenschaftlern, Bäume mit absoluter Gewissheit zu vergleichen, was mit Gleitkommatschätzungen bisher unmöglich war. Derselbe Ansatz wird auf Mischmodelle in der Statistik, Populationsgenetik und Einzelzellbiologie angewandt, wo er exakte Antworten für Probleme liefert, die normalerweise auf verrauschten Simulationen beruhen.

Die dritte Fähigkeit ist die Fähigkeit, eine erschöpfende Suche mit einem Vollständigkeitsbeweis durchzuführen. In vielen wissenschaftlichen Fragen hängt die Antwort davon ab, jeden möglichen Fall zu prüfen oder zu beweisen, dass kein Fall einer bestimmten Art existiert. BootLoops kann jede Konfiguration in einem endlichen Raum enumerieren, wie etwa die möglichen Anordnungen des Flusses in der Stringtheorie oder die optimalen Wege, Daten für Qualitätsbewertungen zu gruppieren. Dies geschieht mit einem rigorosen Beweis, dass nichts übersehen wurde. Wenn die Suche eine Lösung findet, gibt sie die vollständige Liste zurück. Wenn sie keine Lösung findet, liefert sie ein Theorem, das beweist, dass ein solches Objekt nicht existiert. Beispielsweise wurde das Toolkit verwendet, um das Watson-Integral zu analysieren, ein berühmtes Problem in der Mathematik bezüglich Random Walks. Durch die erschöpfende Untersuchung der Klasse aller möglichen geschlossenen Lösungen bewies das Modell, dass für den allgemeinen Fall keine solche geschlossene Form existiert – ein Ergebnis, das jahrzehntelang eine offene Frage war. Dies transformiert eine Suche, die vielleicht heuristisch oder unvollständig gewesen wäre, in eine mathematische Gewissheit.

Schließlich adressiert das Toolkit das Problem der Rundungsfehler in Standardberechnungen. Wenn Computer Gleitkommaarithmetik verwenden, summieren sich winzige Fehler auf und können zu falschen Ergebnissen führen, insbesondere in langen Berechnungsketten. BootLoops verwendet „Ball-Arithmetik“, bei der jede Zahl als Mittelpunkt mit einem garantierten Fehlerradius behandelt wird. Dieser Radius wächst oder schrumpft im Verlauf der Berechnungen, wodurch sichergestellt wird, dass der wahre Wert stets innerhalb der Grenzen liegt. Wenn der Fehler zu groß wird, um nützlich zu sein, verweigert das System die Antwort, anstatt eine falsche zu liefern. Diese Methode wurde verwendet, um veröffentlichte Zahlen zu prüfen, wie etwa regulatorische Schwellenwerte für die Luftqualität und medizinische Bewertungen. In einem Fall spielte das Toolkit die Berechnung eines US-Ozonstandards mit exakter Arithmetik nach und fand heraus, dass das veröffentlichte Ergebnis davon abhing, wie die Zahlen abgeschnitten wurden – ein Detail, das die Gleitkommaarithmetik verschleiert hatte. In einem anderen Fall verifizierte es die exakten Werte für Medicare-Sternebewertungen und bewies, dass die veröffentlichten Trennpunkte tatsächlich optimal waren.

Das Paper kommt zu dem Schluss, dass die wahre Kraft der agentischen künstlichen Intelligenz in ihrer Fähigkeit liegt, Wissen aus verschiedenen Feldern zu kombinieren. BootLoops ist ein erster Versuch, diese Methoden in einem einzigen, erweiterbaren Toolkit zu bündeln, das ein Sprachmodell bedienen kann. Es verschiebt nicht die Grenzen des menschlichen Wissens in eine einzige Richtung, sondern füllt eher die Lücken zwischen bestehenden Feldern. Das Toolkit ist Open Source und darauf ausgelegt, zu wachsen, mit der Erwartung, dass Wissenschaftler neue Methoden hinzufügen, sobald diese entdeckt werden. Der Autor betont, dass das Modell zwar den Code schreibt und die Werkzeuge ausführt, die Ergebnisse jedoch nicht auf dem Urteilsvermögen des Modells basieren, sondern auf der deterministischen Ausführung der Programme. Die Arbeit zeigt, dass wir durch die Zusammenführung von Reduktionsalgorithmen der Collider-Physik, den Evidenz-Integralen der Statistik und den rigorosen Grenzen der numerischen Analysis Probleme mit einer Präzision und Gewissheit lösen können, die zuvor unerreichbar waren. Das Toolkit und seine Dokumentation stehen jedem zur Nutzung und Erweiterung zur Verfügung und markieren einen Schritt in Richtung einer Zukunft, in der die konvexe Hülle des menschlichen wissenschaftlichen Wissens vollständig erschlossen wird.