FUSION: a skill-based research agent for publicly obtainable nuclear-physics codes

In der Welt der Kernphysik untersuchen Wissenschaftler die winzigen, dichten Kerne im Herzen von Atomen, um zu verstehen, wie Materie zusammenhält und wie Sterne brennen. Zu diesem Zweck verlassen sie sich auf komplexe Computerprogramme, die als virtuelle Laboratorien fungieren. Diese Programme nehmen einen Satz von Anweisungen, der eine spezifische atomare Kollision oder Reaktion beschreibt, und berechnen das wahrscheinliche Ergebnis. Jahrzehntelang war das Ausführen dieser Simulationen eine delikate Aufgabe. Ein Forscher muss die richtige Software finden, die oft auf einer alten persönlichen Website verborgen ist, sie auf einem Computer installieren, der möglicherweise nicht kompatibel ist, und dann eine Datei mit Anweisungen schreiben, die sehr strengen, oft obskuren Regeln folgt. Wenn die Regeln perfekt befolgt werden, druckt der Computer ein Ergebnis aus. Aber wenn die Regeln mit einem subtilen Fehler befolgt werden – etwa durch die Verwendung der falschen Einheit für eine Distanz oder der falschen Definition für einen Radius – wird der Computer dennoch eine glatte, plausibel erscheinende Zahl ausgeben. Die Gefahr besteht darin, dass das Ergebnis korrekt aussieht, obwohl die Physik dahinter falsch ist.

Dies ist das Problem, das Jin Lei, ein Physiker an der Tongji University, mit einem neuen Werkzeug namens FUSION zu lösen versuchte. Der Name steht für einen kompetenzbasierten Forschungsagenten, der darauf ausgelegt ist, öffentlich zugängliche kernphysikalische Codes zu handhaben. Anstatt den Computer bitten zu lassen, eine Simulation aus dem Gedächtnis neu zu entwerfen, agiert FUSION als ein strenger Assistent, der einer strikten Checkliste folgt. Es führt den Code nicht nur aus; es verifiziert, dass der Code auch die richtige Physik ausführt. Das System arbeitet, indem es ein bekanntes, korrektes Beispiel einer Berechnung nimmt und dieses leicht modifiziert, um es an die neue Frage des Benutzers anzupassen, anstatt aus dem Gedächtnis einen neuen Satz von Anweisungen zu erfinden. Bevor es jemals ein Ergebnis an einen Menschen meldet, führt es eine Reihe von Tests durch, um sicherzustellen, dass die Ausgabe einem bekannten Benchmark mit einem hohen Grad an Präzision entspricht. Wenn die Zahlen nicht exakt so übereinstimmen, wie sie sollten, stoppt das System und markiert den Fehler, wodurch verhindert wird, dass ein stiller Fehler als Entdeckung veröffentlicht wird.

Das Werkzeug ist wie ein geschichtetes System aufgebaut, um die privaten Forschungsnotizen des Benutzers von der öffentlichen Software zu trennen. In seinem Kern enthält es zwanzig verschiedene „Skills“ (Fähigkeiten), von denen jeder einem spezifischen kernphysikalischen Programm gewidmet ist. Diese Skills sind nicht nur einfache Skripte; sie sind vollständige Pakete, die wissen, wie man den ursprünglichen Quellcode vom Autor herunterlädt, ihn auf dem Computer des Benutzers baut und ihn in einer sauberen Umgebung ausführt. Jeder Skill beinhaltet eine Bibliothek verifizierter Beispiele, von denen bereits bewiesen wurde, dass sie funktionieren. Wenn ein Benutzer eine Berechnung anfordert, wählt der Agent das am nächsten liegende verifizierte Beispiel aus und passt es an, wodurch sichergestellt wird, dass der Ausgangspunkt immer solide ist. Er enthält zudem eine massive, Offline-verfügbare Sammlung von über 61.000 wissenschaftlichen Arbeiten aus den letzten dreißig Jahren. Diese Bibliothek ermöglicht es dem Agenten, nach Kontext und Methoden zu suchen, ohne eine Internetverbindung zu benötigen, aber sie ist als Referenzwerkzeug konzipiert, nicht als Quelle der Wahrheit; der Agent ist angewiesen, immer auf das Originalpapier zu verweisen, anstatt sich auf seine eigene Zusammenfassung zu verlassen.

Die Schöpfer von FUSION testeten das System rigoros, bevor sie es freigaben. Sie prüften nicht nur, ob die Software laufen konnte; sie versuchten, sie kaputt zu machen. Sie nutzten ein zweites, anderes Computerprogramm, das als Kritiker fungierte, indem es die Anweisungen las und den Code ausführte, um versteckte Mängel zu finden. In einem Fall fand dieser Prozess neunzehn Fehler in einem einzigen Skill, und weitere Testrunden deckten weitere Fehler auf, die versehentlich beim Beheben der ersten Fehler eingeführt worden waren. Dieses adversarielle Testen stellte sicher, dass das System subtile Ausfälle erkennen konnte, wie etwa ein Programm, das einen erfolgreichen Durchlauf meldet, obwohl es abgestürzt ist, oder ein Skript, das nur fehlschlägt, wenn die Spracheinstellungen des Computers geändert werden. Das Ergebnis ist eine Sammlung von zwanzig verifizierten Skills, die ein breites Spektrum der Kernphysik abdecken, von der Streuung atomarer Kerne untereinander bis hin zum Explodieren von Sternen und der Kollision schwerer Ionen.

Um zu demonstrieren, wie das System in einem realen Szenario funktioniert, führte der Autor eine Berechnung für die Streuung eines Neutrons an einem Zirkoniumkern bei einer spezifischen Energie durch. Der Agent lud die korrekten Anweisungen für das FRESCO-Programm, ein Standardwerkzeug für diese Art von Physik. Er bemerkte eine potenzielle Falle: Das Programm und das physikalische Modell, das es verwendete, definierten die Größe des Kerns auf leicht unterschiedliche Weise. Hätte der Agent die Anweisungen einfach aus dem Gedächtnis geschrieben, hätte er die falsche Definition verwendet, was den Kern um 22 Prozent größer erscheinen ließe, als er sein sollte. Dieser Fehler hätte ein Ergebnis produziert, das vernünftig aussah, aber physikalisch inkorrekt war. Da FUSION jedoch von einem verifizierten Beispiel ausging und die Mathematik überprüfte, erkannte es die Diskrepanz und korrigierte die Anweisung. Das System führte dann die Berechnung aus und verglich das Ergebnis mit einem zweiten, völlig anderen Typ von Computerprogramm. Die beiden Programme stimmten innerhalb eines winzigen Bruchteils eines Prozents überein, was bestätigte, dass die Berechnung korrekt durchgeführt wurde. Schließlich prüfte der Agent eine Datenbank mit realen Messwerten und stellte fest, dass noch nie ein Experiment bei genau dieser Energie durchgeführt wurde, und berichtete stattdessen über das Fehlen von Daten und verglich die Berechnung stattdessen mit Messungen bei benachbarten Energien, um zu zeigen, wie gut die Theorie mit der Realität übereinstimmt.

Das FUSION-System steht nun jedem zur Verfügung, der über einen Computer verfügt, der in der Lage ist, die Software auszuführen. Es enthält nicht die Physikprogramme selbst, welche unter dem Urheberrecht ihrer ursprünglichen Autoren stehen, aber es bildet die Brücke, die es ermöglicht, diese sicher und korrekt auszuführen. Das Projekt stellt eine Verschiebung in der Verwaltung wissenschaftlicher Software dar, weg von informellem, gedächtnisbasiertem Wissen hin zu einem System aus verifizierten, reproduzierbaren Schritten. Indem es sicherstellt, dass der Computer nicht nur läuft, sondern auch die richtige Physik ausführt, hilft FUSION Wissenschaftlern, die stillen Fehler zu vermeiden, die jahrelange Forschung ruinieren können. Es ersetzt nicht das Urteilsvermögen des Physikers, der immer noch entscheiden muss, ob das Modell zum Problem passt, aber es nimmt das Risiko, dass das Werkzeug selbst auf eine Weise scheitert, die wie Erfolg aussieht. In einem Bereich, in dem ein einzlich falsch gesetztes Dezimalzeichen die Bedeutung einer Entdeckung verändern kann, bietet diese Art der Verifizierung ein neues Maß an Vertrauen in die Zahlen, die unser Verständnis der atomaren Welt vorantreiben.