FUSION: a skill-based research agent for publicly obtainable nuclear-physics codes

In de wereld van de kernfysica bestuderen wetenschappers de kleine, dichte kernen in het hart van atomen om te begrijpen hoe materie bij elkaar blijft en hoe sterren branden. Om dit te doen, vertrouwen ze op complexe computerprogramma's die fungeren als virtuele laboratoria. Deze programma's nemen een reeks instructies die een specifieke atomaire botsing of reactie beschrijven en berekenen de waarschijnlijke uitkomst. Decennialang was het draaien van deze simulaties een delicate taak. Een onderzoeker moet de juiste software vinden, die vaak verborgen staat op een oude persoonlijke website, deze installeren op een computer die mogelijk niet compatibel is, en vervolgens een bestand met instructies schrijven dat zeer strikte, vaak obscure regels volgt. Als de regels perfect worden gevolgeerd, print de computer een resultaat. Maar als de regels met een subtiele fout worden gevolgeerd—zoals het gebruik van de verkeerde eenheid voor een afstand of de verkeerde definitie voor een straal—zal de computer nog steeds een vloeiend, plausibel ogend getal printen. Het gevaar is dat het resultaat correct lijkt, ook al is de fysica erachter foutief.

Dit is het probleem dat Jin Lei, een natuurkundige aan de Tongji Universiteit, wilde oplossen met een nieuwe tool genaamd FUSION. De naam staat voor een vaardigheidsgebaseerde onderzoekagent die is ontworpen om om te gaan met publiekelijk beschikbare kernfysische codes. In plaats van een computer te vragen om uit het hoofd te raden hoe een simulatie vanaf nul moet worden geschreven, fungeert FUSION als een rigoureuze assistent die een strikte checklist volgt. Het voert de code niet alleen uit; het verifieert of de code de juiste fysica uitvoert. Het systeem werkt door een bekend, correct voorbeeld van een berekening te nemen en dit licht aan te passen om aan de nieuwe vraag van de gebruiker te voldoen, in plaats van uit het geheugen een nieuwe set instructies te verzinnen. Voordat het ooit een resultaat aan een mens rapporteert, voert het een reeks tests uit om te garanderen dat de output met een hoge mate van precisie overeenkomt met een bekende benchmark. Als de cijfers niet precies overeenkomen zoals ze zouden moeten, stopt het systeem en geeft het de fout aan, waardoor een stille fout niet als een ontdekking wordt gepubliceerd.

De tool is gebouwd als een gelaagd systeem om de privé-onderzoeknotities van de gebruiker gescheiden te houden van de publieke software. In de kern bevat het twintig verschillende "vaardigheden" (skills), die elk gewijd zijn aan een specifief kernfysisch programma. Deze vaardigheden zijn niet zomaar eenvoudige scripts; het zijn complete pakketten die weten hoe ze de originele broncode van de auteur moeten downloaden, deze op de computer van de gebruiker moeten bouwen en in een schone omgeving moeten draaien. Elke vaardigheid bevat een bibliotheek van geverifieerde voorbeelden die al bewezen werken. Wanneer een gebruiker om een berekening vraagt, selecteert de agent het dichtstbijzijnde geverifieerde voorbeeld en past dit aan, waardoor het startpunt altijd solide is. Het bevat ook een enorme, offline collectie van meer dan 61.000 wetenschappelijke artikelen uit de afgelopen dertig jaar. Deze bibliotheek stelt de agent in staat om naar context en methoden te zoeken zonder een internetverbinding nodig te hebben, maar het is ontworpen als een referentie-instrument, niet als een bron van waarheid; de agent krijgt de instructie om altijd terug te verwijzen naar het originele artikel in plaats van te vertrouzen op de eigen samenvatting.

De makers van FUSION hebben het systeem rigoureus getest voordat ze het vrijgaven. Ze controleerden niet alleen of de software kon draaien; ze probeerden het kapot te maken. Ze gebruikten een tweede, ander computerprogramma om als criticus te fungeren, waarbij de instructies werden gelezen en de code werd uitgevoerd om verborgen gebreken te vinden. In één instantie vond dit proces negentien fouten in een enkele vaardigheid, en verdere rondes van testen brachten meer fouten aan het licht die per ongeluk waren geïntroduceerd tijdens het herstellen van de eerste fouten. Dit adversariële testen zorgde ervoor dat het systeem subtiele fouten kon opvangen, zoals een programma dat een succesvolle uitvoering rapporteert terwijl het eigenlijk is vastgelopen, of een script dat alleen faalt wanneer de taalinstellingen van de computer worden gewijzigd. Het resultaat is een collectie van twintig geverifieerde vaardigheden die een breed scala aan kernfysica beslaat, van hoe atoomkernen van elkaar weg botsen tot hoe sterren exploderen en hoe zware ionen botsen.

Om te demonstreren hoe het systeem werkt in een reëel scenario, voerde de auteur een berekening uit voor de verstrooiing van een neutron tegen een zirkoniumkern bij een specifieke energie. De agent laadde de juiste instructies voor het FRESCO-programma, een standaardinstrument voor dit type fysica. Het merkte een potentiële valkuil op: het programma en het fysieke model dat het gebruikte, definieerden de grootte van de kern op iets verschillende manieren. Als de agent de instructies simpelweg uit het geheugen had geschreven, zou het de verkeerde definitie hebben gebruikt, waardoor de kern 22 procent groter zou lijken dan hij zou moeten zijn. Deze fout zou een resultaat hebben opgeleverd dat redelijk oogt, maar fysiek onjuist is. Omdat FUSION begon vanuit een geverifieerd voorbeeld en de wiskunde controleerde, betrapte het de discrepantie en corrigeerde de instructie. Het systeem voerde vervolgens de berekening uit en vergeleek het resultaat met een tweede, totaal ander type computerprogramma. De twee programma's kwamen overeen op het antwoord tot binnen een fractie van een procent, wat bevestigde dat de berekening correct werd uitgevoerd. Ten slotte controleerde de agent een database met werkelijke metingen en stelde vast dat er nooit een experiment was uitgevoerd op exact die energie, en vergeleek de berekening in plaats daarvan met metingen genomen bij nabijgelegen energieën, om te laten zien hoe goed de theorie met de werkelijkheid overeenkomt.

Het FUSION-systeem is nu beschikbaar voor iedereen die het wil gebruiken, mits zij over een computer beschikken die in staat is de software te draaien. Het bevat de natuurkundeprogramma's zelf niet, die onder het auteursrecht van hun oorspronkelijke auteurs blijven staan, maar het biedt de brug die het mogelijk maakt om deze veilig en correct uit te voeren. Het project vertegenwoordigt een verschuiving in hoe wetenschappelijke software wordt beheerd, waarbij men beweegt van informele, op het geheugen gebaseerde kennis naar een systeem van geverifieerde, reproduceerbare stappen. Door te garanderen dat de computer niet alleen draait, maar ook de juiste fysica uitvoert, helpt FUSION wetenschappers om de stille fouten te vermijden die jarenlang onderzoek kunnen ontsporen. Het vervangt niet het oordeel van de natuurkundige, die nog steeds moet beslissen of het model bij het probleem past, maar het neemt het risico weg dat het instrument zelf faalt op een manier die als succes oogt. In een vakgebied waar een enkele verkeerde decimaal de betekenis van een ontdekking kan veranderen, biedt dit soort verificatie een nieuw niveau van vertrouwen in de cijfers die ons begrip van de atomaire wereld aansturen.