HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

In de uitgestrekte, stille gangen van de moderne natuurkunde zoeken wetenschappers niet langer alleen naar nieuwe deeltjes; ze zoeken ook naar nieuwe manieren om het werk van het vinden ervan te doen. Decennialang heeft het vakgebied van de hogenergetica vertrouwd op menselijke onderzoekers om abstracte theorieën te vertalen naar concrete berekeningen, door complexe computercode te schrijven om te simuleren hoe deeltjes zich in gigantische detectoren zouden kunnen gedragen of om de resultaten van botsingen te voorspellen. Vandaag de dag is een nieuw soort werker de laboratorium binnengekomen: de artificiële intelligentie-agent. Dit zijn geen eenvoudige programma's die een rigide lijst met instructies volgen, maar geavanceerde systemen die in staat zijn tot het plannen van meerstaps-taken, het schrijven van hun eigen code, het draaien van simulaties en het corrigeren van hun eigen fouten wanneer er iets misgaat. Ze beloven het tempo van ontdekkingen te versnellen, maar ze introduceren ook een nieuwe vraag: kunnen we hen vertrouwen om het delicate, precieze werk van de wetenschap te doen? Om dit te beantwoorden, moeten onderzoekers verder gaan dan eenvoudige tests en een gecontroleerde omgeving creëren waarin ze precies kunnen zien hoe deze digitale assistenten presteren, welke hulpmiddelen ze nodig hebben en waar ze kunnen falen.

Een team van natuurkundigen en computerwetenschappers heeft een dergelijke omgeving gebouwd, een raamwerk dat zij HEPTABench noemen, ontworpen om deze AI-agenten op de proef te stellen in de specifieke wereld van de hogenergetica. Hun doel was niet alleen om te zien of een AI een probleem kon oplossen, maar om te begrijpen hoe de hulpmiddelen die het gebruikt de uitkomst veranderen. Ze zetten een reeks experimenten op waarbij dezelfde wetenschappelijke taak aan verschillende AI-systemen werd gegeven, maar met één cruciale variabele die werd gewijzigd: in sommige proeven moest de AI zijn eigen wiskundige instrumenten vanaf nul opbouwen, terwijl de AI in andere gevallen een vooraf gemaakte, geverifieerde toolkit van gespecialiseerde instrumenten kreeg overhandigd. De resultaten waren duidelijk en consistent. Wanneer de AI-agenten deze gespecialiseerde, domeinspecifieke hulpmiddelen mochten gebruiken, werd hun werk aanzienlijk nauwkeuriger en veel betrouwbaarder. De resultaten die zij produceerden lagen dichter bij de bekende waarheid, en de antwoorden die zij gaven waren veel consistenter van de ene poging naar de volgende.

De onderzoekers testten dit idee met twee zeer verschillende soorten natuurkundige problemen. Het eerste was een complexe berekening betreffende een hypothetisch deeltje dat een lange tijd blijft voortbestaan voordat het vervalt. Dit soort berekening is een basisbehoefte in het vakgebied en vereist een keten van stappen die onder meer het voorspellen omvat van hoe het deeltje wordt gecreëerd, hoe het door een detector reist en hoe groot de kans is dat het wordt waargenomen. Het team vroeg vier verschillende geavanceerde AI-systemen om deze berekening uit te voeren. In de eerste ronde kregen de systemen alleen de basiswetten van de natuurkunde en de experimentele opstelling, wat hen dwong om elk stuk code dat nodig was om de reis van het deeltje te simuleren, zelf te schrijven. In de tweede ronde kregen dezelfde systemen dezelfde taak, maar werden hen ook een set gespecialiseerde hulpmiddelen verstrekt die specifieke delen van de berekening konden afhandelen, zoals het genereren van deeltjesstromen of het berekenen van vervalwaarschijnlijkheden. Het verschil was opvallend. Elk systeem, ongeacht de onderliggende architectuur, produceerde betere resultaten wanneer het toegang had tot de gespecialiseerde hulpmiddelen. De getallen die zij berekenden, lagen dichter bij de juiste waarden, en de variatie tussen verschillende pogingen van hetzelfde systeem nam drastisch af. De AI-agenten schreven ook veel minder code, omdat ze de vertrouwde hulpmiddelen gebruikten voor het zware werk in plaats van voor elke proef het wiel opnieuw uit te vinden.

Het tweede experiment richtte zich op een ander soort uitdaging: symbolische wiskunde. Hier was de taak het afleiden van formules voor hoe deeltjes vervallen, een proces dat het manipuleren van complexe algebraïsche expressies vereist in plaats van enkel het verwerken van getallen. De onderzoekers testten een specifiek AI-model op acht verschillende vervalscenario's. Zonder de gespecialiseerde hulpmiddelen had het model enorme moeite en slaagde het slechts in een fractie van zijn pogingen. Het produceerde vaak onvolledige antwoorden of formules die niet overeenkwamen met de natuurkunde. Echter, toen hetzelfde model toegang kreeg tot een toolkit die specifiek was ontworpen voor symbolische natuurkundige berekeningen, schoot de prestatie omhoog. Het deel van de succesvolle pogingen sprong van een magere acht procent naar bijna tachtig procent. Dit toonde aan dat het bieden van de juiste hulpmiddelen een systeem dat nauwelijks functioneel was, kon transformeren in een systeem dat zeer effectief is. Interessant genoeg was een ander, krachtiger AI-model in staat om deze problemen perfect op te lossen met enkel zijn ingebouwde capaciteiten, wat suggereert dat hoewel hulpmiddelen essentieel zijn voor sommige systemen, de meest geavanceerde modellen uiteindelijk deze taken zelfstandig kunnen afhandelen.

De studie doet meer dan alleen aantonen dat hulpmiddelen helpen; het vestigt een methode om dat te bewijzen. Door elke andere factor constant te houden — de taak, het AI-model en de computermgeving — konden de onderzoekers het effect van de hulpmiddelen zelf isoleren. Ze ontdekten dat de verbetering niet alleen een kwestie was van het één keer goed krijgen; het ging om consistentie. De AI-agenten werden betrouwbaarder en produceerden resultaten die elke keer dat ze het experiment uitvoerden, dicht bij de waarheid bleven. Deze betrouwbaarheid is cruciaal voor de wetenschap, waar een enkele gelukkige gok niet genoeg is; onderzoekers moeten weten dat een resultaat standhoudt onder kritische inspectie. Het raamwerk dat zij bouwden maakt deze vorm van gedetailleerde inspectie mogelijk, waarbij elke stap die de AI zette, elk bestand dat het creëerde en elke beslissing dat het nam, wordt vastgelegd. Deze transparantie betekent dat als een resultaat in twijfel wordt getrokken, wetenschappers terug kunnen gaan om exact het pad te bekijken dat de AI heeft afgelegd om daar te komen, in plaats van alleen een definitief getal te accepteren.

De implicaties van dit werk reiken verder dan de specifieke deeltjes of berekeningen die zijn getest. Het suggereert een nieuwe manier van denken over hoe artificiële intelligentie zal worden gebruikt in de wetenschap. In plaats van te verwachten dat één alleswetende AI alles doet, ligt de toekomst wellicht in het koppelen van deze intelligente systemen aan gespecialiseerde, door mensen geverifieerde toolkits. Net zoals een menselijk natuurkundige vertrouwt op een bibliotheek van gevestigde formules en softwarepakketten om zijn werk te doen, kan een AI-agent krachtiger en betrouwbaarder worden gemaakt door hem toegang te geven tot dezelfde middelen. De onderzoekers hebben aangetoond dat deze aanpak werkt bij verschillende soorten AI en verschillende soorten natuurkundige problemen, van het simuleren van deeltjesbotsingen tot het afleiden van wiskundige formules. Het biedt een pad voorwaarts waarbij de snelheid en aanpassingsvermogen van AI worden gecombineerd met de precisie en betrouwbaarheid van door mensen ontworpen hulpmiddelen.

Uiteindelijk gaat het werk dat in dit artikel wordt gepresenteerd over het opbouwen van vertrouwen. Naarmate artificiële intelligentie meer geïntegreerd raakt in het wetenschappelijke proces, heeft de gemeenschap een manier nodig om de capaciteiten en beperkingen ervan te meten met dezelfde strengheid als voor elk ander wetenschappelijk instrument. HEPTABench biedt die meetlat. Het laat zien dat met de juiste opzet, AI-agenten kunnen worden begeleid om kwalitatief hoogwaardig, reproduceerbaar wetenschappelijk werk te leveren. De bevindingen suggereren dat de meest effectieve manier om deze systemen in de toekomst in te zetten, niet is om hen vrij te laten dwalen, maar om hen uit te rusten met de specifieke, geverifieerde hulpmiddelen die ze nodig hebben om te slagen. Deze aanpak zorgt ervoor dat de resultaten die zij produceren niet slechts slimme gissingen zijn, maar betrouwbare bijdragen aan ons begrip van het universum.