LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

Het universum op zijn kleinste schaal is geen verzameling van kleine, harde balletjes, maar een complex tapijt van velden die zich over de hele ruimte en tijd uitstrekken. Om te begrijpen hoe deeltjes zoals elektronen of quarks met elkaar interageren, gebruiken natuurkundigen een kader dat kwantumveldentheorie wordt genoemd. Het is de wiskundige taal die de Standaardmodell beschrijft, onze beste huidige kaart van de fundamentele bouwstenen van de natuur. Het werken met deze taal is echter berucht moeilijk. Het vereist het navigeren door lange ketens van logica waarbij één kleine fout in de berekening het uiteindelijke resultaat volledig kan veranderen. Decennialang was het oplossen van deze problemen het exclusieve domein van hoogopgeleide menselijke experts, die jarenlang de ingewikkelde regels van het spel hebben moeten beheersen.

Onlangs is er een nieuw soort instrument opgekomen: grote taalmodellen. Dit zijn kunstmatige intelligentiesystemen die zijn getraind op enorme hoeveelheden tekst en in staat zijn om te lezen, te schrijven en te redeneren. Ze hebben al laten zien dat ze complexe wiskundige problemen kunnen oplossen en computercode kunnen schrijven, vaak met een snelheid en nauwkeurigheid die die van menselijke experts evenaart. Dit roept een fascinerende vraag op: kunnen deze modellen hetzelfde doen voor het diepe, abstracte redeneren dat vereist is voor de theoretische natuurkunde? Kunnen ze de verraderlijke wateren van de kwantumveldentheorie bevaren, of bootsen ze slechts de schijn van begrip na zonder de inhoudelijke substantie?

Om het antwoord te vinden, heeft een team van onderzoekers van instellingen uit heel Europa en Azië een nieuwe test ontwikkeld die specifiek hiervoor is ontworpen. Ze stelden een collectie samen van vijfenzeventig uitdagende problemen, variërend van geavanceerde studies op graduate-niveau tot vroege onderzoeksfasen. Deze vragen dekken de kerngebieden van het vakgebied, van het gedrag van licht en materie tot de exotische theorieën die proberen alle krachten te verenigen. Cruciaal is dat elke vraag in deze test één enkel, correct antwoord heeft dat met wiskundige precisie kan worden gecontroleerd. De onderzoekers vroegen dertig-negen verschillende kunstmatige intelligentiemodellen om deze problemen op te lossen. Deze modellen omvatten de krachtigste systemen die momenteel beschikbaar zijn van grote technologiebedrijven, evenals verschillende open-source alternatieven die door de onderzoekscommunity zijn ontwikkeld.

De resultaten onthullen een landschap van zowel opmerkelijke bekwaamheid als hardnekkige beperkingen. De zeer sterkste modellen, de meest geavanceerde systemen die momenteel bestaan, vertoonden een verrassend niveau van vaardigheid. Ze losten de overgrote meerderheid van de problemen correct op, waarbij de beste presteerders nauwkeurigheidspercentages van boven de negentig vijf procent bereikten. Dit suggereert dat deze systemen inder je werkelijk de complexe regels van de kwantumveldentheorie hebben geleerd en de zware afleidingen kunnen uitvoeren die voorheen jaren van menselijke studie vereisten. Echter, de kloof tussen de beste en de rest is aanzienlijk. Oudere modellen, en veel van de open-source systemen, hadden aanzienlijke moeite en faalden vaak op het niveau van basisconcepten uit de natuurkunde of raakten verdwaald in de details van de afleiding.

Maar het juiste antwoord krijgen is slechts de helft van het verhaal. De onderzoekers keken ook nauw naar hoe de modellen tot hun conclusies kwamen, waarbij ze de stap-voor-stap redenering onderzochten die ze boden. Ze ontdekten een subtiele maar belangrijke fout: zelfs wanneer een model het juiste uiteindelijke antwoord produceerde, was het pad dat het beschreef om daar te komen soms onjuist. In sommige gevallen maakte het model een fout in een tussenliggende stap, maar kwam het toch op het juiste resultaat uit, alsover het het antwoord uit de trainingsdata had onthouden in plaats van het vers te hebben berekend. Deze "ongetrouwheid" betekent dat de uitleg van het model het gegeven antwoord niet werkelijk ondersteunt. Hoewel de meest capabele modellen de minste mate van dit gedrag vertoonden, was het nog steeds aanwezig, wat aangeeft dat deze systemen nog niet volledig betrouwbaar zijn in hun redenering.

De studie benadrukte ook specifieke manieren waarop deze modellen falen. Soms verwart het model de regels van het spel door een standaardformule toe te passen terwijl het probleem een specifieke, ongewone variatie vereiste. Op andere momenten maakten ze simpelweg rekenfouten of volgden ze de specifieke instructies in de prompt niet op. Deze fouten suggereren dat hoewel de modellen de algemene vorm van het onderwerp hebben geleerd, ze de rigoureuze discipline nog niet beheersen die nodig is om kleine maar fatale fouten te vermijden. Het onderzoek bevestigt dat kunstmatige intelligentie begint met het aanpakken van problemen die ooit het exclusieve domein waren van theoretisch natuurkundigen, maar het laat ook zien dat we nog niet op een punt zijn waar we deze hulpmiddelen volledig op eigen kracht kunnen vertrouwen. De reis naar kunstmatige intelligentie die werkelijk nieuwe natuurkunde kan ontdekken is in volle gang, maar er zijn nog duidelijke kloven te overbruggen voordat deze systemen als echte partners in wetenschappelijke ontdekking kunnen worden beschouwd.