LLMs with in-context learning for Algorithmic Theoretical Physics

Dit artikel toont aan dat een frontier Large Language Model (Claude), gekoppeld aan een computer algebra-systeem (Maple) en verrijkt met in-context learning via uitgewerkte voorbeelden, complexe, algorithmische berekeningen in de theoretische fysica betrouwbaar kan uitvoeren, specifiek voor kosmologische perturbaties in gemodificeerde zwaartekrachtstheorieën.

De kern

Het Grote Idee: De "Super-Stagiair" met een Rekenmachine

Stel je een theoretisch fysicus voor als een meesterkok. Ze zijn briljant in het bedenken van nieuwe recepten (theorieën) en het begrijpen van de diepe smaken van het universum. Een groot deel van hun werk bestaat echter uit het snijden van groenten, het afmeten van kruiden en het roeren van potten voor urenlang. Dit zijn de "algorithmische berekeningen" – taken die repetitief zijn, een strikte reeks regels volgen, maar ongelooflijk saai zijn en vatbaar voor menselijke fouten.

De auteurs van dit paper vroegen zich af: Kunnen we deze kok een super-intelligente, robotische stagiair (een AI) geven die ook een perfecte rekenmachine (een Computer Algebra System) heeft om het snijden en roeren te doen?

Ze testten dit door een top-AI (Claude) te koppelen aan krachtige wiskundesoftware (Maple) om complexe fysica-problemen op te lossen over hoe het universum golft en uitdijt.

Het Experiment: Leren door Voorbeelden vs. Leren door Regelsboek

De onderzoekers wilden zien hoe ze deze AI-stagiair het beste konden leren. Ze probeerden vier verschillende "trainingshandleidingen" (contexten) om te zien welke de AI het beste hielp de problemen correct op te lossen:

1. Het "10-Voorbeelden" Kookboek: Ze gaven de AI een dik boek met 10 gedetailleerde, stap-voor-stap oplossingen voor vergelijkbare problemen.
   • Analogie: Als je een student een schoolboek geeft met 10 volledig opgeloste wiskundeproblemen voordat je vraagt om een nieuwe op te lossen.
2. Het "3-Brede" Kookboek: Ze gaven de AI een kleiner boek met slechts 3 representatieve voorbeelden.
   • Analogie: Als je een student een "spiekbriefje" geeft met drie belangrijke voorbeelden.
3. Het "Toegespitste" Kookboek: Ze namen de 3 voorbeelden en passten ze aan om specifiek de fouten aan te pakken die de AI in de eerste twee tests bleef maken.
   • Analogie: Als een leraar zegt: "Je vergeet steeds om de 1 mee te nemen bij deling; hier is een specifiek voorbeeld dat precies laat zien hoe je dat doet."
4. De "Instructie"-Handleiding: Ze gaven de AI een algemene beschrijving van de regels en methoden, maar geen opgeloste voorbeelden.
   • Analogie: Als je iemand een receptenboek geeft dat alleen zegt "meng ingrediënten en bak", zonder te laten zien hoe de eindkoek eruitziet of hoe je ze moet mengen.

De Resultaten: Wat Werkte en Wat Niet

1. Voorbeelden zijn Koning
De AI presteerde het beste wanneer het opgeloste voorbeelden had (de kookboeken). Wanneer het alleen moest vertrouwen op een algemeen regelsboek (de "Instructie"-handleiding), had het aanzienlijke moeite. Het raakte verdwaald, bedacht zijn eigen regels, of gaf helemaal op.

• De Les: De AI alleen vertellen hoe het moet denken is niet genoeg; laten zien hoe een succesvolle oplossing eruitziet is cruciaal.

2. Kwaliteit boven Kwantiteit
Interessant genoeg had de AI niet per se het dikke boek met 10 voorbeelden nodig. Een kleinere, zorgvuldig gekozen set van 3 voorbeelden werkte net zo goed, mits die voorbeelden de juiste waren.

• De Les: Een paar goede rolmodellen zijn beter dan een bibliotheek met verwarrende exemplaren.

3. De "Toegespitste" Oplossing
De beste resultaten kwamen van de "Toegespitste" aanpak. Door te kijken waar de AI faalde in de eerste tests (zoals het verkeerd interpreteren van "vlakke achtergrond" als "kosmische achtergrond" of het verprutsen van complexe wiskundestappen), voegden de onderzoekers specifieke voorbeelden toe om die exacte fouten te herstellen. Dit hielp de AI om bijna alle problemen op te lossen.

• De Les: Als je de specifieke zwakke plekken van je student kent, kun je ze oplossen met gerichte oefening.

4. De "Denk"-Modus Hielp Niet
De onderzoekers probeerden de "denk"-modus van de AI aan te zetten (waarbij het pauzeert om te redeneren voordat het antwoordt), in de hoop dat dit zou helpen bij de moeilijke logica. Het maakte niet echt verschil. De AI maakte nog steeds dezelfde fouten.

• De Les: Voor deze specifieke soorten wiskundeproblemen maakte "langer denken" de AI niet slimmer; het had gewoon betere voorbeelden nodig.

Het Oordeel: Een Nuttig Hulpmiddel, Geen Vervanging

Het paper concludeert dat deze AI-stagiair-opstelling zeer veelbelovend is.

• Succespercentage: Met de juiste voorbeelden loste de AI de meeste moeilijke fysica-problemen correct op. De auteurs zeggen dat zijn prestaties vergelijkbaar zijn met die van een eerstjaars promovendus in de fysica.
• De Menselijke Rol: De AI is geweldig in het "snijden en roeren" (de berekeningen), maar het heeft nog steeds een menselijk toezichthouder nodig. Soms blijft de AI steken in een "triviale" oplossing of mist het een subtiele regel, net zoals een menselijke student dat zou doen. Een menselijk expert is nodig om het werk te controleren en de AI te begeleiden als het de verkeerde kant opgaat.

Samenvatting in het Kort

Het paper toont aan dat als je een slimme AI een krachtige wiskunderekenmachine geeft en het een paar duidelijke voorbeelden laat zien van hoe je een probleem oplost, het het zware werk van complexe fysica-berekeningen kan doen. Het is nog niet klaar om de fysicus te vervangen, maar het is klaar om een zeer behulpzame assistent te zijn die het saaie, repetitieve wiskunde doet, waardoor de mens zich kan richten op de creatieve grote ideeën.

Technische samenvatting

Technische Samenvatting: LLM's met In-Context Learning voor Algorithmische Theoretische Fysica

Probleemstelling
Theoretische fysica omvat een spectrum van taken, variërend van puur creatieve theorievorming tot mechanistische numerieke berekening. Tussen deze uitersten ligt een grote klasse van "algorithmische berekeningen": taken die te complex zijn voor een enkel deterministisch computerprogramma om generiek op te lossen vanwege probleemspecifieke subtiliteiten, maar niet zo moeilijk dat ze volledig nieuwe theoretische kaders vereisen. Voorbeelden zijn perturbatieve berekeningen in Quantumveldtheorie (QFT), snaartheorie en effectieve veldtheorieën (EFT's). Deze taken zijn tijdrovend voor menselijke onderzoekers, zelfs wanneer ze worden bijgestaan door Computer Algebra Systemen (CAS). Dit artikel onderzoekt of Large Language Models (LLM's), wanneer uitgerust met een CAS-runtime en voldoende in-context learning (ICL), deze algorithmische taken betrouwbaar kunnen automatiseren. Specifiek richten de auteurs zich op het identificeren van de fysische vrijheidsgraden (dof) in kosmologische perturbaties binnen gemodificeerde gravitatietheorieën, een taak die het hanteren van hogere-afgeleide termen, het oplossen van constraints en het beheren van vertakkende oplossingen in achtergrondvergelijkingen vereist.

Methodologie
De auteurs ontwikkelden een experimenteel raamwerk dat de geavanceerde LLM Claude Opus 4-6 koppelt aan het CAS Maple. Het systeem werkt in een read-eval-print-lus (REPL) waarbij de LLM Maple-opdrachten genereert, deze uitvoert en iteratie op basis van de output totdat een oplossing is gevonden of het proces wordt afgebroken.

De kern van de studie is een evaluatie van in-context learning-strategieën. De auteurs testten vier verschillende contextconfiguraties over negen onderzoeksgerichte testproblemen die scalaire, vector- en tensorperturbaties omvatten in diverse gravitatietheorieën (waaronder $R^2$-gravitatie en beperkte scalar-veldkaders) op zowel vlakke als kosmologische achtergronden:

1. "10ex": Een lange context met 10 volledig opgeloste, stap-voor-stap voorbeelden (ongeveer 60k tokens).
2. "3broad": Een kortere context met 3 representatieve voorbeelden (ongeveer 18k tokens).
3. "3tailored": Een aangepaste set van 3 voorbeelden, specifiek ontworpen om veelvoorkomende faalmodi die bij eerste proeven werden waargenomen aan te pakken (ongeveer 24k tokens).
4. "instruction": Een algemene algorithmische beschrijving van de methode zonder codevoorbeelden (ongeveer 2k tokens).

De testproblemen waren ontworpen om "onderzoeksgerelateerd" maar oplosbaar te zijn, met obscuriteiten (bijv. meerdere vertakkende oplossingen, reductie van hogere afgeleiden) die onwaarschijnlijk in de trainingsdata van de LLM voorkomen. De evaluatie was binair (slagen/mislukken) gebaseerd op een vierstaps verificatieproces: correcte opzet, accurate afleiding van achtergrondvergelijkingen, juiste perturbatieanalyse en correcte reductie van hogere-orde afgeleiden.

Belangrijkste Resultaten
De studie leverde de volgende kwantitatieve en kwalitatieve bevindingen op:

• Prestaties met Voorbeelden: Wanneer ze werden voorzien van uitgewerkte voorbeelden, toonde de LLM het vermogen om de CAS-REPL bekwaam te gebruiken en de meerderheid van de testproblemen op te lossen. De "3tailored"-context behaalde het hoogste slagingspercentage, met 7 van de 9 problemen opgelost, inclusief het moeilijkste tensorperturbatiegeval ($sRi2Ft$) dat onder andere contexten faalde. De "10ex"- en "3broad"-contexten losten elk 5 problemen op.
• Faalmodi: De meest voorkomende faalmodi omvatten:
  • Het verkeerd interpreteren van de achtergrond (bijv. het behandelen van een vlakke achtergrond als een kosmologische FLRW-achtergrond).
  • Incorrecte reductie van hogere-orde afgeleiden (het niet correct toepassen van Lagrange-multiplicatoren of constraints).
  • Voortijdig opgeven van de analyse van achtergrondvergelijkingen.
  • "Trivialiteits"-bias: Het model oordeelde een oplossing soms "te triviaal" en schakelde onnodig over naar een complexer scenario.
• Contextefficiëntie: Een kleinere, gerichte set voorbeelden ("3tailored") presteerde beter dan een grotere set ("10ex") in termen van slagingspercentage en efficiëntie (minder beurten en herstarts). Dit suggereert dat zorgvuldig geselecteerde voorbeelden die specifieke faalmodi aanpakken effectiever zijn dan pure omvang.
• Alleen Instructie: De context die alleen een algemene algorithmische beschrijving bevatte ("instruction") presteerde slecht, met slechts 3 problemen opgelost en aanzienlijk hogere rekenkosten (meer beurten en herstarts). Dit geeft aan dat abstracte beschrijvingen ontoereikend zijn voor deze complexe symbolische taken.
• Denkmodus: Het inschakelen van de "denk"-modus van de LLM (met 1024 denk-tokens) leverde een verwaarloosbare verbetering op. Het model gebruikte het extra budget niet om fundamentele fouten te corrigeren of redeneerstrategieën te verbeteren.

Betekenis en Beweringen
De auteurs positioneren dit werk als een praktisch onderzoek naar de bruikbaarheid van AI voor theoretische fysica, specifiek voor het automatiseren van routinematige maar belastende algorithmische berekeningen. Zij beweren:

1. Vermogen: Een geavanceerde LLM uitgerust met een CAS en uitgewerkte voorbeelden kan presteren op een niveau dat vergelijkbaar is met dat van een eerstejaars promovendus in theoretische fysica voor specifieke algorithmische taken.
2. Contextstrategie: Uitgewerkte voorbeelden zijn essentieel voor succes; abstracte algorithmische beschrijvingen zijn dat niet. Bovendien is een kleine, gerichte set voorbeelden die bekende faalmodi mitigeren effectiever dan grote, generieke datasets.
3. Mens-in-de-lus: Hoewel de LLM sterke doorzettingsvermogen en doelgerichtheid toont (vaak sessies herstartend wanneer het vastloopt), is het vatbaar voor specifieke interpretatiefouten. De auteurs suggereren dat menselijk toezicht noodzakelijk blijft om misinterpretaties van probleembegrenzingen of achtergrondaannames op te vangen.
4. Toekomstige Richting: Het artikel claimt niet menselijke onderzoekers te vervangen, maar suggereert dat CAS-uitgeruste LLM's met in-context learning een haalbaar hulpmiddel zijn voor het afhandelen van algorithmische berekeningen in snaartheorie, QFT, gravitatie en kosmologie. De auteurs stellen dat toekomstig werk Retrieval-Augmented Generation (RAG)-opstellingen moet verkennen om dynamisch relevante voorbeeldberekeningen in de context te halen.

Het artikel concludeert dat hoewel de huidige technologie niet perfect is, de combinatie van een CAS en zorgvuldig samengestelde in-context learning een veelbelovende weg biedt om de manuele last van algorithmische theoretische fysica te verminderen.