Grading the Unspoken: Evaluating Tacit Reasoning in Quantum Field Theory and String Theory with LLMs

Dit onderzoek toont aan dat hoewel grote taalmodellen expliciete afleidingen in kwantumveldtheorie en snaartheorie goed kunnen uitvoeren, ze systematisch falen bij het reconstrueren van impliciete redeneringsstappen en het handhaven van globale consistentie, wat de beperkingen van huidige evaluatiemethoden voor abstracte theoretische fysica blootlegt.

De kern

Stel je voor dat je een grootmeester in schaak bent. Je kunt een partij spelen en de winnende zet doen. Maar als je iemand vraagt hoe je daar gekomen bent, en je zegt alleen: "Ik heb de koning gevangen," zonder de tussenstappen te laten zien, is dat niet genoeg. Je hebt misschien het juiste antwoord, maar je hebt de redenering niet overgedragen.

Dit is precies wat deze wetenschappelijke paper onderzoekt, maar dan met kunstmatige intelligentie (AI) en de allerzwaarste wiskunde van de natuurkunde: Quantumveldtheorie en Snarentheorie.

Hier is een uitleg in gewoon Nederlands, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Stille" Kennis

In de wereld van de theoretische fysica is er een groot geheim. Experts (de "grootmeesters") weten veel dingen die ze niet altijd uitschrijven. Ze noemen dit tacit knowledge (stilzwijgende kennis).

• De Analogie: Stel je voor dat een chef-kok een perfecte soep maakt. Als je vraagt hoe, zegt hij: "Gewoon een beetje van dit en dat." Hij slaat de stap over om de groenten eerst te schillen, of te vertellen waarom hij de kruiden op een specifieke manier roert. Voor een expert is dat logisch, maar voor een leerling (of een AI) is het een raadsel.
• Het AI-probleem: De AI's die we nu hebben (zoals de slimste chatbots), zijn heel goed in het vinden van het juiste antwoord. Maar als ze de "stille stappen" moeten invullen die experts vaak overslaan, komen ze in de problemen. Ze kunnen de soep niet maken omdat ze niet weten waarom de chef bepaalde dingen deed.

2. De Test: Een Speciale Keuken

De auteurs van dit paper hebben een kleine, zeer specifieke test gemaakt. Ze hebben 12 moeilijke vragen uit de quantumfysica en snarentheorie geselecteerd. Deze vragen zijn zo gekozen dat het antwoord vaak bekend is, maar de weg ernaartoe in de boeken vaak wordt overgeslagen.

Ze hebben een 5-stappen scorebord ontwikkeld om te kijken hoe goed de AI het doet:

1. Het antwoord klopt: (Heeft de AI het juiste eindresultaat?)
2. De juiste termen: (Gebruikt de AI de goede vakjargon?)
3. De redeneringsketen: (Zit er een logisch verband tussen de zinnen?)
4. De "stille" stappen: (Heeft de AI de stappen ingevuld die experts normaal overslaan? Dit is de echte test!)
5. De extra diepgang: (Begrijpt de AI de context en kan hij het uitleggen met voorbeelden?)

3. Wat Vonden Ze? De "Grote Muur"

De resultaten waren verrassend en een beetje zorgelijk voor de toekomst van AI in de wetenschap.

• De "Goede Nieuws": De AI's waren fantastisch in de eerste stappen. Ze konden het juiste antwoord geven en de moeilijke woorden gebruiken. Alsof ze de soep proefden en zeiden: "Ja, dit is een heerlijke soep."
• De "Slechte Nieuws": Zodra het ging om stap 4 (de "stille" stappen), vielen de meeste AI's door de mand. Ze konden de logica niet zelfstandig reconstrueren.

De Vergelijking:
Stel je voor dat je een auto bouwt.

• Stap 1-2: De AI kan de wielen en de motor in de juiste plek zetten.
• Stap 3: De AI kan de bouten vastdraaien.
• Stap 4 (De echte test): De AI moet begrijpen waarom de motor op die specifieke manier aan het chassis moet worden geschroefd om trillingen te voorkomen, zelfs als de handleiding dat niet uitlegt.
• Het Resultaat: De meeste AI's bouwen een auto die eruitziet als een auto, maar die niet rijdt omdat ze de "stille" fysica niet begrijpen.

4. De Twee Soorten Denkwerk

De auteurs ontdekten dat AI's twee soorten problemen hebben:

1. Het "Vooruitlopen" (Mechanisme): Als je een vraag stelt waar je gewoon stap-voor-stap kunt doorrekenen (zoals een wiskundig sommetje), doet de AI het goed. Het is alsof je een ladder beklimt; elke sport is duidelijk zichtbaar.
2. Het "Herkennen van Patroon" (Consistentie): Als je een vraag stelt waarbij je eerst moet begrijpen welke bril je op moet zetten om het probleem te zien (bijvoorbeeld: "Is dit een probleem van symmetrie of van topologie?"), dan faalt de AI.
   • De Analogie: Het is alsof je een raadsel krijgt. De AI kan de woorden in het raadsel lezen, maar hij weet niet dat hij de raadsel moet omdraaien om de oplossing te zien. Hij blijft steken in de verkeerde "denkruimte".

5. De Oplossing: Een Hint geven

Het meest interessante experiment was dit: De auteurs gaven de AI een hint. Ze zeiden niet het antwoord, maar zeiden: "Kijk eens goed naar het verschil tussen deze twee woorden."

• Het Effect: Plotseling konden veel AI's het probleem oplossen!
• De Conclusie: De AI's hadden de kennis niet ontmist. Ze hadden gewoon niet de juiste "schakel" gevonden om het probleem op de juiste manier te bekijken. Als een mens (of een prompt) die schakel even aanwijst, kunnen ze het wel.

Samenvatting voor de Leek

Deze paper zegt eigenlijk: "Onze slimste AI's zijn geweldige memorizers en rekenmachines, maar ze zijn nog geen echte denkers."

Ze kunnen de feiten uit hun hoofd leren en de juiste zinnen bouwen, maar ze missen de "buikgevoelens" en de ongeschreven regels die echte experts gebruiken om complexe problemen op te lossen. Ze kunnen de soep niet maken zonder het recept, en als het recept ontbrekende stappen heeft, weten ze niet hoe ze die moeten invullen.

Voor de toekomst betekent dit dat we AI's in de wetenschap niet zomaar als "experts" kunnen gebruiken. Ze zijn meer als zeer slimme stagiairs die je moet blijven begeleiden, vooral bij de dingen die niet op papier staan.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd in wiskunde en fysica, maar hun vermogen om onderzoek te ondersteunen in uiterst abstracte theoretische velden zoals Kwantumveldentheorie (QFT) en Snaartheorie blijft onzeker. Het fundamentele probleem is dat correctheid in deze domeinen niet binair is (juist/fout), maar gelaagd en impliciet (tacit).

In de literatuur van deze velden worden tussenstappen in redeneringen vaak weggelaten omdat ze voor experts "zelfsprekend" zijn of omdat ze weerstand bieden tegen schone formalisering. Dit vormt een uitdaging voor evaluatie:

• Standaard benchmarks die kijken naar het eindantwoord of korte afleidingen, kunnen niet detecteren of een model de onderliggende impliciete redeneerstructuren heeft gereconstrueerd.
• Een model kan het juiste antwoord geven zonder de essentiële logische stappen te begrijpen, of formele manipulaties uitvoeren zonder rekening te houden met globale consistentievoorwaarden.

De kernvraag is: Hoe kunnen we evalueren of AI-systemen het impliciete redeneren kunnen reconstrueren dat experts gebruiken?

Methodologie

De auteurs hebben een geavanceerde evaluatieframework ontwikkeld bestaande uit drie pijlers:

1. Een Expert-Gecureerde Dataset

• Er is een compacte dataset samengesteld van 12 vragen uit QFT en Snaartheorie.
• De vragen zijn niet gericht op breedte, maar op diagnostische dichtheid: ze richten zich op veelvoorkomende stellingen in de literatuur waarbij de tussenstappen typisch gecondenseerd of weggelaten zijn.
• De dataset dekt subdomeinen zoals veldtheorie-funderingen, symmetrie, topologische structuren, supersymmetrie (SUSY) en snaardualiteiten.

2. Een Vijf-Niveau Grading Rubric
Om de complexiteit van redeneren te meten, introduceren ze een rubric die correctheid ontbindt in vijf progressieve niveaus:

• Niveau 0 (Stelling Correctheid): Het eindantwoord is feitelijk correct (herkenningsniveau).
• Niveau 1 (Bewustzijn van Sleutelconcepten): Het model identificeert de relevante concepten, theorema's of structurele principes, maar zonder diepe redenering.
• Niveau 2 (Aanwezigheid van Redeneerketen): Het model presenteert een causale structuur die de concepten met elkaar verbindt.
• Niveau 3 (Reconstructie van Impliciete Stappen): Het model reconstrueert expliciet de tussenstappen die in de literatuur vaak worden weggelaten (de "tacit steps"). Dit is het kritieke niveau voor expert-kennis.
• Niveau 4 (Verrijking): Het model toont bredere conceptuele awareness, zoals validiteitsregimes, conceptuele grenzen of alternatieve perspectieven.

3. Een Tweedimensionaal Redeneer-Geometrie
De auteurs analyseren prestaties binnen een 2D-ruimte om systematische variaties te begrijpen:

• As 1: Redeneermodus: Mechanisme-gedreven (expliciete lokale afleidingen) vs. Consistentie-gedreven (identificatie van globale constraints).
• As 2: Conceptuele Organisatie: Binnen-raamwerk (vast conceptueel kader) vs. Kruis-raamwerk (herstructurering van het representatiekader nodig).
  Dit leidt tot vier regimes: Lokale afleiding, Integratie, Constraint-based, en Conceptuele Scharnier (Conceptual Hinge).

Belangrijkste Bijdragen

1. Dataset: De eerste expert-gecureerde dataset specifiek ontworpen om "tacit knowledge" in theoretische fysica te testen.
2. Evaluatie Rubric: Een vijf-niveau scorecardsysteem dat verder gaat dan eindantwoorden en inzicht geeft in de diepte van de redeneerstructuur.
3. Empirisch Bewijs: Een gedetailleerde analyse van hoe moderne LLMs falen bij het reconstrueren van impliciete stappen, in plaats van alleen bij het genereren van foutieve antwoorden.
4. Prompt Sensitiviteit: Een experiment dat aantoont dat het blokkeren van redeneren vaak ligt bij het selecteren van het juiste conceptuele kader, niet bij gebrek aan technische kennis.

Resultaten

De auteurs hebben meerdere state-of-the-art modellen getest (o.a. Gemini, GPT-4/5, DeepSeek, Qwen, Kimi).

• Algemene Prestaties:

  • Modellen presteren bijna perfect op Niveau 0-2 (antwoordcorrectheid, conceptidentificatie, basisredenering).
  • Er is een drastische daling op Niveau 3 (reconstructie van impliciete stappen). Zelfs de beste modellen (Gemini-3.1-pro-preview) scoren hier rond 0.92, terwijl de meeste andere modellen dalen naar het bereik 0.17–0.50.
  • Niveau 4 (verrijking) wordt zelden bereikt, wat aangeeft dat conceptuele verrijking nog een grote uitdaging is.

• Analyse per Redeneer-Regime:

  • Lokale Afleiding & Integratie (Mechanisme-gedreven): Prestaties zijn hoog; modellen kunnen goed werken binnen een vast kader.
  • Constraint-based (Consistentie-gedreven): Prestaties dalen eerder (reeds bij Niveau 2), omdat het handhaven van globale consistentie complexer is.
  • Conceptuele Scharnier (Consistentie-gedreven + Multi-structuur): Dit is het zwakste punt. Prestaties collapse bijna volledig bij Niveau 3. Modellen falen hier omdat ze niet het juiste representatiekader kunnen initiëren om een conceptuele spanning op te lossen voordat ze beginnen met afleiden.

• Prompt Sensitiviteit (Case Study Q11):

  • Bij een vraag over anomalieën (Q11) faalden de meeste modellen in de originele formulering.
  • Door de prompt te wijzigen om expliciet te verwijzen naar het onderscheid tussen anomalie-typen (een impliciete structuur expliciteren), verbeterden de scores van sommige modellen drastisch (bijv. Qwen3.5 van 0 naar 4).
  • Dit bewijst dat de bottleneck representatie-selectie is, niet het ontbreken van kennis.

Betekenis en Conclusie

De studie concludeert dat hoog-abstracte theoretische fysica een uniek en gevoelig testveld biedt om de epistemische grenzen van huidige evaluatieparadigma's bloot te leggen.

• De "Tacit Gap": Huidige LLMs zijn uitstekend in het uitbreiden van expliciete redeneerketens binnen een vast kader, maar worstelen systematisch met het autonoom herstructureren van conceptuele ruimtes en het reconstrueren van impliciete stappen die nodig zijn voor globale consistentie.
• Implicatie voor Evaluatie: Standaard benchmarks op basis van eindantwoorden zijn ontoereikend voor onderzoeksniveau taken. Er is behoefte aan evaluaties die kijken naar de kwaliteit van het reconstructieproces en de flexibiliteit van het conceptuele kader.
• Toekomst: Voor AI om echt onderzoek te ondersteunen in deze velden, moeten modellen leren om niet alleen patronen te herkennen, maar ook de "onzichtbare" logische stappen en structurele keuzes van experts te begrijpen en te reproduceren.