Expert Evaluation of LLM World Models: A High-$T_c$ Superconductivity Case Study

Dit artikel presenteert een expertevaluatie van zes LLM-systemen op het gebied van hoge-temperatuur supergeleiding, waarbij een op RAG gebaseerde aanpak met een gespecialiseerde literatuurdatabase de beste prestaties leverde in vergelijking met gesloten modellen.

De kern

Stel je voor dat je een enorme bibliotheek binnenstapt, maar deze is niet gevuld met gewone boeken. Het is een bibliotheek van wetenschappelijke ontdekkingen over een heel specifiek onderwerp: hoge-temperatuur supergeleiding. Dit is een fenomeen waarbij materialen (zoals koper-oxide keramiek) elektriciteit zonder enige weerstand kunnen geleiden, zelfs bij temperaturen die veel warmer zijn dan normaal. Het is een van de grootste mysteries in de moderne fysica.

Het probleem? Er zijn duizenden artikelen geschreven over dit onderwerp in de afgelopen 40 jaar. Voor een nieuwe onderzoeker is het als proberen een compleet verhaal te reconstrueren uit een stapel van 10.000 losse, soms tegenstrijdige, krantenknipsels. Het is bijna onmogelijk om te weten wat er echt waar is, wat verouderd is, en welke theorieën nog steeds strijdig zijn.

In dit paper proberen onderzoekers (een team van experts uit universiteiten en Google) uit te vinden of kunstmatige intelligentie (AI), en dan specifiek Large Language Models (LLM's), deze bibliotheek kunnen doorzoeken en samenvatten alsof ze een wereldtopexpert zijn.

Hier is hoe ze dat hebben aangepakt, vertaald in een simpel verhaal:

1. De Uitdaging: De "Naald in de Hooiberg"

Stel je voor dat je een nieuwe student bent die dit mysterie wil oplossen. Je hebt een AI-assistent nodig die je kan vertellen: "Kijk, in 1990 dachten we dit, maar in 2010 zagen we dat het anders was, en nu denken we dit weer."

De auteurs wilden testen of AI dit kan. Maar AI-modellen (zoals ChatGPT of Google Gemini) zijn vaak getraind op het hele internet. Dat is als proberen een wetenschappelijk antwoord te vinden in een luidruchtige markt waar iedereen roept wat hij wil, inclusief onzin en oude geruchten.

2. Het Experiment: De "Gouden Bibliotheek"

Om de AI te testen, bouwden de experts eerst hun eigen perfecte bibliotheek:

• Ze selecteerden 1.726 specifieke, betrouwbare wetenschappelijke papers (alleen die met echte meetgegevens, geen pure theorie).
• Ze stelden 67 moeilijke vragen op, bedacht door de beste experts ter wereld. Deze vragen waren niet zomaar "wat is supergeleiding?", maar dingen als: "Wat is het bewijs voor het quantum-kritieke punt in deze materialen?" of "Hoe groot zijn de wervels in deze supergeleiders?"

3. De Wedstrijd: AI tegen AI

Ze lieten zes verschillende AI-systemen deze vragen beantwoorden:

• De "Alles-kenners": Bekende AI's (ChatGPT, Claude, Gemini) die het hele internet en hun geheugen gebruiken.
• De "Bibliotheek-geleerden": Twee AI-systemen die alleen mochten kijken in die specifieke, door experts geselecteerde bibliotheek. Een daarvan kon zelfs grafieken en foto's uit de papers halen om hun antwoord te onderbouwen.

4. De Oordeelvelling: De "Blinde Proef"

De experts keken naar de antwoorden en gaven cijfers op basis van:

• Balans: Zegt de AI ook de andere kant van het verhaal als er discussie is?
• Feiten: Mist de AI belangrijke bewijzen?
• Kort & Krachtig: Is het antwoord verstandig of een lappendeken?
• Bewijs: Geeft de AI bronnen aan?
• Afbeeldingen: (Voor de systemen die dat konden) Haalt de AI de juiste grafieken?

5. De Resultaten: Wat bleek er?

Wat ging goed?
De AI's die alleen de gecureerde bibliotheek gebruikten (de "Bibliotheek-geleerden"), deden het veel beter dan de algemene AI's. Ze gaven meer gebalanceerde antwoorden en citeerden betere bronnen. Het bewijst dat als je AI toegang geeft tot betrouwbare data, het veel slimmer wordt.

Wat ging fout? (De "Grote Lekken")
Ondanks de verbeteringen, faalden de AI's op cruciale punten voor echte wetenschap:

• Oppervlakkig lezen: De AI's konden tekst matchen, maar begrepen de diepe logica niet. Ze misten belangrijke connecties tussen experimenten die een menselijk expert wel zag.
• Verouderde kennis: Soms citeerden ze oude theorieën die al lang weerlegd waren, zonder te zeggen "dit is verouderd".
• Geen visueel inzicht: Dit was het grootste probleem. Als een expert vraagt: "Hoe groot is de wervel?", moet de AI een grafiek kunnen lezen en zeggen: "Kijk hier, de schaalbalk toont 100 Ångström." De AI's konden wel een plaatje tonen, maar ze begrepen niet wat erop stond. Ze leken op iemand die een foto van een kaartje laat zien, maar de cijfers erop niet kan lezen.
• Vertrouwensprobleem: De algemene AI's haalden soms bronnen uit onbetrouwbare blogs of pre-prints (nog niet gecontroleerde papers), wat in de wetenschap gevaarlijk is.

De Conclusie: Een Hulpje, maar geen Expert

De boodschap van dit paper is als volgt:
Stel je een AI voor als een zeer snelle bibliothecaris die duizenden boeken in een seconde kan doorzoeken. Dat is geweldig! Maar deze bibliothecaris is nog geen wetenschapper. Hij kan je vertellen wat er in de boeken staat, maar hij kan nog niet zelf nadenken over de data, de grafieken interpreteren of de nuance van een wetenschappelijke discussie volledig begrijpen.

De les voor de toekomst:
Als we AI willen gebruiken om echte wetenschappelijke doorbraken te vinden, moeten we:

1. Ze trainen op gecurateerde, betrouwbare data (niet het hele internet).
2. Ze leren grafieken en data visualisaties echt te "zien" en te begrijpen, niet alleen als plaatjes, maar als informatiebronnen.
3. Altijd een menselijke expert in de buurt houden om de AI te controleren.

Kortom: AI is een krachtige tool om de "naald in de hooiberg" te vinden, maar het is nog niet slim genoeg om zelf te beslissen welke naald de juiste is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Expert Evaluation of LLM World Models: A High-Tc Superconductivity Case Study" in het Nederlands.

Titel: Expert Evaluatie van LLM Wereldmodellen: Een Casestudie over Hoge-Tc Supergeleiding

Auteurs: Haoyu Guo et al. (Cornell University, Google, Harvard, enz.)
Datum: November 2025

---

1. Het Probleem

De wetenschappelijke gemeenschap staat voor een structureel probleem: de enorme hoeveelheid gepubliceerde literatuur over complexe, langdurige wetenschappelijke vraagstukken maakt het voor een nieuwe generatie onderzoekers extreem moeilijk om een volledig en kritisch inzicht te verwerven. Hoewel Large Language Models (LLM's) potentieel hebben om als hulpmiddelen te fungeren, is hun vermogen om in gespecialiseerde domeinen (zoals de fysica van hoge-temperatuur supergeleiders) accurate, complete en genuanceerde antwoorden te geven op expertniveau nog onzeker.

Specifiek voor het domein van hoge-temperatuur supergeleiding (HTS) in cupraten is de uitdaging groot vanwege:

• De aanwezigheid van concurrerende theoretische perspectieven.
• Schijnbaar tegenstrijdige experimentele resultaten.
• De noodzaak om data uit duizenden publicaties te synthetiseren en te interpreteren binnen een theoretisch kader.
• Het risico dat LLM's speculatieve claims verwarren met gevestigde consensus of verouderde inzichten presenteren als actuele feiten.

Het doel van deze studie is om te evalueren of LLM-gestuurde assistenten kunnen fungeren als een "objectief expertpanel" dat onderzoekers betrouwbare, op bewijs gebaseerde en contextuele antwoorden kan bieden.

2. Methodologie

De auteurs hebben een rigoureuze evaluatieframework opgezet, bestaande uit drie kerncomponenten:

A. Curatie van een Literatuurdatabase

• Een panel van 12 wereldleiders in HTS selecteerde 1.726 wetenschappelijke papers die uitsluitend experimentele observaties en ontdekkingen behandelen (uit een totaal van 3.279 papers, inclusief theorie).
• De database omvat de volledige geschiedenis van het veld, van de ontdekking in 1986 tot recente ontwikkelingen (2024/2025).
• Papers werden geautomatiseerd geclassificeerd als "experimenteel" of "theoretisch" met behulp van een LLM, waarna de experimentele subset werd geselecteerd voor de studie.

B. Expert-geformuleerde Vraagset

• Het panel ontwikkelde 67 diepgaande vragen die de literatuur testen op expertniveau.
• De vragen gaan over complexe concepten zoals kwantumsleutelpunten (quantum critical points), pairing-symmetrie, Fermi-oppervlak-reconstructie, en de rol van verschillende meettechnieken (ARPES, STM, NMR, etc.).
• Veel vragen vereisen het afwegen van meerdere perspectieven en het onderscheiden van gevestigde feiten van speculatie.

C. Evaluatie van LLM-systemen
Zes verschillende LLM-systemen werden getest op hun vermogen om deze vragen te beantwoorden:

1. Gesloten Modellen (Web-search): ChatGPT-4o, Perplexity, Claude 3.5, Gemini Advanced Pro 1.5. Deze gebruiken hun trainingsdata en internetzoekopdrachten.
2. Retrieval-Augmented Generation (RAG) op Curated Data:
   • NotebookLM (System 5): Een Google-product dat antwoorden baseert op de geüploade curateerde papers.
   • Aangepast RAG-systeem (System 6): Een custom systeem dat niet alleen tekst, maar ook afbeeldingen (grafieken, figuren) uit de curateerde papers kan ophalen en integreren in het antwoord.

D. Beoordelingscriteria (Rubric)
Een blinded panel van experts beoordeelde de antwoorden op een schaal van 0-2 (slecht-oké-goed) gebaseerd op:

• Gebalanceerd perspectief: Erkent het model verschillende standpunten waar de wetenschappelijke gemeenschap het niet over eens is?
• Feitelijke volledigheid: Zijn alle relevante experimentele feiten opgenomen?
• Bondigheid: Is het antwoord beknopt en helder?
• Onderbouwing door bewijs: Is het antwoord gebaseerd op betrouwbare experimenten en correct geciteerd?
• Relevantie van afbeeldingen: (Alleen voor System 2 en 6) Worden relevante data-visualisaties uit de literatuur getoond?

3. Belangrijkste Bijdragen

• Uniek Dataset: De creatie van een gestructureerde dataset van 1.726 experimentele papers en 67 expert-vragen, specifiek ontworpen om de grenzen van LLM's in een gespecialiseerd wetenschappelijk domein te testen.
• Multimodale Evaluatie: De studie is een van de eerste die systematisch evalueert of LLM's niet alleen tekst, maar ook wetenschappelijke figuren correct kunnen interpreteren en gebruiken als bewijs.
• Vergelijking van Bronnen: Een directe vergelijking tussen "open" modellen (gebaseerd op het internet) en "gesloten" systemen (gebaseerd op een strikt gecureerde, peer-reviewed database).

4. Resultaten

Algemene Prestaties:

• Curated Data wint: Systemen die gebruikmaken van de curateerde literatuur (NotebookLM en Custom RAG) presteerden significant beter dan de gesloten modellen (ChatGPT, Perplexity, etc.) op de belangrijkste metrieken: gebalanceerd perspectief, feitelijke volledigheid en onderbouwing.
• Gesloten Modellen: De open modellen neigden naar oppervlakkige patronen, citeerden soms onbetrouwbare bronnen (preprints, niet-peer-reviewed artikelen) en verwarden vaak speculatie met consensus. Ze misten vaak de nuance van conflicterende experimenten.

Specifieke Bevindingen:

• Factualiteit: Systemen met toegang tot de curateerde database gaven nauwkeurigere antwoorden op specifieke vragen (bijv. over de doping-niveaus van Lifshitz-transities).
• Beeldverwerking: Het aangepaste RAG-systeem (System 6) presteerde het best in het ophalen van relevante figuren uit de wetenschappelijke literatuur. Perplexity haalde vaak schematische schetsen uit presentaties op het internet, wat minder betrouwbaar was.
• Kritieke Tekortkomingen (Alle Modellen):
  • Gebrek aan diep redeneren: LLM's konden de inhoud van afbeeldingen niet zelfstandig analyseren of kwantitatief redeneren op basis van de data in de figuren. Ze vertrouwden uitsluitend op de tekstuele interpretatie van de auteurs.
  • Contextueel gebrek: Modellen herkenden vaak niet dat bepaalde vroege inzichten later waren weerlegd of aangepast, zelfs als die nieuwe inzichten in de database stonden.
  • Citeerfouten: LLM's citeerden soms papers die niet relevant waren voor het specifieke onderwerp of verwezen naar niet-bestaande referenties.

5. Betekenis en Conclusie

De studie concludeert dat huidige LLM-systemen nog niet klaar zijn om te fungeren als onafhankelijke expert-assistenten voor complexe wetenschappelijke vraagstukken zonder menselijk toezicht. Hoewel ze nuttig kunnen zijn als startpunt voor introductie of basisinformatie, missen ze het vermogen om kritisch te oordelen over de staat van de wetenschap, conflicterende data te synthetiseren en bewijsmateriaal (vooral visueel) zelfstandig te interpreteren.

Kernconclusies:

1. Gecurateerde data is cruciaal: Het beperken van de bronnen tot peer-reviewed, gecureerde literatuur verbetert de kwaliteit, nauwkeurigheid en betrouwbaarheid van de antwoorden aanzienlijk.
2. Visueel redeneren is een knelpunt: De grootste beperking voor de volgende generatie AI in de wetenschap is het gebrek aan vermogen om data-visualisaties (grafieken, figuren) te "lezen" en te redeneren op basis daarvan, in plaats van alleen de bijbehorende tekst te samenvatten.
3. Toekomstperspectief: AI-tools kunnen waardevol worden voor wetenschappelijke vooruitgang als ze worden ontwikkeld met strikte curatie van bronnen en verbeterde multimodale redeneercapaciteiten. De ontwikkelde vraagset en evaluatiecriteria bieden een waardevol instrument om toekomstige AI-systemen op expertniveau te testen.

De auteurs benadrukken dat de evaluatie zeer arbeidsintensief is en alleen door wereldexperts kan worden uitgevoerd, wat de complexiteit van het testen van "expert-level" AI onderstreept.