Towards grounded autonomous research: an end-to-end LLM mini research loop on published computational physics

Dit artikel introduceert een autonoom LLM-agent dat een 'mini-onderzoekslus' uitvoert door gepubliceerde papers in de computationele fysica te lezen, te reproduceren, te bekritiseren en uit te breiden, waarbij het op schaal substantiële zorgen identificeert en in diepte een ongecontroleerde, publiceerbare commentaar produceert die de oorspronkelijke conclusies van een Nature Communications-paper herzien.

De kern

Stel je voor dat je een zeer slimme, geavanceerde robot hebt die niet alleen kan lezen, maar ook echt doet wat er in een wetenschappelijk artikel staat. Dit is het verhaal van een nieuw experiment met kunstmatige intelligentie (AI) in de natuurkunde, beschreven in een paper van Haonan Huang van de Princeton Universiteit.

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: Lezen vs. Doen

Vroeger konden AI's al redelijk goed wetenschappelijke artikelen samenvatten of code schrijven. Maar in de echte natuurkunde is het niet genoeg om een recept te lezen. Je moet het gerecht ook echt koken om te zien of het smaken zoals de chef-kok beweert.

• De oude manier: Een AI leest een artikel over een nieuwe motor en zegt: "Klinkt logisch!"
• De nieuwe manier (deze paper): De AI leest het artikel, bouwt de motor zelf in een virtuele werkplaats, start hem op, meet de snelheid en zegt: "Hé, deze motor loopt niet zo snel als gezegd, en hij maakt een rare geluid."

De onderzoekers noemen dit "gegronde autonome research". "Gegrond" betekent dat de AI niet fantaseert, maar zich vasthoudt aan de harde feiten van de fysieke wereld (de "grond").

2. De Twee Testen: Breedte en Diepte

De onderzoekers hebben hun AI op twee manieren getest, zoals een student die eerst een hele bibliotheek doorzoekt en daarna één boek tot in de puntjes bestudeert.

Test A: De "Bliksemsnelle Bibliotheek" (Breedte)

De AI kreeg 111 verschillende wetenschappelijke artikelen over computergestuurde natuurkunde.

• De taak: Lees het artikel, probeer de berekeningen na te doen, en zeg of het klopt.
• Het resultaat: De AI slaagde erin om ongeveer 75% van de berekeningen perfect na te maken.
• De verrassing: Zonder dat iemand het vroeg, merkte de AI op dat er in 42% van de artikelen iets mis was.
• De les: De meeste fouten (97,7%) werden pas ontdekt toen de AI de berekeningen daadwerkelijk uitvoerde. Als je alleen leest (zoals een mens dat vaak doet), zie je deze fouten niet. Het is alsof je alleen naar een foto van een gebakje kijkt; je ziet pas dat er een steen in zit als je er zelf een hap van neemt.

Test B: De "Detective met een Loupe" (Diepte)

Vervolgens namen ze één specifiek, beroemd artikel over een heel klein computerchipje (een MOSFET van 2D-materiaal).

• De taak: Ga dieper dan alleen het nabootsen. Vind fouten, doe nieuwe berekeningen die de oorspronkelijke auteurs vergeten waren, en schrijf een officieel antwoord (een "Comment").
• Het resultaat: De AI vond dat de oorspronkelijke conclusie van het artikel niet klopte. Het artikel beweerde dat het chipje perfect werkte op een bepaalde grootte. De AI bewees met nieuwe berekeningen dat dit niet zo was.
• De climax: De AI schreef zelf een compleet wetenschappelijk artikel (een PDF van 6 pagina's), met grafieken en formules, dat als reactie op het origineel kon worden ingediend. Dit artikel werd door de AI bedacht, berekend, geschreven en opgemaakt, zonder dat een mens er tussen zat.

3. Waarom is dit zo belangrijk? (De Vergelijking)

Stel je voor dat wetenschap een grote stad is.

• Mensen zijn de bewoners die praten, discussiëren en ideeën hebben. Soms maken ze fouten, of ze vergeten iets te checken omdat ze het te druk hebben.
• Deze AI is als een onvermoeibare, hyper-accurate inspecteur die elke straat, elk huis en elke riolering narekent.

Het belangrijkste verschil met eerdere AI's is dat deze AI niet giswerk doet.

• Als een AI zegt: "Ik denk dat dit getal 5 is," en het is 10, dan is het een hallucinatie.
• Deze AI zegt: "Ik heb de machine aangezet, de knoppen gedraaid en het scherm afgelezen. Het getal is 10. Jullie artikel had 5 staan, dat klopt niet."

4. Wat betekent dit voor de toekomst?

Deze paper toont aan dat AI's in de toekomst niet alleen tekst kunnen schrijven, maar echte wetenschappelijke ontdekkingen kunnen doen door:

1. Te lezen wat anderen hebben gedaan.
2. Het na te bouwen in een virtuele wereld.
3. Te controleren of het klopt.
4. Nieuwe vragen te stellen en die te beantwoorden met eigen berekeningen.

Het is alsof we een nieuwe soort "wetenschappelijke partner" hebben die nooit moe wordt, nooit een foutje in de rekenmachine maakt, en die ons helpt om de echte waarheid te vinden, zelfs als diep verborgen zit in complexe formules.

Kortom: De AI is niet langer alleen een slimme bibliothecaris die boeken samenvat. Het is nu een autonoom onderzoeker die de boeken zelf openmaakt, de experimenten doet en de resultaten controleert. En dat is een enorme stap voorwaarts voor de wetenschap.

Technische samenvatting

Titel: Naar gegrond autonoom onderzoek: een end-to-end LLM mini-onderzoekslus op gepubliceerde computationele fysica

Auteurs: Haonan Huang (Princeton University)

---

1. Het Probleem

Recente autonome LLM-agenten hebben aangetoond dat ze het volledige onderzoekslifecycle van machine-learningprojecten kunnen automatiseren (ideeën genereren, coderen, trainen, analyseren). Echter, het toepassen van dit soort systemen op de werkelijke natuurwetenschappen (zoals fysica) is fundamenteel moeilijker om drie redenen:

1. Fysieke waarheid: Onderzoek moet gebaseerd zijn op eerste-principes-berekeningen van reële fysieke systemen, niet op interpolatie van data.
2. Complexiteit: Realistische systemen zijn te complex om geïsoleerd te bestuderen; nieuw werk bouwt bijna altijd voort op bestaande literatuur.
3. Verifieerbaarheid: Resultaten moeten reproduceerbaar zijn tegenover "ground truth" (fysieke realiteit).

Bestaande systemen lezen vaak alleen papers om fouten te vinden, maar missen de capaciteit om de berekeningen zelf uit te voeren en te valideren. Er is een behoefte aan een systeem dat een volledige "mini-onderzoekslus" kan sluiten: lezen, reproduceren, kritisch evalueren en uitbreiden, waarbij elke stap is verankerd in berekeningen tegenover de fysieke werkelijkheid.

---

2. Methodologie

De auteurs introduceren een paradigma genaamd "Grounded Autonomous Research". Het systeem gebruikt een enkele LLM-configuratie (Claude Opus 4.6) via de Claude Code CLI als orkestrator. Er is geen centrale tool-laag (zoals MCP-servers of library-wrappers); de agent communiceert direct via bash-shell calls met de software.

Het onderzoek wordt getest in twee regimes:

A. Schaal (Scale Regime)

• Corpus: 111 open-access papers over computationele fysica waarbij Quantum ESPRESSO (QE) het primaire gereedschap is (periode 2010–2024).
• Proces: Een nieuwe agent krijgt per paper een "kennisomhulsel" (basiskennis van QE en Wannier90) en een vaste prompt.
• Taken:
  1. Het volledige paper in context laden.
  2. Een gestructureerd leesverslag en plan schrijven.
  3. Berekeningen uitvoeren (SCF, NSCF, Wannierization, etc.) en een werklog bijhouden.
  4. Een gestructureerd oordeel (verdict) afgeven.
• Beperkingen: Een "soft cap" van 2–4 uur per paper. De agent bepaalt zelf de scope.

B. Diepte (Depth Regime)

• Doel: Een diepgaande analyse van één specifieke paper: Pizzi et al., Nature Communications 2016 (over 2D-materialen MOSFETs).
• Proces: Een drie-traps pipeline op één paper:
  1. Reproduce: Mens-AI samenwerking om een geverifieerde, end-to-end reproduceerbaarheids-pipeline op te zetten (QE → Wannier90 → NanoTCAD ViDES). Dit omvatte het repareren van verouderde software (NanoTCAD ViDES uit 2016).
  2. Review: Een autonome agent auditteert de paper tegen de geverifieerde pipeline. De prompt dwingt een "physics-first, tools-second" aanpak af (eerst een inventarisatie van zorgen, daarna aanvallen).
  3. Reflect: Een nieuwe agent sessie die de audit verifieert, ontbrekende berekeningen uitvoert en een volledig publicatieklaar Comment schrijft (LaTeX, figuren, PDF), inclusief iteratie door het lezen van de gegenereerde PDF.

---

3. Belangrijkste Bijdragen

1. Definitie van "Grounded Autonomous Research": Een nieuw paradigma waarbij AI wetenschappelijk werk verricht dat volledig is verankerd in reproduceerbare fysieke berekeningen, in plaats van alleen tekstuele analyse.
2. De Mini-onderzoekslus: Het bewijs dat een autonome agent een volledige cyclus kan doorlopen: van het lezen van een paper tot het produceren van een wetenschappelijk artefact (een Comment) dat de oorspronkelijke conclusies reviseert.
3. Execution-bound Scrutiny: Het inzicht dat kritische wetenschappelijke scrutinie in deze context bijna uitsluitend voortkomt uit het uitvoeren van berekeningen, niet uit het lezen van de tekst.
4. Open Science: Alle inputs, outputs, traces, prompts en de geverifieerde pipeline worden openbaar gemaakt, wat een nieuwe standaard stelt voor reproduceerbaarheid in AI-onderzoek.

---

4. Resultaten

Resultaten in Schaal (111 Papers)

• Reproduceerbaarheid: De agent reproduceerde ongeveer 75,8% van de kwantitatieve claims binnen 5% van de gepubliceerde waarde (mediaan afwijking 0,9%). 90,9% van de beoordeelbare papers bereikte een kwalitatief correct niveau (T3/T4).
• Autonome Kritiek: Zonder expliciete instructie om te critiseren, bracht de agent substantiële methodologische zorgen naar voren bij ~42% van de papers.
• De "Execution Requirement": Van de 88 geïdentificeerde kritische punten kwamen 97,7% (86 van de 88) alleen naar voren na het uitvoeren van een berekening.
  • Slechts 0,9% (1 paper) werd uitsluitend door het lezen van de tekst opgemerkt.
  • Dit toont aan dat passief lezen ontoereikend is voor diepgaande wetenschappelijke validatie in dit domein.
• Voorbeeld: De agent ontdekte dat een berekende spin-baan splitsing in WS2 (571 meV in de paper) onjuist was; de agent berekende 429 meV, wat overeenkwam met experimentele waarden (400–410 meV).

Resultaten in Diepte (Pizzi 2016 Paper)

• Onafhankelijke Ontdekking: De agent identificeerde twee kritieke fouten die niet werden opgemerkt door de menselijke peer-reviewers van het originele paper:
  1. Contactweerstand: De originele paper stelde contactweerstand op nul. De agent berekende dat realistische contactweerstand de conclusie (dat 5 nm MOSFETs voldoen aan industriële standaarden) volledig ontkracht.
  2. Sb-doping: De agent voerde een doping-sweep uit die de originele paper miste, wat leidde tot een kwantitatieve degradatie die de oorspronkelijke claims ondermijnde.
• Output: De agent produceerde een 6 pagina's tellend, publicatieklaar Comment (PDF) dat de hoofdstelling van het originele paper reviseerde (van "5 nm werkt" naar "5 nm faalt, 7 nm is robuust").
• Fysiek Inzicht: De agent corrigeerde zijn eigen "vooroordeel" (prior) over bandgaten. Hoewel een grotere bandkloof (HSE vs PBE) theoretisch de subthreshold slope zou moeten verbeteren, bleek uit de berekening dat de gate-workfunctie-compensatie dit effect neutraliseerde. De agent erkende deze omkering in zijn werklog.

---

5. Betekenis en Conclusie

Dit werk markeert een verschuiving van "LLM als tekstanalist" naar "LLM als wetenschappelijk onderzoeker".

• Gegrondheid als bescherming: Het "grounding" in fysieke berekeningen fungeert als een structurele bescherming tegen hallucinaties. Een hallucinatie kan niet bestaan als de berekening direct wordt uitgevoerd en de uitkomst niet overeenkomt met de fysieke realiteit.
• Rol van de "Harness": De beperkingen van het systeem lagen niet bij het model zelf, maar bij de "harness" (de tooling en kennisomgeving). Twee kleine tekstbestanden met kennis (over QE commando's en pseudopotentialen) verbeterden de prestaties aanzienlijk door valse afwijzingen te voorkomen.
• Toekomst: De "mini research loop" is een bouwsteen voor een volledig autonoom onderzoekslus waarbij een agent een eigen onderzoeksvraag formuleert op basis van literatuur en deze volledig uitwerkt tot een publicatie.
• Praktische Toepassing: Het systeem kan fungeren als een aanvulling op menselijke peer review, waarbij het niet vraagt "is dit goed gelezen?", maar "is dit uitgevoerd?".

Conclusie: Autonome agents kunnen complexe, multi-scale fysieke berekeningen uitvoeren, bestaande wetenschappelijke claims kritisch valideren en nieuwe, gepubliceerbare wetenschappelijke bijdragen leveren, mits ze zijn verankerd in een reproduceerbare computatieomgeving.