Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics

Technische Samenvatting: Gegrond Autonoom Onderzoek in Grensgevallen van de Computationele Fysica

Probleemstelling
Autonome onderzoek-agenten hebben end-to-end automatisering bereikt in "kalibratievriendelijke" domeinen zoals machine learning, waar executie-feedback (bijv. trainingsverliescurven) of gevestigde referentiewaarden intrinsieke verificatie bieden. Echter, de grenzen van de fysieke wetenschap vormen een categorische uitdaging: fysiek redeneren dicteert methodologische keuzes, toolchains zijn vaak ondergedocumenteerd en executie biedt geen grondwaarheid. In deze omgevingen vervallen ongestructureerde agenten in interne priors, wat resulteert in plausibele maar onverifieerbare resultaten en het hallucineren van methodologieën die niet louter door executie gecorrigeerd kunnen worden. Het kernprobleem is het gebrek aan een structureel mechanisme dat agenten dwingt hun outputs te confronteren met externe literaire ankers, in plaats van ze enkel te citeren.

Methodologie: De Gegronde Pipeline
De auteurs presenteren een end-to-end pipeline die een corpus van 11.083 condensed-matter physics arXiv-papers transformeert naar een publicatiewaardig manuscript. Het systeem opereert over zes fasen met behulp van 47 "fresh-context" LLM-sessies die enkel de status op de harde schijf delen, waardoor de accumulatie van fouten in de gesprekshistorie wordt voorkomen.

1. Architectuur & Scaffolding:

   • Fresh-Context Isolatie: Elke sessie begint met een schone context window. Communicatie vindt uitsluitend plaats via disk-artefacten, wat garandeert dat fouten of hallucinaties in één sessie niet onkritisch doorwerken naar de volgende.
   • Gedistribueerde Gronding: De pipeline maakt gebruik van een gecureerde kennisbank (INDEX.md, PSEUDOPOTENTIALS.md) en "huisregels" (PILOT_HOUSE_RULES.md) die operationele beperkingen en geverifieerde workflows bevatten. Cruciaal is dat deze pas vanaf de Pilot-fase (S2) worden geladen, zodat de conceptiefase van ideeën (Breedte/Diepte) vrij blijft van methodologische bias.
   • Adversarial Review: Specifieaties sessies worden geprompt om te "zoeken in plaats van te bevestigen", wat fungeert als een fouttolerantiemechanisme om overclaims te vangen.

2. De Zesfasen Workflow:

   • Breedte (3 sessies): Brengt het corpus in kaart om kandidaat-onderzoeksthema's te identificeren.
   • Diepte (5 sessies): Breidt kandidaten uit naar specifieke onderzoeksvragen met expliciete reproductiedoelen. Een diversiteitsregister zorgt voor niet-overlappende richtingen.
   • Pilot (24 sessies): De kern van de "grondings"-engine. Dit omvat:
     • Program Selectie (S1): Selecteert een richting op basis van software-haalbaarheid (moet uitvoerbaar zijn door benoemde open-source tools).
     • Tooling Check (S2): Verifieert de lokale stack en laadt de gecureerde kennisbank.
     • Reproductie (S3): Reproduceert 5 gepubliceerde papers als numerieke ankers.
     • Iteratieve Gate-Review: Een cyclus van computationele gates gevolgd door adversarial reviews. Als een resultaat afwijkt van de literatuur, moet de agent de discrepantie confronteren. Het proces wordt begrensd door een hyperparameter (max_pilot_cycle) die een transitie naar productie of terminatie afdwingt als convergentie niet wordt bereikt.
   • Pre-productie & Productie: Consolideert het pilot-recept in een vergrendeld plan en voert de nieuwe berekeningen uit.
   • Schrijven: Stelt het manuscript op in fresh-context sessies, waarbij bevindingen worden geïntegreerd met de literatuur.

3. Operationele Definitie van "Gronding":
   Het paper definieert "gronding" niet als de beschikbaarheid van literatuur, maar als structureel afgedwongen numerieke confrontatie. Bij kalibratiecheckpoints dwingt de pipeline een numerieke vergelijking af tussen door de agent berekende waarden en gepubliceerde referentiewaarden. Als de waarden niet binnen de tolerantie overeenkomen (T4-tier: $\le$20% afwijking), moet de agent de methodologie herzien of een "NOT PASS" verdict uitgeven.

Belangrijkste Bijdragen

1. End-to-End Pipeline: Een systeem dat autonoom een onderzoeksrichting bedenkt, methodologie kalibreert via reproductie, nieuwe first-principles berekeningen uitvoert en een manuscript schrijft over altermagnetische piezomagnetisme.
2. Operationeel Grondingsmechanisme: De identificatie van de Pilot-fase als het architecturale element dat gronding operationaliseert. Door twee gepaarde faalmodi (een pre-architectuur baseline die een gebrek aan onderwerpselectie-gronding vertoont en een no-pilot ablatie die een gebrek aan executie-gronding vertoont), tonen de auteurs aan dat agenten zonder afgedwongen numerieke confrontatie ofwel un-anchorable onderwerpen accepteren of voortgaan met ongeverifieerde aannames.
3. Fouttolerantie Primitieven: Het systeem gebruikt fresh-context isolatie, gedistribueerde gronding en adversarial review om fouten te vangen. In de pilot-fase werden 15 "catch episodes" gedocumenteerd waarbij deze mechanismen overmoedige of erroneuze outputs corrigeerden.
4. Gekwantificeerd Interventiepatroon: Menselijke interventie was beperkt tot de curatie van operationele kennis (bijv. het toevoegen van een sanity check regel of een Wannier-validatieprotocol na een mislukte reproductie) en paywall/API-herstel. Er werden nul wetenschappelijke richtingen of parametervariabelen door mensen bepaald.

Resultaten
De pipeline produceerde een manuscript van publicatiekwaliteit over altermagnetisch piezomagnetisme met drie substantiële fysieke bevindingen:

1. Symmetrie-toegestane anomalie Hall-respons in MnTe bij een diepe valentieband-anker, met een plateau-amplitude van $\alpha = 397$ S/cm.
2. Orbitale piezomagnetische respons in MnTe, resulterend in $\Lambda_{orb}^{zxx} = -1.96$ $\mu_B$/cel per eenheid rek.
3. Cross-symmetry-class respons in d-wave Lieb CsV$_2$Te$_2$O onder B$_{1g}$ shear, resulterend in $\Lambda_{topo} = -24.9$ $\mu_B$/cel per eenheid shear.

Het systeem navigeerde succesvol door 2.162 literatuur-consultatie events over 14 kanalen. Het identificeerde en documenteerde systematische onzekerheden, zoals een basis-truncatie systematische in de MnTe orbitale magnetisatie-anker, en weigerde convergentie te certificeren waar de data onvoldoende was (door "NOT PASS" verdicts uit te brengen).

Betekenis en Claims
Het paper claimt dat dit werk een fundament legt voor autonoom onderzoek in hoog-risico wetenschappelijke domeinen waar executie geen grondwaarheid biedt.

• Verschuiving van "Plausibel" naar "Verankerd": Het systeem beweegt verder dan het genereren van plausibel klinkende tekst naar het produceren van resultaten die structureel gedwongen worden tot confrontatie met de externe realiteit.
• De Rol van de Pilot: De pilot-fase wordt geïdentificeerd als het "grand anchor mechanisme". Zonder deze fase kiezen agenten ofwel onderwerpen die niet gekalibreerd kunnen worden (pre-architectuur baseline falen) of gaan ze voort met ongeverifieerde methoden ondanks toegang tot referentiewaarden (no-pilot ablatie falen).
• Eerlijke Onzekerheid: De waarde van de pipeline ligt in het vermogen om de eigen grenzen te identificeren. Door systematische onzekerheden te documenteren en te weigeren convergentie te certificeren wanneer ankers inconclusief zijn, produceert het "geankerde falen" die hanteerbaar zijn voor toekomstige iteraties, in plaats van "verborgen mysteries" van ongestructureerde hallucinatie.
• Toepasbaarheid op de Grensgebieden: Hoewel huidige frontier-ankers schaars en voorlopig zijn (bijv. enkele gepubliceerde waarden voor nieuwe fenomenen), behandelt de architectuur consistentie met de literatuur als de primaire metriek van succes, waarbij erkend wordt dat dit "gemeten blootstelling" betreft in plaats van absolute waarheid.

Het werk claimt niet de menselijke wetenschapper te vervangen, maar een gescaffold, fouttolerant kader te bieden dat de operationele last van de confrontatie met de literatuur beheert, waardoor menselijke onderzoekers zich kunnen richten op de curatie van kennis en de interpretatie van geankerde resultaten.