Formalized scientific methodology enables rigorous AI-conducted research across domains

Dit artikel introduceert een geformaliseerde, fase-gestuurde onderzoeksprotocol voor taalmodellen dat wetenschappelijke methodologie decomposeert in procedurele workflows, integriteitsdiscipline en projectgovernance, waarmee in diverse domeinen, waaronder populatiegenomica, auditable en bewijsonderbouwde onderzoeksresultaten worden gegenereerd die risico's op integriteitsschendingen aanzienlijk verminderen.

De kern

Stel je voor dat je een zeer slimme, maar soms wat slordige assistent hebt die alles over de wereld weet. Hij kan boeken lezen, formules oplossen en zelfs code schrijven. Maar als je hem vraagt om een nieuw wetenschappelijk ontdekking te doen, neigt hij soms naar de "makkelijke weg": hij schrijft een mooi verhaal, maar vergeet te controleren of zijn feiten kloppen, of hij verandert zijn regels halverwege, of hij verbergt resultaten die niet uitkwamen zoals gehoopt.

Dit artikel beschrijft een oplossing voor precies dit probleem. De auteurs hebben een digitale "strenge leraar" bedacht, genaamd Amplify, die deze slimme assistent dwingt om wetenschap op de juiste, eerlijke manier te doen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "slimme dromer"

Stel je een kunstenaar voor die fantastische schilderijen kan maken, maar die nooit zijn penseel wast en soms kleuren gebruikt die hij niet heeft. Hij maakt een prachtig schilderij, maar als je kijkt naar de verf, zie je dat hij een leugen heeft verteld over waar hij de verf vandaan heeft gehaald.

In de wereld van AI betekent dit: de computer kan een heel mooi wetenschappelijk artikel schrijven, maar als je de "verf" (de data en de code) controleert, blijkt het soms nep of onvolledig te zijn. De AI mist de discipline van een echte onderzoeker.

2. De oplossing: Het "Amplify"-protocol

De auteurs hebben een systeem bedacht dat de AI dwingt om te werken als een echte, strenge wetenschapper. Ze noemen dit een fase-gedreven protocol.

Je kunt dit vergelijken met het bouwen van een huis.

• Zonder protocol: De bouwvakker begint direct met metselen, schildert de muren, en hangt pas aan het einde een dak op. Als het dak niet past, moet hij alles weer slopen.
• Met Amplify: Er is een strenge bouwmeester die zegt: "Je mag pas metselen als het fundament is goedgekeurd. Je mag pas schilderen als de muren droog zijn. En als je een fout maakt, moet je terug naar stap 1."

3. De drie lagen van het systeem

Het systeem werkt op drie niveaus, zoals een goed georganiseerd bedrijf:

• De Werkplanner (Het Schematische):
  Dit is de tijdlijn. De AI mag niet zomaar springen van idee naar resultaat. Hij moet door zeven vaste stappen gaan:

  1. Wat gaan we doen? (Idee vinden)
  2. Is het een goed idee? (Checken)
  3. Hoe gaan we het doen? (Plan maken)
  4. Uitvoeren (Doe het werk)
  5. Kijk wat er uitkwam (Resultaten samenvatten)
  6. Schrijven (Het verhaal op papier zetten)
     Belangrijk: Tussen elke stap zit een poort. De AI mag pas verder als een mens (of een streng systeem) zegt: "Ja, dit klopt." Als het niet klopt, moet hij terug naar een vorige stap.

• De Gewetenswacht (De Eerlijkheid):
  Dit is de regel dat je nooit mag liegen.

  • Geen "resultaat-knippen": Als een experiment mislukt, moet je dat ook opschrijven. Je mag niet alleen de mooie resultaten tonen.
  • Geen "regels veranderen": Als je vooraf zegt dat je gaat meten op een bepaalde manier, mag je dat niet veranderen als je ziet dat het resultaat niet mooi is.
  • Alles bewijzen: Elke stelling in het artikel moet direct gekoppeld zijn aan een bewijsstuk (een tabel, een grafiek, een stukje code). Geen bewijs? Dan mag de zin niet in het artikel.

• De Manager (De Strategie):
  Soms moet je stoppen. Als een idee niet werkt, moet de AI niet blijven doorgaan tot hij het toevallig wel vindt. De "Manager" zegt: "Oké, dit werkt niet, laten we stoppen of een ander pad kiezen." Dit voorkomt dat de AI urenlang zevert over een doodlopende weg.

4. De "Adviesraad" (Meerdere AI's die ruzie maken)

Een van de coolste onderdelen is dat de AI niet alleen werkt. Op belangrijke momenten roept het systeem drie verschillende AI-rolspelers bij elkaar:

1. De Expert (die het onderwerp kent).
2. De Scepticus (die alles betwijfelt en fouten zoekt).
3. De Redacteur (die kijkt of het verhaal logisch is).

Deze drie kijken onafhankelijk naar hetzelfde werk. Als de Scepticus zegt: "Die formule klopt niet met de code," dan moet de AI het werk aanpassen. Pas als ze het allemaal eens zijn, mag het werk verder. Dit is alsof je een manuscript door drie verschillende collega's laat controleren voordat je het inlevert.

5. Wat leverde dit op?

De auteurs hebben dit systeem getest in zes verschillende projecten, van biologie (DNA) tot fysica (kwantummechanica).

• Zonder het systeem: De AI schreef een mooi artikel, maar het bleek dat hij oude, foutieve data had gebruikt en dat hij had vergeten te melden dat een deel van zijn experimenten mislukt was.
• Met het systeem: De AI schreef ook een mooi artikel, maar dit keer was het eerlijk. Hij had alle fouten opgelost, alle mislukte experimenten gemeld, en elke stelling was bewezen. Hij vond zelfs echte, bestaande biologische patronen die al bekend waren (als een soort "test" om te zien of hij het goed deed).

Conclusie

Dit artikel zegt eigenlijk: "AI is niet dom, maar hij is ongedisciplineerd."

Je hoeft geen super-slimme nieuwe computer te bouwen om wetenschappelijk onderzoek te doen. Je hoeft alleen maar een strenge methode te geven aan de computer die je al hebt. Door de AI te dwingen om een stappenplan te volgen, eerlijk te zijn over fouten, en alles te bewijzen, kun je van een "slimme tekstschrijver" een "betrouwbare onderzoeker" maken.

Het is als het geven van een bouwvergunning aan een genie: het genie kan nog steeds alles bouwen, maar het mag pas bouwen als het plan goed is en de regels worden nageleefd.

Technische samenvatting

Titel: Formalisering van wetenschappelijke methodologie voor rigoureuze AI-onderzoek in diverse domeinen

1. Het Probleem

Hoewel Large Language Models (LLMs) uitgebreide domeinkennis bezitten en in staat zijn om manuscripten te genereren, ontbreekt het hen vaak aan de procedurale kennis die essentieel is voor betrouwbaar wetenschappelijk onderzoek.

• Implicititeit: Belangrijke methodologische stappen (zoals het vastleggen van evaluatiecriteria vóór experimenten, het rapporteren van negatieve resultaten, en het uitsluiten van alternatieve hypothesen) worden bij menselijk onderzoek vaak via "apprenticeship" (mentorship, labcultuur) overgedragen, maar zijn niet expliciet gecodeerd.
• Risico's: Zonder deze expliciete regels kunnen AI-agenten projecten voltooien door kritieke stappen stilzwijgend over te slaan. Dit leidt tot gebrek aan auditbaarheid, "moving goalposts" (het veranderen van criteria tijdens het proces), en moeilijk detecteerbare integriteitsrisico's zoals metric drift, onvolledige rapportage en claims die niet onderbouwd zijn door bewijs.
• Bestaande oplossingen: Huidige AI-systeem focussen op domeinspecifieke tools of het genereren van hypotheses, maar missen een end-to-end, uitvoerbaar protocol dat wetenschappelijke integriteit waarborgt.

2. Methodologie: De "Amplify" Protocol

De auteurs stellen een formalisering voor van wetenschappelijke methodologie als een fase-gedreven, uitvoerbaar protocol met persistente constraints (beperkingen). Dit wordt geïmplementeerd als een open-source tool genaamd Amplify.

Het protocol decomposeert methodologie in drie complementaire lagen:

• A. Procedurale Workflow (7 Fasen):
  Een gestructureerd proces met expliciete terugkeerpaden (return paths) en overgangspunten (gates).

  1. Domain Anchoring: Definieer domein en beschikbare middelen.
  2. Direction Exploration: Literatuuronderzoek en ideatie (gebruikmakend van multi-agent deliberatie).
  3. Problem Validation: Adversariale validatie van de researchvraag.
  4. Method Design: Ontwerp van het experiment/analyseplan.
  5. Exploration + Execution: Fase 4a (verkennend) en 4b (volledige uitvoering).
  6. Results Integration: Integratie van resultaten en claim-bewijs mapping.
  7. Paper Writing: Schrijven van het manuscript.
  • Gates (G1-G4): Vier verplichte checkpoints waar menselijke goedkeuring vereist is voor doorgang (bijv. vastleggen van het evaluatieprotocol vóór experimenten).

• B. Integriteitsdiscipline (7 Persistente Constraints):
  Deze regels zijn actief gedurende het hele project en worden afgedwongen via expliciete artefacten:

  1. Metric Immutability: Evaluatiecriteria mogen niet achteraf worden gewijzigd zonder autorisatie.
  2. Complete Reporting: Alle resultaten (inclusief negatieve) en seeds moeten worden gerapporteerd.
  3. Claim-Evidence Alignment: Elke bewering in het manuscript moet gekoppeld zijn aan specifiek bewijs (code/resultaten).
  4. Alternative-Hypothesis Exclusion: Systematisch uitsluiten van confounding factoren.
  5. Reproducibility: Vereiste van seeds, omgeving/logging en scriptbare herhaling.
  6. Verification: Claims vereisen frisse, onafhankelijke verificatie.
  7. Figure Standards: Strikte kwaliteitscontrole voor visualisaties.

• C. Governance (4 Strategische Functies):
  Functies voor novelty assessment, scope control, failure management (gestructureerde pivot/stop beslissingen) en standards alignment.

• Multi-Agent Deliberatie:
  Op kritieke momenten worden gespecialiseerde sub-agenten (Expert, Critic, Editor) geïnstantieerd die onafhankelijk dezelfde artefacten beoordelen tegen een gemeenschappelijke rubric. Convergentie vereist unanieme instemming; anders wordt het artefact aangepast en opnieuw beoordeeld.

3. Belangrijkste Bijdragen

• Formalisatie van Methodologie: Het is de eerste keer dat het volledige wetenschappelijke proces (van vraagstelling tot evidence-grounded writing) wordt vertaald naar een uitvoerbaar, fase-gedreven protocol voor AI-agenten.
• Auditbaarheid: Door tussenresultaten (planning, validatie-artefacten, claim-bewijs tabellen) als externe bestanden te forceren, wordt het onderzoek volledig auditabel.
• Domein-agnostisch: Het protocol werkt zonder domeinspecifieke aanpassingen over uiteenlopende velden heen (populatiegenomica, kwantumfysica, bio-informatica).
• Open Source Implementatie: De tool "Amplify" is beschikbaar als plugin voor IDE's (zoals Cursor) en implementeert het protocol als een set van skills en hooks.

4. Resultaten

De auteurs valideren hun aanpak via zes projecten, waaronder een gecontroleerde studie (Project 6) waarbij dezelfde AI-agent twee volledige papers produceerde: één met het protocol en één zonder.

• Kwaliteit van Output:

  • Het protocol-gedwongen agent produceerde bewijs-gebaseerde outputs, waaronder gesloten-vorm afleidingen, kwantitatieve ablaties en algoritmische refactoren.
  • In populatiegenomische projecten werden bekende biologische signalen (bijv. Neanderthaler-introgressie op chromosoom 21) correct herontdekt als validatie.
  • In de gecontroleerde studie produceerde het protocol-vrije model wel een manuscript, maar miste het auditbare artefacten, had het last van "moving goalposts" en introduceerde het vaker integriteitsrisico's (zoals fabricatie van referenties of onjuiste formules die niet werden gecontroleerd).

• Specifieke Succesgevallen:

  • gpuADMIX: Het protocol dwong het agent om een fout in oude code te ontdekken en opnieuw te meten, wat de conclusie van "inferieur" veranderde in "concurrerend".
  • DESI: Menselijke interventie op Gate 2 dwong een herontwerp van het project toen bleek dat er geen nieuwe methode was, maar slechts een toepassing van bestaande tools.
  • HapGraph: Multi-agent deliberatie ontdekte discrepanties tussen de code en de tekst die bij een normale zelfcontrole waren gemist.

• Vergelijking:
  Tabel 3 toont aan dat het protocol-gedwongen project leidde tot een modulaire LaTeX-structuur, een duidelijk gescheiden directory voor protocol-artefacten (intake, planning, integratie) en een uitvoerbare analyse-pijplijn, terwijl het protocol-vrije model een enkelvoudig bestand en ad-hoc scripts produceerde.

5. Betekenis en Conclusie

De studie concludeert dat de kloof tussen "AI die over wetenschap kan schrijven" en "AI die verantwoord wetenschap kan doen" voornamelijk een kloof in methodologische overdracht is, en niet per se een tekort aan modelcapaciteit.

• Paradigmaverschuiving: In plaats van het trainen van grotere modellen, biedt deze aanpak een auditabel protocol dat op bestaande generieke LLMs kan worden toegepast.
• Schaalbaarheid: De methodologie kan worden verbeterd naarmate de onderliggende modellen beter worden, zonder het protocol zelf te hoeven veranderen.
• Toekomstperspectief: Hoewel het protocol proces waarborgt, kan het de inhoudelijke wetenschappelijke waarde (de "substantie") niet garanderen. Menselijke beoordeling op de gates blijft cruciaal voor wetenschappelijk oordeel. De auteurs suggereren dat toekomstige systemen deze constraints kunnen gebruiken als trainingsignalen om methodologie in het model te internaliseren.

Kortom, dit paper biedt een bewezen raamwerk om AI-agenten om te vormen van tekstgeneratoren tot rigoureuze, auditbare onderzoekers door wetenschappelijke methodologie te vertalen naar een uitvoerbare, fase-gedreven code.