A Scientific Human-Agent Reproduction Pipeline

Dit artikel introduceert SHARP, een gestructureerd mens-agent samenwerkingskader dat wetenschappelijke analyses reproduceert door AI-agenten de implementatie te laten uitvoeren onder menselijke supervisie, waardoor onderzoekers zich kunnen richten op wetenschappelijke oordeelsvorming in plaats van coderen.

De kern

Stel je voor dat je een heel complexe, oude receptenkaart van een beroemde chef-kok vindt. De kaart beschrijft precies hoe je een fantastisch gerecht moet maken, maar de instructies staan in een taal die alleen de chef begrijpt (wiskunde, code, vakjargon). Als je het gerecht wilt maken, moet je die instructies eerst vertalen naar een taal die een moderne keukenrobot begrijpt.

Dat is precies wat dit paper, getiteld "A Scientific Human-Agent Reproduction Pipeline" (of kortweg SHARP), doet. Het is een nieuwe manier om wetenschappelijke onderzoeken te "nabouwen" met behulp van kunstmatige intelligentie (AI).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vertaaltaak"

Wetenschappers publiceren hun resultaten in artikelen. Vaak is het heel lastig om die artikelen later opnieuw te maken (reproduceren) om te zien of het echt klopt. Het is als proberen een auto te bouwen alleen op basis van een foto en een paar zinnen in een magazine. Het kost veel tijd, en wetenschappers krijgen daar vaak geen lof voor, terwijl ze wel hun tijd kwijt zijn.

De auteurs zeggen: "Wacht even, dit is eigenlijk gewoon een vertaaltaak."

• De menselijke taal: Het wetenschappelijke artikel (wat er staat).
• De machine-taal: De computercode (hoe het werkt).

In plaats van dat een mens urenlang moet typen en puzzelen, kan een slimme AI-agent die vertaling doen. De AI is als een ultra-nauwkeurige tolk die de instructies van de chef-kok (het artikel) omzet in een stappenplan voor de keukenrobot (de computercode).

2. De Oplossing: SHARP (De Samenwerkings-Keuken)

SHARP is geen robot die alles alleen doet. Het is een samenwerking tussen een menselijke onderzoeker en een AI-agent.

Stel je dit voor als een bouwproject:

• De Mens (De Architect): De onderzoeker kijkt naar het originele artikel en zegt: "We bouwen dit huis. Zorg dat het dak stevig is en dat we de juiste materialen gebruiken." De mens houdt het toezicht en zorgt voor de wetenschappelijke oordeelsvorming.
• De AI (De Bouwmeester): De AI neemt de instructies en begint te werken. Hij pakt de gereedschappen, kiest de materialen en begint te bouwen.

Hoe werkt het in de praktijk?

1. Het Plan: Eerst maken de mens en de AI samen een bouwplan. De AI zegt: "Ik ga dit in 10 stappen doen."
2. De Werkplek: De AI werkt aan één stap tegelijk (bijvoorbeeld: "Download de data" of "Train het model"). Hij gebruikt speciale hulpmiddelen (sub-agenten) die zich specialiseren in testen, statistieken en code schrijven.
3. De Controlepunten (Checkpoint): Dit is het belangrijkste. Na elke stap stopt de AI en zegt: "Ik ben klaar met deze muur. Kijk eens of het goed staat."
4. De Menselijke Hand: De onderzoeker kijkt, zegt "Ja, prima" of "Nee, die muur staat scheef, maak het recht." Pas als de mens goedkeurt, gaat de AI verder met de volgende stap.

3. Het Experiment: De Deeltjesfysica

Om te bewijzen dat het werkt, hebben de auteurs een bekend experiment uit de deeltjesfysica nagebouwd.

• De Taak: In deeltjesversnellers (zoals de LHC) botsen deeltjes tegen elkaar en ontstaan er stralen (jets). De wetenschappers wilden een computerprogramma maken dat kan zien welk type deeltje die straal veroorzaakte.
• Het Resultaat: De AI bouwde het programma volledig op basis van het oude artikel. De resultaten kwamen exact overeen met wat de originele wetenschappers hadden gevonden. Het programma was zelfs zo goed dat het net zo snel en nauwkeurig werkte als het origineel.

4. Waarom is dit zo speciaal?

Vaak denken mensen dat AI mensen gaat vervangen. Bij SHARP gebeurt het tegenovergestelde: de mens wordt versterkt.

• Vroeger: De onderzoeker zat uren te typen, te debuggen en te zoeken naar foutjes in de code.
• Nu: De AI doet het saaie, technische werk (het typen en testen). De onderzoeker kan zich richten op het begrijpen van wat er gebeurt. De mens wordt van "code-schrijver" een "code-baas".

Het is alsof je vroeger zelf elke steen in een muur moest leggen, en nu heb je een machine die de stenen legt, maar jij bepaalt nog steeds of de muur recht staat en of hij mooi is.

5. De Grenzen (Niet alles is perfect)

De auteurs zijn eerlijk: de AI is slim, maar niet onfeilbaar.

• Soms maakt de AI een kleine fout in de details (bijvoorbeeld een verkeerde instelling voor een leersnelheid), maar dat wordt vaak opgemerkt door de tests.
• Het grootste risico: Soms is er een valkuil die alleen een mens met veel ervaring ziet. Bijvoorbeeld: als de data per ongeluk een "geheim antwoord" bevat dat de AI niet mag zien. Een computer ziet dat niet als een probleem, maar een mens wel. Daarom is de menselijke controle (de "Architect") onmisbaar.

Conclusie

Dit paper introduceert SHARP, een manier om wetenschap makkelijker en betrouwbaarder te maken. Het gebruikt AI als een super-efficiënte vertaler en bouwer, maar laat de mens de regie houden. Het doel is niet om wetenschappers te vervangen, maar om hen te helpen hun kennis te bewaren en te begrijpen, zodat ze zich kunnen richten op het ontdekken van nieuwe dingen in plaats van het typen van oude code.

Kortom: De AI doet het zware tillen, de mens bepaalt de richting.

Technische samenvatting

Probleemstelling

Het reproduceren van wetenschappelijke data-analyses is cruciaal voor het behoud van kennis, het bouwen van uitbreidbare codebases en het verdiepen van het onderzoekersbegrip. Echter, de inspanning die hiervoor nodig is, weegt vaak niet op tegen de academische erkenning die onderzoekers hiervoor krijgen, waardoor gepubliceerde resultaten zelden onafhankelijk worden gereproduceerd.
De kern van het probleem ligt in de aard van de taak: het vertalen van menselijk leesbare kennis (papieren, documentatie) naar machine-leesbare analysecode. Dit proces is vaak tijdrovend en vatbaar voor menselijke fouten of interpretatieverschillen.

Methodologie: Het SHARP Framework

De auteurs introduceren SHARP (Scientific Human-Agent Reproduction Pipeline), een gestructureerd raamwerk voor het reproduceren van wetenschappelijke analyses via samenwerking tussen mens en AI-agent. Het framework positioneert zich als een middenweg tussen rigide, taakspecifieke pipelines en volledig vrije agent-workflows.

Kernprincipes en Architectuur:

• Vertaaltaken: SHARP behandelt reproduceren als een vertaalttaak in plaats van een creatieve probleemoplossing. De agent fungeert als een nauwkeurige vertaler van een paper naar code.
• Iteratieve Werkstroom: Het proces volgt het "Ralph-pattern" en verloopt in twee fasen:
  1. Initialisatie: De agent analyseert het paper, stelt verduidelijkende vragen en stelt een reproduceerplan op (plan.md) met discrete taken. De onderzoeker keurt dit plan goed en definieert "checkpoints".
  2. Implementatie: De agent voert taken autonom uit. Bij checkpoints pauzeert de agent, vat de voortgang samen en vraagt om menselijke feedback voordat hij doorgaat.
• Specialistische Subagenten: Binnen elke iteratie delegeert de hoofdagent taken aan gespecialiseerde subagenten:
  • Paper Analyst: Haalt informatie uit het paper.
  • Code & Test Agents: Implementeren code in een test-driven stijl.
  • Statistician: Handhaaft statistische analyses.
  • Critic: Handhaaft principes van modulariteit, testbaarheid en robuustheid (FlexCAST).
• Technische Stack: Het systeem draait op Claude Code (LLM: claude-opus-4.6) binnen een beveiligde containeromgeving (claude-hpc) op HPC-systemen (NERSC Perlmutter). De code wordt beheerd via Git en draait in een geïsoleerde Conda-omgeving.

Experimentele Opzet

De validatie van SHARP vond plaats in de deeltjesfysica, specifiek bij het Large Hadron Collider (CERN).

• Taak: Reproductie van de ParticleNet-paper (arXiv:1902.08570). Dit betreft een grafische neurale netwerkmethode voor het classificeren van "jets" (sprays van detecteerbare deeltjes) die ontstaan uit top-quarks versus QCD-jets.
• Model: De focus lag op de ParticleNet-Lite architectuur.
• Doelstellingen: Het bereiken van vier specifieke metrieken: nauwkeurigheid (accuracy), het oppervlak onder de ROC-curve (AUC), en achtergrondrejectie bij 50% en 30% signaalefficiëntie (R50 en R30).
• Randvoorwaarden: De agent moest een volledige pipeline bouwen, inclusief dataset-download, modeltraining, evaluatie en onzekerheidsschatting, met ondersteuning voor GPU en CPU.

Resultaten

De auteurs voerden drie onafhankelijke SHARP-runs uit en vergeleken deze met de oorspronkelijke resultaten uit het paper.

1. Prestaties: De gereproduceerde resultaten kwamen zeer nauwkeurig overeen met de originele paper-resultaten (binnen 0,1 procentpunt voor nauwkeurigheid).
   • Voorbeeld: De originele nauwkeurigheid was 0,937; SHARP-run 1, 2 en 3 leverden respectievelijk 0,938, 0,938 en 0,938 op.
   • De AUC en rejectie-metrieken (R50, R30) lagen eveneens binnen de statistische spreiding van de originele resultaten.
2. Kwaliteit van Code: De gegenereerde codebase was goed gestructureerd, gebaseerd op de law workflow-engine, en bevatte uitgebreide unit-tests. De code werd onafhankelijk geverifieerd door een menselijke expert.
3. Mens-Agent Interactie:
   • De interactie werd geanalyseerd met een nieuw hulpmiddel (claude-parser) dat berichten classificeerde op complexiteit (makkelijk, medium, moeilijk) en type (essentieel, optioneel, meta).
   • De eerste prompt van de mens was altijd een "hard essential" interventie (bepalen van scope).
   • Vervolgende interacties varieerden van efficiënte goedkeuringen tot noodzakelijke correcties en scope-aanpassingen. Een volledige reproductie nam ongeveer één werkdag in beslag, waarbij de onderzoeker meerdere runs parallel kon beheren.

Beperkingen en Risico's

• Subtiele Implementatieverschillen: De agent introduceerde soms kleine afwijkingen (bijv. in leersnelheidsplanning of activatiefuncties) die doorgaans weinig impact hadden, maar wel aandacht vereisten.
• Domeinspecifieke Valkuilen: Een ernstig risico is het niet detecteren van domeinspecifieke fouten door geautomatiseerde tests. Een voorbeeld is het per ongeluk laden van een "waarheid-label" deeltje in de dataset, wat de classificatietaak triviaal maakt. Dit werd tijdens de ontwikkeling ontdekt, maar niet door de automatische tests. Dit onderstreept dat menselijk toezicht onmisbaar blijft.

Bijdragen en Significantie

• Nieuw Paradigma voor Reproductie: SHARP biedt een praktisch model waarbij de rol van de onderzoeker verschuift van het schrijven van code naar het begrijpen, evalueren en sturen van de analyse. Dit verhoogt het menselijk begrip in plaats van het te vervangen.
• Gestructureerde Agent-Workflow: Het paper demonstreert dat een hybride aanpak (menselijke checkpoints + autonome agenten) effectief is voor complexe, niet-triviale wetenschappelijke taken.
• Kwaliteitsborging: Door het gebruik van gespecialiseerde subagenten en strikte testprotocollen wordt consistentie en codekwaliteit gewaarborgd zonder dat elke onderzoeker best practices opnieuw hoeft te internaliseren.
• Open Source: De auteurs hebben de SHARP-template, het conversatie-analyse-tool (claude-parser) en de container-tool (claude-hpc) open source beschikbaar gesteld, wat de adoptie en verdere ontwikkeling in de wetenschappelijke gemeenschap faciliteert.

Concluderend toont SHARP aan dat AI-agenten, wanneer correct ingezet binnen een gestructureerd mens-in-de-loop framework, de barrière voor wetenschappelijke reproductie aanzienlijk kunnen verlagen, terwijl de wetenschappelijke integriteit en het menselijke oordeel centraal blijven.