Neurodata Without Boredom: Benchmarking Agentic AI for Data Reuse

Dit artikel toetst het vermogen van agentische AI om hergebruik van gefragmenteerde neurowetenschappelijke data te automatiseren door de prestaties te testen bij het laden, begrijpen en herschikken van datasets uit acht recente studies, waarbij blijkt dat hoewel agenten uitstekend presteren in individuele deeltaken, ze momenteel moeite hebben om volledig foutloze end-to-end oplossingen te produceren en toezicht met menselijke tussenkomst vereisen.

De kern

Stel je voor dat je een chef bent die een enorme, heerlijke stoofpot wil bereiden met recepten en ingrediënten uit acht verschillende keukens. Elke keuken heeft zijn eigen manier van organiseren: de ene gebruikt potten met het label "Kruidig", de andere gebruikt dozen met het label "Heet", en een derde gooit gewoon alles in een emmer met een post-it die "Misschien" zegt.

Om de stoofpot te maken, moet je eerst uitzoeken wat er in elke enkele container zit, de labels vertalen zodat ze allemaal hetzelfde betekenen, en ze vervolgens mengen. In de wereld van de neurowetenschap is deze "stoofpot" data over hoe muizenhersenen werken, en de "keukens" zijn verschillende onderzoekslaboratoria.

Dit artikel, getiteld "Neurodata Without Boredom", stelt een eenvoudige maar moeilijke vraag: Kan een slimme computerrobot (een "Agentic AI") dit saaie, rommelige vertaalwerk voor ons doen?

Hier is de opsplitsing van wat de onderzoekers vonden, met gebruikmaking van eenvoudige analogieën:

Het Probleem: De "Verloren in Vertaling"-Rompslomp

Neurowetenschappelijke data is ongelooflijk gefragmenteerd. Sommige laboratoria slaan data op in een standaardformaat (zoals een universele taal), terwijl anderen aangepaste formaten gebruiken (zoals een geheime code die alleen zij begrijpen).

• De Oude Manier: Een menselijke wetenschapper moet het artikel van het lab lezen, naar hun code kijken, hun bestanden openen en handmatig uitzoeken hoe alles naar een gemeenschappelijk formaat vertaald moet worden. Dit is traag, saai en vatbaar voor menselijke fouten.
• De Nieuwe Hoop: Large Language Models (LLM's) zijn als supersnelle, hypergeconcentreerde stagiairs. Ze kunnen code en tekst sneller lezen dan mensen en worden niet snel saai. De onderzoekers vroegen zich af: Kunnen deze AI-stagiairs de vertaaltaken perfect uitvoeren?

Het Experiment: De "Acht Keukens"-Uitdaging

De onderzoekers stelden een test op met acht verschillende neurowetenschappelijke artikelen (de acht keukens).

1. De Opzet: Ze gaven twee verschillende AI-agenten (genaamd Claude Code en Codex) de ruwe data, de code en het wetenschappelijke artikel voor elke keuken.
2. De Taak: De AI moest optreden als vertaler. Het moest de rommelige, unieke bestanden van elk lab lezen en omzetten naar één schoon formaat dat gebruikt kon worden om een computer te trainen om muizengedrag te voorspellen (zoals "Zal de muis links of rechts draaien?").
3. De Regels: De AI moest een strenge checklist volgen, zijn notities opschrijven en bewijzen dat hij de data begreep voordat hij verder ging.

De Resultaten: Goed in Stappen, Slecht in de Hele Reis

De resultaten waren een mix van indrukwekkende capaciteit en frustrerende inconsistentie.

1. De AI is een Geweldige "Stap-Uitvoerder"
Als je de AI vroeg om slechts één kleine taak te doen—zoals "laad dit bestand" of "tel het aantal muizen"—dan deed hij meestal een fantastische job. Hij was vaak net zo goed als, of zelfs beter dan, een menselijk expert bij deze geïsoleerde stappen.

2. De AI Strijdt met de "Marathon"
Het probleem deed zich voor wanneer de AI al die stappen moest samenvoegen tot één lange, foutloze keten.

• De Analogie: Stel je een estafettewedstrijd voor. De AI is uitstekend in het lopen van zijn eigen etappe. Maar vaak laat hij de stok vallen net voordat hij hem doorgeeft aan de volgende loper, of geeft hij hem aan de verkeerde persoon.
• De Realiteit: In veel gevallen zou de AI code schrijven die draaide (niet crashte), maar de data erin was lichtjes verkeerd. Bijvoorbeeld: hij zou besluiten om een "trial" (een enkel experiment) te tellen in seconden terwijl het artikel minuten aangaf, of hij zou per ongeluk belangrijke hersencellen filteren omdat hij de verkeerde regel gokte.

3. De "Subtiele Fouten"-Valstrik
De gevaarlijkste fouten waren diegene die aan de oppervlakte correct leken.

• Voorbeeld: In één geval besloot de AI om data te groeperen op "experiment ID" in plaats van "sessie ID". Het klonk logisch, maar het splitste één opnamesessie op in meerdere nep-sessies, waardoor de data kapot ging. De code draaide perfect, maar de wetenschap was gebroken.
• De Conclusie: Deze fouten waren als een vertaler die "links" en "rechts" verwisselt in een recept. De cake bakken nog steeds, maar hij smaakt verkeerd.

De "Zelfcontrole"-Mislukking

De onderzoekers vroegen de AI ook om zijn eigen werk te beoordelen. Ze vroegen: "Heb je fouten gemaakt?"

• Het Resultaat: De AI was een slechte rechter. Hij miste vaak zijn eigen grote fouten of markeerde perfect goede beslissingen als fouten. Het was als een student die denkt dat hij een 'A' heeft gehaald op een toets die hij eigenlijk heeft gezakt.
• Conclusie: Je kunt niet vertrouwen op de AI om zijn eigen huiswerk te controleren. Een mens moet nog steeds over de schouder meekijken.

Het Eindoordeel

Het artikel concludeert dat Agentic AI een krachtig hulpmiddel is, maar geen toverstaf.

• Wat het kan: Het kan de "saaiheid" en de tijd die nodig is om te starten met een nieuwe dataset drastisch verminderen. Het kan het zware werk van het lezen en de initiële vertaling doen.
• Wat het nog niet kan: Het kan niet worden vertrouwd om volledig alleen te werken. Het mist het "gezonde verstand" en de diepe wetenschappelijke intuïtie om subtiele, hoog-risico fouten op te sporen.
• De Toekomstige Werkwijze: De beste aanpak is een mens-in-de-lus systeem. Denk aan de AI als een zeer snelle, zeer enthousiaste stagiair die 90% van het werk doet, en de menselijke wetenschapper als de supervisor die het eindproduct beoordeelt om de lastige 10% fouten op te vangen die de AI heeft gemist.

Kortom: De AI kan ons helpen om niet meer saai te worden door data-opmaak, maar we moeten nog steeds degenen zijn die het stuurwiel vasthouden om ervoor te zorgen dat we niet van een klif rijden.

Technische samenvatting

Technische Samenvatting: Neurodata Without Boredom: Benchmarken van Agente AI voor Datahergebruik

Probleemstelling

Neurowetenschappelijke data is inherent gefragmenteerd over laboratoria, experimentele paradigma's en opnamemodi (bijv. elektrofysiologie, calciumbeeldvorming). Hoewel standaardisatie-initiatieven zoals Neurodata Without Borders (NWB) en curatieprojecten op consortiumschaal (bijv. International Brain Lab, Allen Brain Observatory) de interoperabiliteit hebben verbeterd, blijft er een fundamentele spanning bestaan: formaten die flexibel genoeg zijn om diverse experimenten op te vangen, zijn zelden zelfverklarend, terwijl voldoende beschrijvende formaten documentatieverantwoordelijkheden vereisen die slechts weinig laboratoria kunnen volhouden. Bijgevolg vereist het hergebruiken van gedeelde data vaak aanzienlijke handmatige inspanning om maatwerkformatkeuzes te ontcijferen, wat een knelpunt creëert voor integratie over datasets heen en voor het trainen van foundation-modellen van groot formaat voor hersenen en gedrag.

Agente AI, met name Large Language Models (LLM's) die code en tekst kunnen lezen met aanhoudende aandacht voor details op laag niveau, biedt een potentiële oplossing. Het blijft echter onduidelijk of huidige codeeragenten de ambiguïteit van wetenschappelijke dataformaten betrouwbaar kunnen navigeren om foutloze, end-to-end dataconversiepijplijnen te produceren die geschikt zijn voor downstream-analyse.

Methodologie

De auteurs introduceerden een realistisch benchmarkkader om agente AI te evalueren op de taak van wetenschappelijk datahergebruik.

Selectie van Dataset:
De studie gebruikte acht recente papers die grootschalige opnames van neurale populaties bij muizen bestudeerden en zowel data als code vrijgaven. De datasets bestreken:

• Modi: Tweefoton-calciumbeeldvorming, Neuropixels-elektrofysiologie en mesoscoop-calciumbeeldvorming.
• Paradigma's: Hoofd-vaste besluitvorming, navigatie in virtuele realiteit en vrij bewegend gedrag.
• Formaten: NWB-bestanden, gespecialiseerde consortium-API's (IBL, ABO) en aangepaste Python/MATLAB-bestanden.
• Schaal: Varieerde met meerdere ordes van grootte wat betreft dieren, sessies en opgenomen neuronen.

Taalontwerp:
Voor elke paper kregen agenten de opdracht om de ruwe data te laden, de methoden en code te begrijpen, en de data te herformateren naar een gemeenschappelijke, voorgeschreven structuur geschikt voor het trainen van een lineaire decoder. Het doel van de decoder was het voorspellen van taak- of gedragsvariabelen uit neurale activiteit. Het outputformaat volgde een hiërarchie van proefpersonen, sessies en trials, met specifieke eisen voor uitlijning en discretisatie van input/output-variabelen.

Agentopstelling:
Twee algemene codeeragenten werden geëvalueerd: Claude Code (Opus 4.6) en Codex (GPT 5.4).

• Omgeving: Gecontaineriseerd met vooraf geïnstalleerde afhankelijkheden (PyNWB, suite2p, dandi, ONE-api, allen-sdk).
• Prompting: Agenten ontvingen de ruwe data, analysecode, paper-PDF en een gestructureerde prompt. De prompt dwong een rigoureuze 14-staps workflow af, waarbij de agent een CONVERSION_NOTES.md-werkblad moest bijhouden om beslissingen te documenteren, consistentie over bronnen (code, data, paper) te verifiëren en resultaten te valideren op een klein voorbeeld voordat het volledige dataset werd verwerkt.
• Evaluatieprotocol: Elke dataset-agentcombinatie werd drie keer uitgevoerd. De evaluatie vond plaats op twee assen:
  1. Op uitkomst gebaseerd: Controleren of outputbestanden werden aangemaakt, of datasetstatistieken (sessies, trials, neuronen) overeenkwamen met referentiewaarden (waar beschikbaar), en of de downstream-decoderprestaties een drempel bereikten (95% van de referentie-accuraatheid).
  2. Op proces gebaseerd: Een handmatige rubric beoordeelde de wetenschappelijke en implementatiebeslissingen voor elke subtaak (data laden, trial-construktie, preprocessing, variabele constructie, omgang met ontbrekende data, code-efficiëntie) op een vijfniveau-schaal: onjuist, zorgwekkend, ok, overeenkomstig, beter.

Zelfevaluatie-test:
De auteurs testten ook of agenten konden fungeren als beoordelaars, door hun eigen of die van andere agenten opgeloste oplossingen te beoordelen met dezelfde handmatige rubric, om te bepalen of geautomatiseerde kwaliteitscontrole haalbaar is.

Belangrijkste Bijdragen

1. Benchmarkkader: Introductie van een uitgebreid benchmark voor het evalueren van codeeragenten op wetenschappelijk datahergebruik, dat acht heterogene neurowetenschappelijke datasets met diverse formaten en paradigma's bestrijkt.
2. Dubbelmodus Evaluatie: Een nieuwe evaluatiestrategie die uitkomst-niveau-metrics (decoderprestaties, statistieken) combineert met een op proces gebaseerde handmatige rubric. Deze aanpak onthulde dat agenten vaak slagen op individuele subtaken, maar vaak falen in het handhaven van correctheid over de volledige pijplijn heen, waarbij fouten vaak subtiel zijn en niet detecteerbaar door geaggregeerde metrics alleen.
3. Karakterisering van Falingsmodi: Een gedetailleerde taxonomie van agentfouten, gecategoriseerd als:
   • FILTER: Inconsistent of ongemotiveerd dataverwijzen.
   • TIME_RES: Onjuiste temporele resolutie of uitlijningskeuzes.
   • PROCESS: Gebrekkige implementatie van complexe verwerkingspijplijnen.
   • ASSUME: Onjuiste aannames over datasemantiek zonder verificatie.
   • VARNAME: Misinterpretatie van ambigu variabele namen.
     De studie benadrukt dat deze falen vaak "oppervlakkig redelijk" zijn en moeilijk te detecteren zonder zorgvuldige inspectie.
4. Betrouwbaarheid van Agent-als-Beoordelaar: Empirisch bewijs dat agenten onbetrouwbare beoordelaars zijn van dataconversiekwaliteit, met name zonder grondwaarheidsreferenties, waarbij ze een lage precisie en recall vertonen bij het detecteren van fouten.

Resultaten

• End-to-End Prestaties: Hoewel agenten de workflow voor elke run succesvol voltooiden en vaak overeenkwamen met gouden standaardoplossingen op individuele metrics, produceerden ze zelden een volledig foutloze end-to-end oplossing in één enkele trial. Volledige overeenstemming over alle controles binnen één enkele run was zeldzaam.
• Subtaak Prestaties: Agenten presteerden goed op individuele subtaken (bijv. data laden) maar hadden moeite met de integratie van deze stappen. De variabiliteit was hoog; ongeveer 25% van de subtaken toonde ten minste een schommeling van één graad in beoordeling over herhaalde runs, en 5% toonde een schommeling van drie graden (bijv. van "overeenkomstig" naar "onjuist").
• Formatonafhankelijkheid: De prestaties van agenten verbeterden niet significant op datasets die in meer doordachte formaten werden gedeeld (bijv. NWB of consortium-API's) vergeleken met aangepaste formaten. Agenten omzeilden vaak de meegeleverde API's om ruwe data direct te verwerken, zelfs wanneer het tegendeel werd aangegeven.
• Aard van Fouten: De meeste fouten waren geen eenvoudige uitvoeringsfouten, maar weerspiegelden vergissingen in wetenschappelijke interpretatie (bijv. het aannemen van de betekenis van een variabele op basis van een "standaardgeval"-conventie in plaats van het verifiëren tegen de specifieke dataset).
• Zelfevaluatie: Agenten die als beoordelaars optraden, presteerden slechts licht boven het toevalsniveau op onbewaakte datasets (balansaccuraatheid ~60%). Zelfs met grondwaarheidsreferenties (bewaakte datasets), terwijl de balansaccuraatheid verbeterde (tot 78,4%), bleef de precisie laag, wat aangeeft dat agenten veel aanvaardbare beslissingen als fouten markeerden.

Betekenis en Claims

De paper claimt dat huidige agente AI-kaders het vermogen bezitten om de noodzakelijke stappen van wetenschappelijk datahergebruik uit te voeren, maar het ontbreekt hen aan de betrouwbaarheid om correctheid te handhaven over lange ketens van verwerkingsstappen die vereist zijn voor wetenschappelijke strengheid.

• Noodzaak van Mens-in-de-Lus: De auteurs concluderen dat hoewel agenten het saaie onboardingwerk voor nieuwe datasets aanzienlijk kunnen verminderen, menselijke beoordeling in de lus noodzakelijk blijft. Specifiek moet menselijke beoordeling focussen op de subtaken waar agenten het meest vatbaar zijn voor subtiele, wetenschappelijk significante fouten.
• Best Practices voor Data Delen: De studie suggereert praktische richtlijnen voor data delen in het tijdperk van agente AI:
  • Releases moeten werkende analysecode bevatten die direct met data interacteert om te dienen als een uitvoerbaar referentiepunt.
  • Variabele namen moeten duidelijk, eenduidig en consistent zijn met hun beoogde betekenis.
  • Datasets moeten verwerkte variabelen bieden die door downstream-gebruikers worden verwacht, in plaats van reconstructie uit ruwe data te vereisen.
  • Het verstrekken van verwachte datasetstatistieken en sanity-check-doelen kan de betrouwbaarheid van agenten verbeteren.
• Beperkingen: De auteurs erkennen de bescheiden schaal van de benchmark (acht datasets, twee agenten) en de afhankelijkheid van handmatige beoordelingen. Ze benadrukken dat hun bevindingen de voortdurende noodzaak van deskundige oordeelsvorming bij wetenschappelijk datahergebruik ondersteunen, en agente AI positioneren als een krachtige assistent in plaats van een autonoom vervanging voor menselijke curatie.