DOME Copilot: Making transparency and reproducibility for artificial intelligence methods simple

DOME Copilot is een oplossing die grote taalmodellen gebruikt om gestructureerde rapporten van AI-methoden uit wetenschappelijke publicaties te extraheren, waardoor transparantie en reproduceerbaarheid in de levenswetenschappen worden vergemakkelijkt.

De kern

DOME Copilot: De "Vertaalrobot" voor de Geheime Talen van AI

Stel je voor dat wetenschappers over de hele wereld nieuwe, superkrachtige kunstmatige intelligentie (AI) ontdekken. Het is alsof ze nieuwe soorten magie vinden die ziektes kunnen genezen of klimaatproblemen kunnen oplossen. Maar er is een groot probleem: de recepten voor deze magie worden vaak niet goed opgeschreven.

Soms staat er alleen: "We hebben een toverstaf gebruikt." Maar welke toverstaf? Hoe lang heb je erop geoefend? Waar heb je hem gekocht? Zonder deze details is de magie een zwarte doos. Andere wetenschappers kunnen het niet namaken, en dat is gevaarlijk.

DOME Copilot is de oplossing voor dit probleem. Het is een slimme computerprogramma (een "AI-assistent") dat helpt om deze zwart-witte doosjes open te maken.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Kookboek"-crisis

Stel je voor dat een beroemde chef-kok een nieuw gerecht bedenkt dat iedereen wil proeven. Hij schrijft het recept op, maar in plaats van "2 eieren en 10 minuten bakken", schrijft hij: "Doe er wat eieren bij en bak het tot het lekker ruikt."
Als je dat recept probeert te kopiëren, mislukt het. In de wetenschap noemen we dit een reproduceerbaarheidscrisis. Veel AI-papers missen de cruciale details.

Vroeger moesten andere wetenschappers deze recepten handmatig nalezen en de ontbrekende stukjes proberen te raden. Dat is als het proberen te vinden van een naald in een hooiberg, terwijl je ook nog eens duizenden hooibergen moet doorzoeken. Het kost te veel tijd en niemand heeft er zin in.

2. De Oplossing: DOME Copilot, de Slimme Vertaler

DOME Copilot is als een super-snelle, hyper-geleerde vertaler die je een dik kookboek (het wetenschappelijke artikel) geeft.

• Wat hij doet: Hij leest het hele boek in een paar minuten.
• Hoe hij denkt: Hij zoekt niet alleen naar woorden, maar begrijpt de context. Hij weet dat als de auteur zegt "we gebruikten een model van Google", hij ook moet zoeken naar de link naar dat model en de licentievoorwaarden.
• Het resultaat: Hij vult automatisch een gestructureerd formulier in met alle belangrijke details: "Gebruikt model: X, Licentie: Y, Trainingstijd: Z uur."

Het is alsof je een robot hebt die voor je huiswerk doet, maar dan wel zo slim dat hij de antwoorden in de juiste vakjes zet.

3. Hoe werkt het precies? (De Magie Achter de Schermen)

Het programma werkt in drie stappen, net als een goed georganiseerd kantoor:

1. De Ontvangst: Je sleept je PDF-bestand (het artikel) in een digitaal venster.
2. De Analyse: De computer leest het bestand en zoekt naar de "geheime codes" (de data over de AI).
3. De Vertaling: Een slimme taalcomputer (een LLM) pakt die data en schrijft ze op in een strak, standaard formaat. Dit duurt ongeveer twee minuten.

Het is niet perfect (geen robot is dat), dus een mens kijkt er nog even overheen om te checken of de robot niet in de war is geraakt. Maar voor duizenden oude artikelen die niemand meer heeft gelezen, doet de robot het werk dat mensen nooit zouden kunnen doen.

4. Waarom is dit geweldig?

• Voor de schrijver: Het helpt onderzoekers om hun eigen werk beter te presenteren. Het is als een "spellingcontrole" voor je methoden, maar dan voor de hele structuur van je onderzoek.
• Voor de lezer: Je kunt nu snel zien of een AI-methode betrouwbaar is, zonder uren te moeten graven in saaie tekst.
• Voor de toekomst: Het maakt de hele wereld van wetenschappelijke kennis doorzoekbaar. Je kunt nu zoeken op "AI die kanker herkent" en direct de exacte recepten vinden, in plaats van alleen de titels.

Conclusie

DOME Copilot is de schakel die de kloof overbrugt tussen "we hebben iets gevonden" en "hier is precies hoe we het hebben gedaan". Het maakt de complexe wereld van AI-transparantie simpel, snel en voor iedereen toegankelijk. Het zorgt ervoor dat de magie van AI niet meer in de kast blijft staan, maar dat iedereen het recept kan kopiëren en verbeteren.

Kortom: Het maakt de wetenschap eerlijker, sneller en begrijpelijker voor iedereen.

Technische samenvatting

Probleemstelling

Hoewel kunstmatige intelligentie (AI) ongeëvenaarde doorbraken boekt in de levenswetenschappen, leidt de toename van gepubliceerde AI-methoden tot een reproductie- en herbruikbaarheidscrisis. Veel gepubliceerde methoden fungeren als "black boxes" waarbij cruciale informatie ontbreekt of onduidelijk is verpakt.

• Rapportagekwaliteit: Bestaande richtlijnen (zoals de DOME-aanbevelingen) vereisen gestructureerde metadata, maar onderzoekers vinden het handmatig invullen hiervan tijdrovend en vaak onbeloond.
• Adoptiebarrières: Het handmatig annoteren van een publicatie kan meerdere uren duren, afhankelijk van de complexiteit. Dit leidt tot lage naleving van rapportagestandaarden, waardoor publishers en onderzoekers worstelen met de implementatie van transparante rapportage.
• Schalingsprobleem: Er is een dringende behoefte aan een oplossing die de menselijke bottleneck bij het creëren van gestructureerde AI-methodenrapporten wegneemt, zodat grote hoeveelheden bestaande en nieuwe literatuur toegankelijk kunnen worden gemaakt.

Methodologie: DOME Copilot

De auteurs introduceren DOME Copilot, een tool gebaseerd op een Large Language Model (LLM) die automatisch gestructureerde DOME-compliant rapporten extrahert uit manuscripten (PDF-bestanden).

Technische Architectuur:

1. Invoer: Gebruikers laden een manuscript (PDF) en optioneel supplementair materiaal in via een gebruiksvriendelijke Gradio-interface.
2. Documentverwerking: Een workflow gebouwd met LlamaIndex parseert en extrahert de tekst uit de PDF.
3. Embeddings: Het model Qwen3-Embeddings-4B genereert tekst-embeddings die worden opgeslagen in een vector-index. Dit maakt Retrieval-Augmented Generation (RAG) mogelijk.
4. Generatie: De annotatie wordt gegenereerd door een middelgroot LLM: Mistral Small 3.1 24B Instruct. Dit model werd gekozen vanwege de balans tussen snelheid en het vermogen tot tekstsamenvatting en structureren.
5. Output: Het systeem genereert een gestructureerd JSON-schema dat direct compatibel is met de DOME Registry.
6. Iteratieve Verbetering (v0 naar v2): Het systeem onderging een iteratief ontwikkelproces. Op basis van menselijke curatie van een subset van 30 publicaties (uit een benchmark van 222) werden de prompts geoptimaliseerd. De belangrijkste verbetering in versie 2 (v2) was een drastische reductie van de "woordigheid" (verbosity), wat resulteerde in beknoptere en gerichter informatie-extractie.

Belangrijkste Bijdragen

1. Automatisering van Metadata: DOME Copilot automatiseert het proces van het omzetten van ongestructureerde manuscripten naar gestructureerde DOME-rapporten, wat de tijd voor handmatige annotatie van uren naar minuten reduceert.
2. Schaalbare Infrastructuur: Het systeem is ontworpen om te schalen naar de volledige corpus van wereldwijde AI-literatuur, waardoor de DOME Registry kan groeien zonder menselijke beperkingen.
3. Integratie in Workflow: De tool is ontworpen om naadloos te integreren in bestaande journal-submission workflows en kan via API's worden ingebed in webportals.
4. Open Source: De infrastructuur, data-preparatie en analyse-scripts zijn open source beschikbaar gesteld (GitHub en Zenodo), wat herbruikbaarheid en transparantie bevordert.

Resultaten en Evaluatie

De prestaties van DOME Copilot v2 werden getest op drie datasets:

• Semantische Similariteit (Dataset A):

  • Vergelijking tussen 192 door de AI gegenereerde annotaties en menselijke handmatige annotaties.
  • BERTScore: De scores lagen voornamelijk tussen 0,35 en 0,50. Hoewel dit niet perfect is (een score van 1 is identiek), duidt dit op stabiele semantische gelijkenis. De variatie wordt deels veroorzaakt door de inconsistentie in de menselijke "ground truth" (soms kopiëren mensen tekst direct uit het manuscript).
  • De AI-generaties waren over het algemeen beknopter en gestructureerder dan menselijke annotaties.

• Schalingsprestaties (Dataset B - Positief):

  • Test op 1.012 nieuwe publicaties met AI-methoden.
  • De "volledige generatie" (succesvolle extractie) correleerde sterk met bekende trends in de DOME Registry (bijv. velden die vaak niet worden gerapporteerd, zoals modeluitvoeringstijd, resulteerden in minder successen).
  • "Partiële generatie" trad op bij velden waar slechts een deel van de benodigde data beschikbaar was (bijv. licentie-informatie ontbreekt vaak, terwijl de URL wel aanwezig is).

• Negatieve Selectie (Dataset C):

  • Test op 1.012 publicaties zonder relevante AI-inhoud (bijv. economie, literatuuroverzichten zonder methoden).
  • Het model toonde robuste hallucinatie-resistentie:

    • 50% van de dataset werd correct afgewezen als "sterke negatieven" (geen generatie).

    • Voor "zachte negatieven" (bijv. meta-studies) werden standaard meldingen teruggegeven dat er onvoldoende informatie was, in plaats van gefabriceerde data.

• Efficiëntie:

  • De gemiddelde verwerkingstijd per PDF is ongeveer 2 minuten.
  • Versie 2 (v2) leverde aanzienlijk beknoptere output op dan versie 0, wat de leesbaarheid en bruikbaarheid voor eindgebruikers verbetert.

Betekenis en Toekomstperspectief

DOME Copilot lost een fundamenteel probleem op: de onhaalbaarheid van handmatige, schaalbare rapportage van AI-methoden.

• Transparantie en Reproductie: Door gestructureerde data te genereren, wordt de "black box" van AI-methoden doorbroken, wat essentieel is voor wetenschappelijke integriteit.
• Drie Gebruiksscenario's:
  1. Zelfcontrole: Onderzoekers kunnen hun eigen manuscripten snel controleren op ontbrekende methodologische details.
  2. Publicatieworkflow: Publishers kunnen automatisch gestructureerde rapporten genereren voor peer review, wat de administratieve last verlaagt.
  3. Bulk-archivering: Het systeem kan historische literatuur automatisch annoteren, waardoor eerdere studies opnieuw vindbaar en bruikbaar worden.
• Transparantie over Menselijke Inbreng: Voor bulk-verwerking (waar handmatige validatie onmogelijk is) worden de annotaties in de DOME Registry transparant gemarkeerd als "zonder menselijke validatie", zodat gebruikers de betrouwbaarheid kunnen inschatten.

Concluderend biedt DOME Copilot een bewezen concept (proof-of-concept) dat rapportagerichtlijnen effectief kan vertalen naar de praktijk door de menselijke inspanning te minimaliseren en de schaalbaarheid te maximaliseren, wat cruciaal is voor de toekomst van transparante AI in de levenswetenschappen.