Missing by design: why genomic metadata must be captured at submission, not recovered from the literature

Stel je een bibliotheek voor waar jaarlijks miljoenen boeken worden toegevoegd, maar de planken zijn leeg van de meest cruciale informatie: wie ze heeft geschreven, in welke taal ze zijn en welk verhaal ze vertellen. In de wereld van de biologie is deze bibliotheek een enorme wereldwijde archief waar wetenschappers de genetische blauwdrukken van planten en dieren opslaan. Deze blauwdrukken, bekend als genoomassemblages, zijn de fundamentele instructies voor het leven. Om deze instructies echter begrijpelijk te maken, hebben onderzoekers specifieke details nodig over de organisme, zoals of het één set chromosomen heeft of meerdere, tot welk specifiek ras het behoort, en hoe het genetisch materiaal ervan is georganiseerd. Zonder deze details is de blauwdruk slechts een wirwar van letters die niet betrouwbaar gelezen of vergeleken kan worden met andere levensvormen.

Jarenlang hebben wetenschappers deze genetische blauwdrukken in een razendsnel tempo in het archief gedeponeerd. Toch ontbreekt de essentiële context die nodig is om ze te interpreteren vaak. De informatie wordt ofwel niet gevraagd wanneer de gegevens worden ingediend, of het is op een manier opgeschreven die computers niet kunnen begrijpen. Dit creëert een aanzienlijk probleem voor iedereen die deze gegevens wil gebruiken om ziekten te bestuderen, gewassen te verbeteren of evolutie te begrijpen. Als een computerprogramma probeert de genetica van een plant te analyseren zonder de specifieke structuur te kennen, kan het vol vertrouwen maar volkomen foutieve conclusies trekken, waarbij het natuurlijke variaties aanziet voor fouten.

Een team van onderzoekers heeft nu precies onderzocht hoe deze informatiekloof ontstaat en of het kan worden opgelost door naar de wetenschappelijke artikelen te kijken die de genetische records vergezellen. Ze ontdekten dat de ontbrekende details niet slechts willekeurige weglatingen zijn; ze zijn het resultaat van een systeem dat indieners in staat stelt om belangrijke vragen over te slaan en een gebrek aan overeenstemming over hoe de antwoorden moeten worden opgeschreven. De onderzoekers bouwden een computerprogramma om door duizenden wetenschappelijke artikelen te zoeken om deze ontbrekende details voor de reeds in het archief aanwezige records te vinden. Hoewel het programma succesvol was in het terugvinden van ongeveer de helft van de ontbrekende informatie, onthulde het ook een harde realiteit: voor veel records was de informatie simpelweg niet op een manier opgeschreven die gevonden kon worden, of ontbrak deze geheel.

De studie concludeert dat proberen het probleem op te lossen nadat de data al in het archief zit, vergelijkbaar is met het proberen op te ruimen van een morsen nadat het glas al gebroken is; het is mogelijk om de stukjes te verzamelen, maar de rommel zal blijven gebeuren. De enige duurzame oplossing is om de regels van de bibliotheek zelf te veranderen. De onderzoekers pleiten ervoor dat het archief van wetenschappers vereist om deze specifieke details als een verplichte stap te verstrekken wanneer zij hun gegevens voor het eerst indienen, gebruikmakend van een standaardlijst met woorden waar iedereen het over eens is. Door de waarheid vast te leggen op het moment van creatie, in plaats van het later te proberen te reconstrueren, kan de wetenschappelijke gemeenschap ervoor zorgen dat de groeiende bibliotheek van het leven een nuttige en nauwkeurige bron blijft voor de toekomst.

De kern van het probleem ligt in hoe het archief momenteel is ontworpen. Wanneer een wetenschapper een nieuw genoom naar de database stuurt, vraagt het systeem naar de naam van de soort, wat verplicht is. Andere cruciale details, zoals het aantal chromosoomsets van een organisme of het specifieke ras van een gewas, zijn echter vaak optioneel. Zelfs wanneer wetenschappers deze informatie hebben, laten ze de velden vaak leeg omdat het invullen ervan extra inspanning kost en geen direct voordeel biedt voor hun publicatie. Bovendien, wanneer ze de informatie wel verstrekken, schrijven ze het vaak als vrije tekst, waarbij ze verschillende woorden of formaten gebruiken voor hetzelfde concept. De ene wetenschapper schrijft "vier sets", een ander "4x", en een derde gebruikt een complexe code. Voor een menselijke lezer zijn dit duidelijk dezelfde dingen, maar voor een computerprogramma zijn dit volkomen verschillende en onverbonden zaken.

Dit gebrek aan standaardisatie vormt een grote hindernis bij het proberen te begrijpen van complexe organismen. Bij veel planten kan het aantal chromosoomsets zelfs binnen dezelfde soort variëren. Zo hebben de meeste appelbomen twee sets chromosomen, maar sommige populaire variëteiten hebben er drie. Als een database de soortnaam alleen als "appel" registreert, kan het het verschil niet zien tussen de twee-set en de drie-set variëteiten, wat leidt tot verwarring. Op dezelfde manier varieert de manier waarop wetenschappers de individuele chromosomen binnen een genoom benoemen enorm tussen verschillende onderzoeksgroepen. In sommige gewassen worden chromosomen gelabeld met eenvoudige nummers, terwijl ze in andere worden gelabeld met letters en nummers die aangeven uit welk voorouderlijk deel van het genoom ze afkomstig zijn. Zonder een gedeelde overeenstemming over deze namen, kan een computer chromosomen uit één studie niet automatisch matchen met die uit een andere studie, zelfs niet als ze dezelfde plant bestuderen.

Om te zien hoe diep dit probleem gaat, bouwden de onderzoekers een pipeline, een gespecialiseerde softwaretool die fungeert als een digitale detective. Deze tool neemt een genetisch record uit het archief, vindt het wetenschappelijke artikel dat het beschrijft en leest de tekst om de ontbrekende details te extraheren. De onderzoekers testten deze tool op een grote collectie plantengenomen. Ze kwamen tot de conclusie dat de tool voor ongeveer de helft van de records erin slaagde de ontbrekende informatie in het bijbehorende artikel te vinden. Echter, voor bijna een derde van de records vond de tool het artikel, maar kon het geen duidelijke verklaring van de ontbrekende details binnen de tekst vinden. In veel gevallen was de informatie simpelweg niet op een doorzoekbare manier opgeschreven, of was deze begraven in een artikel dat niet direct aan het genetische record gekoppeld was.

De studie onderzocht ook of de omvang van de wetenschappelijke gemeenschap die een bepaalde plant bestudeert een verschil maakte. Men zou kunnen aannemen dat populaire gewassen met veel onderzoekers meer consistente en volledige records zouden hebben. De gegevens toonden echter geen dergelijk verband aan. Zelfs voor gewassen met duizenden gepubliceerde artikelen bleven de naamconventies voor chromosomen inconsistent als de gemeenschap niet tot een enkele standaard was gekomen. Dit suggereert dat het probleem niet een gebrek aan inspanning of interesse is, maar een gebrek aan coördinatie. De inconsistentie ontstaat omdat verschillende groepen hun eigen manieren hebben ontwikkeld om dingen te beschrijven, en zonder een centrale overeenkomst blijven deze verschillen bestaan.

De onderzoekers realiseerden zich dat hun digitale detective, hoewel indrukwekkend, een fundamentele limiet heeft. Het kan alleen informatie vinden die al in de literatuur bestaat. Als de informatie nooit is opgeschreven, of als het artikel achter een betaalmuur zit of simpelweg niet bestaat, kan de tool deze niet creëren. De studie benadrukte specifieke gevallen waar de juiste informatie verborgen zat in een methodensectie van een artikel dat niet aan het genoom gekoppeld was, of waar het genetische record helemaal geen artikel had bijgevoegd. Dit bewijst dat het vertrouwen op herstel achteraf onvoldoende is. De kloof in de gegevens is niet alleen een technische uitdaging van het vinden van woorden; het is een structureel falen van het indieningsproces zelf.

De weg vooruit is volgens de auteurs: stop met het proberen op te lossen van het probleem nadat de data is gearriveerd en voorkom het probleem in plaats daarvan. Zij stellen voor dat het archief de indieningsformulieren moet veranderen om details zoals chromosoomsets, specifieke rassen en genoomstructuur verplicht te maken. In plaats van wetenschappers toe te staan te typen wat ze willen, zou het systeem hen moeten vereisen om te kiezen uit een standaardlijst met goedgekeurde termen. Dit zou ervoor zorgen dat elk record wordt aangeleverd met de noodzakelijke context, geschreven in een taal die zowel mensen als computers kunnen begrijpen. De infrastructuur om dit te doen bestaat al; andere gebieden in de biologie hebben soortgelijke wijzigingen in hun indieningseisen succesvol doorgevoerd.

De onderzoekers benadrukken dat deze verandering geen zware last voor wetenschappers zou zijn. De informatie is meestal bekend bij het onderzoeksteam voordat zij hun gegevens indienen, vaak nog voordat hun artikel wordt gepubliceerd. Als een detail echt onbekend is, kan het systeem dit simpelweg als ontbrekend registreren, net zoals het dat momenteel doet voor andere gegevenspunten zoals de exacte locatie waar een monster is verzameld. Door deze velden verplicht en gestandaardiseerd te maken, kan de wetenschappelijke gemeenschap ervoor zorgen dat de toekomstige genetische research wordt gebouwd op een fundament van volledige en betrouwbare informatie. Het doel is om een terugkerende last van handmatige correctie om te zetten in een eenmalige fix aan de bron, zodat de bibliotheek van het leven een plek blijft waar elk boek goed begrepen kan worden.