The Temporal Validity of Taxonomic Entailments in Evolving Biomedical Ontologies
Deze studie kwantificeert de temporele validiteit van taxonomische implicaties over acht biomedische ontologieën gedurende 16 jaar, waarbij wordt onthuld dat afgeleide kennis met een aanzienlijk tempo verloopt dat grotendeels ondetecteerbaar is door standaard deprecatiesignalen, hetgeen frequente herafleiding of het opnieuw controleren van rechtvaardigingspaden noodzakelijk maakt om de systeemintegriteit te handhaven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de uitgestrekte, onderling verbonden wereld van de moderne geneeskunde vertrouwen computers op enorme, gestructureerde woordenboeken om de taal van de biologie te begrijpen. Dit zijn geen eenvoudige woordenlijsten, maar complexe kaarten waar elke term met andere verbonden is in een strikte hiërarchie. Een specifiek type hartafwijking is bijvoorbeeld verbonden met de bredere categorie hartafwijkingen, die weer verbonden is met ziekten van het bloedsomloopstelsel. Wetenschappers en artsen gebruiken deze kaarten om instrumenten te bouwen die ziekten diagnosticeren, patiëntengroepen voor onderzoek selecteren en gegevens uit verschillende ziekenhuizen integreren. Voor deze instrumenten om te werken, moeten de kaarten accuraat zijn. Deze kaarten zijn echter geen statische monumenten; het zijn levende documenten die constant worden bewerkt, bijgewerkt en georganiseerd door teams van experts die nieuwe ontdekkingen toevoegen en oude fouten corrigeren. Net zoals een stadsplattegrond verandert wanneer er een nieuwe weg wordt gebouwd of een oude wordt hernoemd, evolueren deze biologische kaarten elke paar weken of maanden. De cruciale vraag voor iedereen die op deze instrumenten vertrouwt, is simpel maar diepgaand: als een computer een conclusie trekt op basis van een kaart van vorig jaar, is die conclusie vandaag nog steeds waar?
Een team van onderzoekers zette zich scharpe schijven om precies te meten hoe lang deze conclusies standhouden. Ze richtten zich op het taxonomische deel van deze kaarten — het deel dat bepaalt welke dingen types van andere dingen zijn. Ze beschouwden elke enkele conclusie die een computer kon trekend als een levend wezen met een levensduur. Een conclusie wordt "geboren" op het moment dat deze voor het eerst verschijnt in een nieuwe versie van de kaart, en ze "sterft" op het moment dat een nieuwe update haar niet langer waar maakt. Door bijna één miljoen van deze conclusies over acht verschillende biomedische kaarten te volgen over perioden variërend van vijf tot zestien jaar, reconstrueerden de onderzoekers de volledige geschiedenis van hun geldigheid. Ze ontdekten dat deze conclusies een verrassend korte houdbaarheid hebben. Binnen vijf jaar is bijna één op de vijf conclusies afgeleid van deze kaarten niet langer geldig. Als de onderzoekers ook de gevallen telden waarin de conclusie waar bleef maar het specifieke logische pad dat werd gebruikt om het te bewijzen stilzwijgend was herschreven, lag het foutpercentage nog hoger, waarbij twee op de vijf conclusies binnen vijf jaar onbetrouwbaar werden.
De meest verrassende ontdekking was waarom deze conclusies faalden. De onderzoekers verwachtten dat de meeste fouten zouden optreden omdat een specifieke medische term werd verwijderd of als verouderd werd gemarkeerd, een verandering die een computer gemakkelijk zou kunnen opmerken. In plaats daarvan ontdekten zij dat in bijna 7ig procent van de gevallen de fout onzichtbaar was voor standaardmonitoring. De termen zelf bleven actief en onveranderd, maar de verbindingen tussen hen waren verbroken. Stel je een brug tussen twee eilanden voor die nog steeds staat, maar de weg die naar de brug leidt is omgeleid; de eilanden zijn er nog steeds, maar het pad is gebroken. Omdat de termen zelf niet werden verwijderd, misten de gebruikelijke veiligheidscontroles die zoeken naar verwijderde of hernoemde termen deze fouten volledig. Sterker nog, de standaardmethode om te letten op veranderingen in de termen zelf zou slechts ongeveer 15 procent van de gebroken conclusies hebben gedetecteerd. Zelfs het controleren van de directe ouders van een term ving slechts ongeveer 44 procent op. De enige manier om elke enkele fout te vangen, was door de gehele keten van verbindingen die de conclusie ondersteunden opnieuw te controleren, een proces dat de onderzoekers computationeel goedkoop en snel vonden.
De studie testte ook of het mogelijk was om te voorspellen welke conclusies zouden breken voordat ze dat daadwerkelijk deden. De onderzoekers bouwden modellen om te raden welke conclusies fragiel waren op basis van hun positie in de kaart of hoe vaak ze in het verleden waren bewerkt. De resultaten waren duidelijk: voorspelling werkt niet. De veranderingen die deze conclusies breken, worden gedreven door menselijke beslissingen om de kaarten te reorganiseren, en deze beslissingen vinden plaats in onvoorspelbare uitbarstingen. Een model getraind op één kaart kon de fouten in een andere kaart niet voorspellen, en zelfs binnen een enkele kaart verschoof het patroon van falen zo sterk over de tijd dat een model getraind op historische gegevens vaak het verkeerde antwoord gaf voor de toekomst. De onderzoekers concludeerden dat proberen te raden welke conclusies zullen breken een verliezende strategie is. In plaats daarvan is de meest effectieve aanpak om simpelweg de conclusies opnieuw te berekenen telkens wanneer de kaart wordt bijgewerkt. Omdat de kaarten niet zo groot zijn, duurt deze herberekening slechts een fractie van een seconde, wat het veel betrouwbaarder maakt dan het proberen te monitoren van specifieke veranderingen of het raden welke delen van de kaart onstabiel zijn.
Voor de ontwikkelaars van deze biologische kaarten biedt de studie een duidelijke weg vooruit. Aangezien de meeste fouten worden veroorzaakt door het onzichtbaar breken van verbindingen in plaats van het verwijderen van termen, suggereren de onderzoekers dat kaartmakers bij elke nieuwe release een lijst moeten publiceren van exact welke verbindingen zijn toegevoegd en welke zijn verwijderd. Dit zou gebruikers in staat stellen de wijzigingen direct te zien, in plaats van te moeten gissen of alles opnieuw te controleren. Voor de gebruikers van deze kaarten is de les om elke conclusie te behandelen alsof deze een vervaldatum heeft. Als een systeem vertrouwt op een conclusie afgeleid van een oude versie van een kaart, moet die conclusie opnieuw worden geverifieerd tegen de nieuwste versie. De kosten hiervan zijn verwaarloosbaar, maar de kosten van het negeren ervan zijn een gestage accumulatie van stille fouten die de betrouwbaarheid van medische instrumenten en onderzoeksresultaten kunnen ondermijnen. De studie bevestigt dat in de snel bewegende wereld van de biomedische kennis, niets afgeleid van een kaart ooit echt vaststaat; het is alleen geldig totdat de volgende update arriveert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.