The Temporal Validity of Taxonomic Entailments in Evolving Biomedical Ontologies
Diese Studie quantifiziert die zeitliche Gültigkeit taxonomischer Implikationen über acht biomedizinische Ontologien hinweg über einen Zeitraum von 16 Jahren und zeigt auf, dass abgeleitetes Wissen mit einer signifikanten Rate verfällt, die durch Standard-Deprecation-Signale weitgehend unentdeckbar ist, was eine häufige Neuableitung oder das Überprüfen der Begründungspfade erforderlich macht, um die Systemintegrität aufrechtzuerhalten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der weiten, vernetzten Welt der modernen Medizin verlassen sich Computer auf massive, strukturierte Wörterbücher, um die Sprache der Biologie zu verstehen. Dies sind keine einfachen Wortlisten, sondern komplexe Karten, auf denen jeder Begriff mit anderen in einer strengen Hierarchie verknüpft ist. Beispielsweise ist eine spezifische Art eines Herzfehlers mit der breiteren Kategorie der Herzfehler verknüpft, welche wiederum mit Erkrankungen des Kreislaufsystems verbunden ist. Wissenschaftler und Ärzte nutzen diese Karten, um Werkzeuge zu entwickeln, die Krankheiten diagnostizieren, Patientengruppen für die Forschung auswählen und Daten aus verschiedenen Krankenhäusern integrieren. Damit diese Werkzeuge funktionieren, müssen die Karten genau sein. Diese Karten sind jedoch keine statischen Monumente; sie sind lebendige Dokumente, die ständig von Expertenteams bearbeitet, aktualisiert und reorganisiert werden, die neue Entdeckungen hinzufügen und alte Fehler korrigieren. Genau wie eine Stadtkarte sich ändert, wenn eine neue Straße gebaut oder eine alte umbenannt wird, entwickeln sich auch diese biologischen Karten alle paar Wochen oder Monate weiter. Die entscheidende Frage für jeden, der sich auf diese Werkzeuge verlässt, ist einfach, aber tiefgreifend: Wenn ein Computer eine Schlussfolgerung basierend auf einer Karte aus dem letzten Jahr zieht, ist diese Schlussfolgerung heute noch wahr?
Ein Forscherteam setzte sich zum Ziel, genau zu messen, wie lange diese Schlussfolgerungen anhalten. Sie konzentrierten sich auf den taxonomischen Teil dieser Karten – den Teil, der definiert, welche Dinge Arten von anderen Dingen sind. Sie betrachteten jede einzelne Schlussfolgerung, die ein Computer ziehen konnte, als ein Lebewesen mit einer Lebensspanne. Eine Schlussfolgerung wird „geboren“, in dem Moment, in dem sie zum ersten Mal in einer neuen Version der Karte erscheint, und sie „stirbt“, in dem Moment, in dem ein neues Update sie ungültig macht. Durch die Verfolgung von fast einer Million dieser Schlussfolgerungen über acht verschiedene biomedizinische Karten hinweg, über Zeiträume von fünf bis sechzehn Jahren, rekonstruierten die Forscher die gesamte Geschichte ihrer Gültigkeit. Sie fanden heraus, dass diese Schlussfolgerungen eine überraschend kurze Lebensdauer haben. Innerhalb von fünf Jahren ist fast jede fünfte Schlussfolgerung, die aus diesen Karten abgeleitet wurde, nicht mehr gültig. Wenn die Forscher auch Fälle mitzählten, in denen die Schlussfolgerung zwar wahr blieb, aber der spezifische Pfad der Logik, der zur Beweisführung genutzt wurde, im Stillen neu geschrieben worden war, war die Fehlerrate sogar noch höher, wobei zwei von fünf Schlussfolgerungen innerhalb von fünf Jahren unzuverlässig wurden.
Die überraschendste Entdeckung war der Grund, warum diese Schlussfolgerungen scheiterten. Die Forscher erwarteten, dass die meisten Fehler auftreten würden, weil ein spezifischer medizinischer Begriff entfernt oder als veraltet markiert wurde – eine Änderung, die ein Computer leicht erkennen könnte. Stattdessen fanden sie heraus, dass in fast 72 Prozent der Fälle der Fehler unsichtbar für das Standardmonitoring war. Die Begriffe selbst blieben aktiv und unverändert, aber die Verbindungen zwischen ihnen waren unterbrochen worden. Stellen Sie sich eine Brücke zwischen zwei Inseln vor, die noch steht, aber die Straße, die zu ihr führt, wurde umgeleitet; die Inseln sind noch da, aber der Pfad ist unterbrochen. Da die Begriffe selbst nicht gelöscht wurden, übersahen die üblichen Sicherheitsprüfungen, die nach entfernten oder umbenannten Begriffen suchen, diese Fehler vollständig. Tatsächlich hätte die Standardmethode, die Veränderungen an den Begriffen selbst zu beobachten, nur etwa 15 Prozent der gebrochenen Schlussfolgerungen erkannt. Selbst die Überprüfung der unmittelbaren „Eltern“ eines Begriffs erfasste nur etwa 44 Prozent. Der einzige Weg, jeden einzelnen Fehler zu erfassen, bestand darin, die gesamte Kette der Verbindungen, die die Schlussfolgerung stützten, erneut zu überprüfen – ein Prozess, den die Forscher als rechentechnisch günstig und schnell empfanden.
Die Studie testete auch, ob es möglich sei, vorherzusagen, welche Schlussfolgerungen brechen würden, bevor sie es tatsächlich taten. Die Forscher bauten Modelle auf, um zu erraten, welche Schlussfolgerungen fragil sind, basierend auf ihrer Position in der Karte oder darauf, wie oft sie in der Vergangenheit editiert worden waren. Die Ergebnisse waren eindeutig: Vorhersage funktioniert nicht. Die Änderungen, die diese Schlussfolgerungen brechen, werden durch menschliche Entscheidungen zur Reorganisation der Karten getrieben, und diese Entscheidungen geschehen in unvorhersehbaren Schüben. Ein Modell, das auf einer Karte trainiert wurde, konnte Fehler in einer anderen nicht vorhersagen, und selbst innerhalb einer einzigen Karte änderten sich die Muster des Scheiterns so stark über die Zeit, dass ein mit Vergangenheitsdaten trainiertes Modell oft die falsche Antwort für die Zukunft gab. Die Forscher kamen zu dem Schluss, dass der Versuch, vorherzusagen, welche Schlussfolgerungen brechen werden, eine aussichtslose Strategie ist. Stattdessen ist der effektivste Ansatz, die Schlussfolgerungen jedes Mal neu zu berechnen, wenn die Karte aktualisiert wird. Da die Karten nicht allzu groß sind, dauert diese Neuberechnung nur einen Bruchteil einer Sekunde, was sie weita viel zuverlässiger macht, als zu versuchen, nach spezifischen Änderungen zu suchen oder zu raten, welche Teile der Karte instabil sind.
Für die Entwickler dieser biologischen Karten bietet die Studie einen klaren Weg nach vorn. Da die meisten Fehler durch das unsichtbare Brechen von Verbindungen und nicht durch das Entfernen von Begriffen verursacht werden, schlagen die Forscher vor, dass die Ersteller der Karten mit jeder neuen Veröffentlichung eine Liste veröffentlichen sollten, die genau angibt, welche Verbindungen hinzugefügt und welche entfernt wurden. Dies würde es den Nutzern ermöglichen, die Änderungen direkt zu sehen, anstatt raten oder alles neu prüfen zu müssen. Für die Nutzer dieser Karten ist die Lehre, jede Schlussfolgerung als mit einem Verfallsdatum versehen zu betrachten. Wenn ein System auf einer Schlussfolgerung basiert, die aus einer alten Version einer Karte abgeleitet wurde, sollte diese Schlussfolgerung gegen die neueste Version überprüft werden. Die Kosten hierfür sind vernachlässigbar, aber die Kosten des Ignorierens sind eine stetige Akkumulation stiller Fehler, die die Zuverlässigkeit medizinischer Werkzeuge und Forschungsergebnisse untergraben können. Die Studie bestätigt, dass in der schnelllebigen Welt des biomedizinischen Wissens nichts, was von einer Karte abgeleitet wird, jemals wirklich feststeht; es ist nur so lange gültig, bis die nächste Aktualisierung eintrifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.