TRAUMA: A Machine Learning–Based Record Linkage Method for Health Databases

Stellen Sie sich vor, Sie besitzen zwei riesige, unordentliche Bibliotheken mit Gesundheitsakten. Eine Bibliothek enthält Geschichten über Menschen, die verstorben sind, eine andere hält Aufzeichnungen über Krankenhausbesuche bereit und eine dritte führt Buch über Unfälle und Krankheiten, die von Ärzten gemeldet wurden. Das Problem? Die Namen werden unterschiedlich geschrieben, Daten fehlen und einige Einträge sind schlichtweg verwirrend. Wenn Sie die vollständige Geschichte eines Lebens und der Gesundheit einer Person erfahren wollen, müssen Sie die passenden Seiten in diesen verschiedenen Bibliotheken finden und zusammenkleben. Dies nennt man „Record Linkage“ (Datensatzverknüpfung).

Lange Zeit nutzten Bibliothekare (oder in diesem Fall Datenwissenschaftler) ein strenges Regelwerk, um diese Übereinstimmungen vorzunehmen. Sie prüften einen Namen und ein Geburtsdatum, und wenn diese eng genug übereinstimmten, sagten sie: „Ja, das sind dieselben Personen!“ Wenn die Übereinstimmung unscharf war, mussten sie stoppen und einen Menschen bitten, dies manuell zu prüfen. Das ist langsam, teuer und manchmal übersieht der Mensch aufgrund von Ermüdung eine Übereinstimmung.

Hier kommt TRAUMA ins Spiel, ein neues Projekt aus Brasilien, das beschlossen hat, dem Computer beizubringen, der ultimative Bibliothekar mittels Maschinellem Lernen zu sein. Anstatt nur einem starren Regelwerk zu folgen, wurde der Computer trainiert, Millionen von Beispielen für „übereinstimmende“ und „nicht übereinstimmende“ Datensätze zu betrachten und die subtilen Muster zu erlernen, die Menschen vielleicht übersehen würden.

Der große Abgleich: TRAUMA gegen die alte Garde

Die Forscher stellten diesen neuen KI-Bibliothekar gegen CIDACS-RL auf die Probe, ein sehr bekanntes und vertrauenswürdiges Tool, das bereits in Brasilien eingesetzt wird. Betrachten Sie CIDACS-RL als den erfahrenen Bibliothekar, der schon seit Jahren dabei ist und die Regeln in- und auswendig kennt. TRAUMA ist der neue, hochintelligente Lehrling, der jedes Buch in der Bibliothek gelesen und aus Erfahrung gelernt hat.

Sie testeten beide an einem riesigen Datensatz aus dem Bundesstaat Espírito Santo, der Aufzeichnungen aus dem Zeitraum von Juli 2018 bis Juni 2025 umfasst. Sie begannen mit über 4 Millionen potenziellen Paaren von Datensätzen, die überprüft werden mussten.

Die Ergebnisse:
Der neue KI-Bibliothekar, angetrieben durch einen Algorithmus namens LightGBM, schnitt unglaublich gut ab. In seinen Trainings-Tests erreichte er einen Wert (genannt ROC-AUC) von 0,99996. Um dies in Perspektive zu setzen: Wenn ein perfekter Wert 1,0 wäre, war diese KI fast makellos. Er identifizierte korrekt 99,731 % der wahren Übereinstimmungen (Sensitivität) und war sich zu 99,895 % sicher, dass die Personen, die er als „keine Übereinstimmung“ einstufte, es auch tatsächlich nicht waren (Spezifität).

Als sie ihn an einem völlig neuen Datensatz testeten, den er zuvor noch nie gesehen hatte, behielt er die Ruhe und erzielte einen ROC-AUC-Wert von 0,99988 sowie einen F1-Score von 99,252 % (ein Gleichgewicht zwischen Genauigkeit und Vollständigkeit).

Das Rätsel des „fehlenden Glieds“

Hier wird es interessant. Die Forscher betrachteten nicht nur die Scores; sie untersuchten, was die Tools tatsächlich fanden.

Das alte Veteranen-Tool, CIDACS-RL, ist sehr gut darin, vorsichtig zu sein. Es macht selten Fehler (hohe Präzision), aber es spielt manchmal zu sehr auf Nummer sicher. Da es eine spezifische „Blocking“-Strategie verwendet (wie das Sortieren von Büchern nach dem ersten Buchstaben des Autors, bevor man sie prüft), versäumt es manchmal sogar, nach Paaren überhaupt erst zu suchen, die tatsächlich Übereinstimmungen sein könnten. Es ist wie ein Bibliothekar, der nur die Bücher im Regal „A“ prüft und dabei ein Buch übersieht, das versehentlich unter „B“ einsortiert wurde, aber eigentlich dasselbe Buch ist.

Die Studie ergab, dass CIDACS-RL einen Teil der wahren Übereinstimmungen übersah, die in der „Goldstandard“-Referenzliste vorhanden waren. Konkret verpasste CIDACS-RL aus den Paaren, die der Goldstandard als Übereinstimmungen deklarierte, eine signifikante Anzahl, weil sie gar nicht erst in die Vergleichsphase gelangten.

Im Gegensatz dazu war das TRAUMA-Modell besser darin, diese „verlorenen“ Übereinstimmungen zu finden. Es stellte mehr wahre Verknüpfungen wieder her und bewahrte dabei gleichzeitig seine hohe Präzision. Es rät nicht einfach nur; es lernte, dass selbst wenn ein Name leicht seltsam geschrieben oder ein Geburtsdatum um einen Tag verschoben ist, die Kombination anderer Hinweise (wie der Name der Mutter und die spezifischen Ähnlichkeitswerte) immer noch auf dieselbe Person hindeutete.

Wie die KI denkt

Um zu verstehen, warum die KI so gut war, nutzten die Forscher ein spezielles Werkzeug namens SHAP, um in das Gehirn des Computers zu blicken. Sie fanden heraus, dass die KI sich stark auf zwei Dinge stützte:

1. Geburtsdatum: Wie nah die Daten beieinander lagen.
2. Namensähnlichkeit: Wie sehr die Namen einander ähnelten, unter Verwendung mathematischer Tricks wie Jaro–Winkler und Levenshtein (die messen, wie viele Buchstaben man ändern müsste, um einen Namen in einen anderen zu verwandelt).

Interessanterweise lernte die KI auch, dass seltene Namen leichter abzugleichen sind als häufige. Wenn Sie einen einzigartigen Namen wie „Xylophon“ haben, ist es leicht zu sagen: „Das bist definitiv du!“ Aber wenn Ihr Name „John Smith“ lautet, muss die KI härter arbeiten und nach mehr Hinweisen suchen, um sicher zu sein.

Das Urteil

Das Paper legt nahe, dass die alte Methode (CIDACS-RL) zwar immer noch sehr stark und zuverlässig ist, die neue TRAUMA-Methode jedoch besser darin ist, die wahren Übereinstimmungen zu finden, die sonst vielleicht durch die Maschen rutschen würden. Es deutet darauf an, dass die Verwendung von überwachtem maschinellem Lernen die Qualität der Verknüpfung von Gesundheitsdaten verbessern und den Bedarf an menschlicher manueller Überprüfung tausender unscharfer Datensätze reduzieren kann.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies eine methodologische Validierungsstudie ist. Sie haben gezeigt, dass die Methode auf den von ihnen getesteten Daten (aus Espírito Santo) sehr gut funktioniert, sie behaupten jedoch nicht, dass es ein Allheilmittel für jede einzelne Datenbank der Welt ist. Sie schlagen vor, dass zukünftige Studien prüfen sollten, ob dies auch an anderen Orten mit unterschiedlichen Arten von Datenfehlern oder fehlenden Informationen ebenso gut funktioniert.

Kurz gesagt: Der KI-Bibliothekar folgte nicht nur den Regeln; er lernte den Geist der Regeln, was es ihm ermöglichte, mehr wahre Verbindungen zu finden als das Veteranen-Tool, während er gleichzeitig die Fehlerrate unglaublich niedrig hielt. Es ist ein vielversprechender Schritt, um die Punkte in unserer Gesundheitsgeschichte zu verbinden, ohne dabei Teile des Puzzles zu verlieren.