Four-Stage Data Quality Framework for Multi-Source Oncology Real-World Data Integration: Validation Using Health Datasets Mapped to the OMOP Common Data Model

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihr Tatort ist kein Verbrechensszenario, sondern ein Berg aus medizinischen Unterlagen. In der Welt der modernen Medizin, insbesondere bei der Untersuchung von Krebs, verlassen sich Forscher nicht mehr nur auf kontrollierte Laborexperimente; sie schauen sich „Real-World Data“ (Echtzeitdaten) an. Betrachten Sie dies als den chaotischen, alltäglichen Papierkram aus Krankenhäusern, Kliniken und Apotheken – die tatsächlichen Notizen, die Ärzte schreiben, die Laborergebnisse, die sie ausdrucken, und die Rezepte, die sie aushändigen. Diese Daten sind Gold wert, weil sie zeigen, wie Behandlungen in der realen Welt funktionieren, und nicht nur in einem perfekten Reagenzglas.

Dieses Gold ist jedoch oft im Dreck vergraben. Ein Krankenhaus schreibt vielleicht „Herzinfarkt“, während ein anderes „Myokardinfarkt“ schreibt, und ein drittes verwendet einfach einen Code wie „410.0“. Wenn Sie versuchen, diese Datensätze zu mischen, um Muster zu finden, ist das so, als würde man versuchen, ein Haus aus einer Mischung aus Ziegeln, LEGOs und glatten Flusssteinen zu bauen. Die Struktur bricht zusammen. Um dies zu beheben, verwenden Wissenschaftler ein „Common Data Model“ (gemeinsames Datenmodell), das wie ein universeller Übersetzer oder ein standardisierter Bauplan funktioniert, der jede Information in dieselbe Form und Bezeichnung zwingt. Aber hier liegt der Haken: Nur weil die Ziegel die gleiche Form haben, heißt das noch lange nicht, dass es die richtigen Ziegel sind. Man könnte einen Ziegel haben, auf dem steht „Patient starb im Jahr 2020“, der aber gleichzeitig die Notiz enthält: „Patient besuchte den Arzt im Jahr 2021“. Das ist unmöglich, aber ein Computer würde es nicht bemerken, wenn niemand sehr sorgfältig nachsieht. Hier kommt die Datenqualität ins Spiel: sicherzustellen, dass die Geschichte, die die Daten erzählen, auch tatsächlich wahr ist.

---

Das vierstufige Detektiv-Team

In dieser Studie hat ein Forscher namens Samuel Maniraj Selvaraj eine superorganisierte, vierstufige Checkliste erstellt, um sicherzustellen, dass zwei verschiedene Stapel von Krebs patientendaten bereit waren, um zusammengeführt zu werden. Er hat die Daten nicht nur kurz überflogen; er hat sie durch einen strengen „Qualitätskontroll-Tunnel“ geschickt und die Daten wie ein hochriskantes Produkt behandelt, das perfekt sein muss, bevor es für lebensentscheidende Entscheidungen verwendet werden kann.

Stellen Sie sich den Prozess wie die Vorbereitung von zwei verschiedenen Zutchtchargen vor, um einen riesigen, komplexen Kuchen für ein Pharmaunternehmen zu backen. Sie haben Charge A (aus einem Satz von Krankenhäusern) und Charge B (aus einem anderen). Bevor Sie sie mischen können, müssen Sie sicherstellen, dass sie nicht verdorben sind, dass es tatsächlich die Zutaten sind, die Sie denken, dass sie es sind, und dass sie nicht mitten im Prozess vertauscht wurden.

Stufe 1: Der Rezeptcheck (Validierung der Mapping-Datei)
Zuerっ prüfte das Team die „Rezeptkarten“. Diese Karten sagen dem Computer, wie er die chaotischen Krankenhaus-Codes in die saubere, Standardsprache (genannt OMOP Common Data Model) übersetzen soll. Die Regel hier ist einfach: Hat jeder einzelne Code eine gültige Übersetzung? Das Team führte erschöpfende Prüfungen für jeden Datensatz durch. Während die Studie bestätigte, dass die Mapping-Dateien die strukturellen Regeln erfüllten, die für das Fortfahren erforderlich waren, wurde der spezifische Prozentsatz der Datensätze, die diese Prüfungen bestanden, im Abschlussbericht nicht offengelegt. Die Kernbotschaft ist, dass das Fundament als valide genug erachtet wurde, um fortzufahren, aber die genaue „Punktzahl“ der Rezeptkarten bleibt privat.

Stufe 2: Der Fließbandcheck (Strukturelle Mapping-Validierung)
Als Nächstes beobachteten sie das Fließband. Dies ist der Punkt, an dem die eigentlichen Daten aus den chaotischen Krankenhausdateien in die saubere Standarddatenbank verschoben werden. Sie prüften, ob keine Datensätze vom Förderband fielen und ob Datensätze dupliziert wurden (wie ein Patient, der versehentlich zweimal erscheint). Sie prüften auch, ob die Daten in die richtigen Boxen gelangten. Zum Beispiel sollte ein „Medikamenten“-Datensatz nicht in der „Operation“-Box landen. Die Studie berichtete, dass die Daten erfolgreich von der Quelle zum Ziel für alle validierten Domänen transferiert wurden und den Status „Bestanden“ erreichten. Obwohl die strukturelle Transformation als erfolgreich bestätigt wurde, wurde die präzise Rate des Datenverlusts oder das Gesamtvolumen der verarbeiteten Datensätze in den öffentlichen Ergebnissen nicht explizit als Prozentsatz berechnet.

Stufe 3: Der Bedeutungscheck (Konzeptionelle Mapping-Validierung)
Hier wird es knifflig. Nur weil ein Datensatz in die richtige Box verschoben wurde, bedeutet das noch nicht, dass er Sinn ergibt. Stellen Sie sich ein Etikett vor, auf dem „Apfel“ steht, das aber eigentlich ein Bild einer Banane ist. Der Computer könnte denken, es sei ein Apfel, weil das Etikett „Obst“ lautet, aber ein Mensch muss prüfen, ob das Etikett tatsächlich korrekt ist. Das Team ließ Experten die Daten überprüfen, um sicherzustellen, dass die medizinischen Begriffe tatsächlich dem entsprachen, was die Ärzte meinten. Sie bestätigten, dass die Daten semantisch korrekt genug waren, um zu bestehen, aber die Studie merkte explizit an, dass die zugrunde liegende „Konzeptionelle Konkordanzrate“ – der exakte Prozentsatz der Datensätze, die perfekt gemappt wurden – nicht offengelegt wurde. Die Experten gaben grünes Licht, aber die granularen Statistiken darüber, wie viele „Äpfel“ tatsächlich „Bananen“ waren, bleiben verborgen.

Stufe 4: Der Liefercheck (Daten-Synchronisations-Validierung)
Schließlich prüften sie den Lieferwagen. Die Daten wurden in einem sicheren Tresor (der Hauptdatenbank) gereinigt und organisiert, aber Forscher greifen über ein öffentliches Portal (eine Website) darauf zu. Das Team stellte sicher, dass das, was im Tresor war, exakt dasselbe war wie das, was auf der Website zu sehen war. Sie wollten sicherstellen, dass niemand veraltete, abgestandene Daten ansieht, während im Tresor frische Daten liegen. Diese „Synchronisation“ war ebenfalls ein perfektes Bestehen, was bestätigte, dass die den Nutzern verfügbaren Daten mit der zertifizierten Datenbank übereinstimmten.

Die versteckten Fehler: Wenn „Perfekt“ nicht perfekt ist

Obwohl die Daten alle vier Stufen durchliefen und ein „Grünes Licht“ zur Verwendung erhielten, hörte das Team dort nicht auf. Sie führten einen speziellen „Plausibilitäts-Test“ durch, der so ähnlich ist wie die Frage: „Ergibt diese Geschichte Sinn?“ Hier fanden sie einige sehr seltsame, lustige und besorgniserregende Fehler, die eine einfache Computerprüfung übersehen hätte.

Sie fanden drei Hauptarten von „Zeitreise“-Fehlern:

1. Der zeitreisende Patient: Einige Datensätze zeigten Patienten, die medizinische Ereignisse hatten, bevor sie überhaupt geboren wurden. Zum Beispiel hatte ein Patient ein „Vorkommen einer Erkrankung“ (wie eine Diagnose), das vor seinem Geburtsdatum datiert war. In Datenquelle B gab es 9.213 Patienten mit diesem Fehler und in Datenquelle A gab es 63.
2. Die Geisterbesuche: Sie fanden Patienten, die den Arzt besuchten, nachdem sie bereits verstorben waren. In Datenquelle B hatten 354 Patienten einen Besuchsdatensatz, der nach ihrem registrierten Sterbedatum lag. Dies ist ein großes Problem für Studien, die untersuchen wollen, wie lange Menschen nach einer Diagnose leben.
3. Die magischen Pillen: Sie fanden Medikamentendatensätze mit unmöglichen Mengen. Einige Patienten wurden mit 50.000 Einheiten eines Medikaments erfasst (was physisch unmöglich ist), während andere mit 0 oder sogar negativen Mengen erfasst wurden.
   • In Datenquelle A hatten eine massive Zahl von 129.923 Patienten Medikamentendatensätze mit Null- oder Negativwerten.
   • In Datenquelle B hatten 6.033 Patienten dasselbe Problem, und weitere 1.772 wiesen den „Zu viele Pillen“-Fehler auf.

Warum das wichtig ist

Die wichtigste Erkenntnis dieser Arbeit ist nicht, dass die Daten „gut“ waren (das waren sie), sondern dass selbst „gute“ Daten massive, törichte Fehler verbergen können, die eine Studie ruinieren würden, wenn man sie nicht entdeckt hätte. Wenn ein Forscher versuchen würde zu untersuchen, wie gut ein Medikament wirkt, ohne diese Fehler zu finden, könnte er zu dem Schluss kommen, dass ein Medikament fantastisch ist, weil die „Geisterpatienten“, die nach dem Tod noch Besuche hatten, scheinbar länger überlebten, oder dass ein Medikament nutzlos ist, weil die „negativen Pillenmengen“ die Mathematik durcheinandergebracht haben.

Das Papier beweist, dass man ein striktes, vierstufiges regelbasiertes System benötigt, um diese Fehler abzufangen. Es reicht nicht aus, nur zu sagen: „Die Daten sind sauber.“ Man muss das Rezept, die Montage, die Bedeutung und die Lieferung prüfen. Und selbst dann muss man nach den „Zeitreise“-Glitches suchen.

Der Autor kommt zu dem Schluss, dass dieser vierstufige Rahmen eine zuverlässige, wiederholbare Methode ist, um zu zertifizieren, dass Krebsdaten bereit für die Verwendung sind. Es ist ein Sicherheitsnetz, das die „unmöglichen“ Geschichten abfängt, bevor sie Wissenschaftler täuschen können. Obwohl die Studie nicht den exakten Prozentsatz der Fehler berechnete (da die Gesamtzahl der Patienten und die spezifischen Abdeckungsraten nicht geteilt wurden), zeigt die schiere Anzahl der „Geisterbesuche“ und „negativen Pillen“, dass diese Art der tiefgehenden Prüfung absolut notwendig ist. Oh much ohne sie könnten die Realzeit-Evidenzen, auf die wir uns im Kampf gegen den Krebs verlassen, auf einem Fundament aus zeitreisenden Patienten und magischer Medizin aufgebaut sein.