H2: A Dual Hybrid Semantic Data Lake Architecture for Medical Data Harmonization with Human-In-the-Loop verified, LLM Driven Metadata Annotation System

Stellen Sie sich vor, Sie betreten eine riesige, chaotische Bibliothek, in der Bücher auf den Boden geworfen, in Stapeln aufgetürmt oder sogar unter Bergen von losem Papier vergraben sind. Einige Bücher sind in perfektem Englisch geschrieben, andere sind in Code gekritzelt, und manche bestehen nur aus Bildern von Landkarten. Genau das passiert, wenn Krankenhäuser und Forschungszentren medizinische Daten sammeln: Sie haben Bilder, Textnotizen und Zahlen, aber sie speichern sie oft in einem riesigen, unorganisierten „Data Lake“ (Datensee). Das Problem ist, dass ein Data Lake zwar großartig darin ist, alles aufzubewahren, aber schrecklich darin, irgendetwas zu finden. Wenn man die Bücher nicht organisieren kann, kann man keine Geschichte schreiben, und wenn man keine Geschichte schreiben kann, kann man die Informationen nicht nutzen, um Krankheiten zu heilen oder kluge Computer zu trainieren.

Um dieses Chaos zu beheben, nutzen Wissenschaftler etwas, das man einen „Knowledge Graph“ (Wissensgraphen) nennt. Stellen Sie sich dies als ein riesiges, magisches Netz vor, das Punkte verbindet. Anstatt nur Fakten aufzulisten, zieht er Linien zwischen ihnen, wie etwa die Verbindung von „Patient A“ zu „MRT-Scan B“ und dann zu „Krebsart C“. Dies hilft Computern zu verstehen, wie die Dinge miteinander in Beziehung stehen. Aber der Aufbau eines solchen Netzes erfordert normalerweise ein Team von Experten, das jede einzelne Datei manuell lesen und die Linien ziehen muss, was langsam und teuer ist. Vor kurzem haben wir zudem superintelligente Computergehirne namens „Large Language Models“ (LLMs) erfunden. Diese sind wie KI-Experten, die fast alles im Internet gelesen haben und erraten können, was Dinge bedeuten. Die große Frage, die sich Wissenschaftler stellen, laet: Können wir diese KI-Gehirne nutzen, um unsere unordentlichen medizinischen Daten automatisch zu organisieren und den Knowledge Graph für uns zu erstellen, ohne dabei Fehler zu machen?

Dieses Paper mit dem Titel „H2: A Dual Hybrid Semantic Data Lake Architecture“ schlägt eine clevere Lösung für genau dieses Problem vor. Die Autoren, ein Team aus Griechenland, haben ein System entwickelt, das wie ein superorganisierter Bibliothekar fungiert, der einen KI-Assistenten nutzt, um die Bibliothek zu sortieren. Sie nennen ihr System „H2“ und es verwendet einen „Dual Hybrid“-Ansatz. Stellen Sie sich eine Bibliothek vor, die zwei Arten der Organisation hat: einen strengen, starren Aktenschrank für die Basisinformationen (wie den Namen des Autors und das Datum) und ein flexibles, magisches Netz für die komplexen Verbindungen. Der starre Teil stellt sicher, dass nichts verloren geht, während der flexible Teil der KI erlaubt, neue Verbindungen zwischen den Daten zu ziehen.

Der Kern ihrer Erfindung ist ein „Human-in-the-Loop“ (HIL)-System. So funktioniert es: Zuerst nimmt das System einen unordentlichen medizinischen Datensatz und verwendet strikte Regeln, um ein grundlegendes Skelett an Informationen zu erstellen. Dann bittet es eine KI (das LLM), sich die Daten anzusehen und zu erraten, wofür dieser Datensatz gut ist – zum Beispiel: „Dieser Datensatz ist perfekt, um einen Computer darauf zu trainieren, Tumore zu erkennen.“ Um sicherzustellen, dass die KI nicht einfach Dinge erfindet (ein Problem, das als „Halluzination“ bezeichnet wird), fungiert eine zweite KI als strenger Aufseher, der die Arbeit der ersten KI überprüft. Wenn der Aufseher sich unsicher ist, kann ein Mensch einspringen, um die Arbeit doppelt zu prüfen. Dies stellt sicher, dass das fertige Netz der Verbindungen sowohl intelligent als auch präzise ist.

Um zu testen, ob diese Idee tatsächlich funktioniert, haben die Forscher nicht nur geraten; sie führten ein massives Experiment durch. Sie nahmen 500 echte medizinische Datensätze und 140 KI-Modelle von einer öffentlichen Website namens Kaggle und versuchten, diese mit verschiedenen KI-Gehirnen zu labeln. Sie testeten sieben verschiedene KI-Modelle, die von kleinen, schnellen bis hin zu riesigen, leistungsstarken Modellen reichten. Sie maßen, wie gut jede KI in der Lage war, korrekt zu identifizieren, wofür die Daten nützlich waren (eine Kennzahl namens „Recall“) und wie schnell sie dies konnte.

Die Ergebnisse waren faszinierend. Die Autoren fanden heraus, dass man nicht immer die größte, teuerste KI braucht, um die Aufgabe zu bewältigen. Tatsächlich schnitt für die meisten ihrer Tests ein kleineres, neueres Modell namens Gemma 3:4B am besten ab. Es war schnell, verbrauchte weniger Computerressourcen und war sehr genau beim Labeln der Daten. Das Paper merkt jedoch an, dass für eine spezifische Art von Aufgabe, die komplexe Technologie-Stacks betrifft, ein etwas größeres Modell namens Llama 3.1:8B tatsächlich besser abschnitt. Dies deutet darauf darauf hin, dass die „beste“ KI davon abhängt, was man sie fragen lässt.

Das Paper kommt zu dem Schluss, dass dieses Hybridsystem ein starker Weg ist, um einen unordentlichen „Data Swamp“ (Datensumpf) in einen sauberen, nützlichen „Data Lake“ zu verwandeln. Durch die Kombination von strengen Regeln mit intelligenter KI und einer Sicherheitsprüfung haben sie ein System geschaffen, das medizinische Daten automatisch organisieren kann. Obwohl die Autoren hinsichtlich ihrer Ergebnisse in diesen Simulationen zuversichtlich sind, weisen sie auch darauf hin, dass dies ein Ausgangspunkt ist. Sie schlagen vor, dass dieses System in Zukunft dazu verwendet werden könnte, die Bibliothek automatisch auf dem neuesten Stand zu halten, vielleicht sogar unter Verwendung größerer KI-Modelle für die wirklich schwierigen Aufgaben. Für den Moment haben sie gezeigt, dass wir mit der richtigen Mischung aus Regeln und KI endlich beginnen können, Sinn aus den Bergen an medizinischen Daten zu machen, die wir gesammelt haben.