OpenHealth Lake: Designing and testing a data lakehouse platform for health applications
Dieser Artikel stellt das Design, die Implementierung und die Nutzervalidierung von OpenHealth Lake vor, einer Open-Source-Plattform für einen FAIR-konformen Data Lakehouse, die komplexe Herausforderungen im Gesundheitsdatenmanagement durch eine flexible, skalierbare und sichere Lösung für die globale kollaborative Forschung adressiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine massive, globale Bibliothek zu organisieren, in der Bücher in tausenden verschiedenen Sprachen geschrieben sind, einige als digitale Dateien vorliegen, einige als handschriftliche Notizen und einige als riesige Videoaufnahmen. Stellen Sie sich nun vor, diese Bibliothek ist über verschiedene Länder verteilt, wobei jedes Land strenge Regeln darüber hat, wer was lesen darf. Dies ist die aktuelle Realität von Gesundheits- und biologischen Forschungsdaten.
Der Artikel „OpenHealth Lake: Designing and testing a data lakehouse platform for health applications" beschreibt die Entwicklung und Erprobung eines neuen digitalen Werkzeugs namens OpenHealth Lake. Sein Ziel ist es, das Chaos bei der Speicherung und dem Austausch dieser verstreuten Daten zu lösen.
Hier ist eine einfache Aufschlüsselung dessen, was sie taten, wie es funktioniert und was sie herausfanden, unter Verwendung alltäglicher Analogien.
1. Das Problem: Die „unordentliche Garage" vs. die „strenge Bibliothek"
Wissenschaftler erzeugen enorme Datenmengen, doch diese kommen in vielen verschiedenen Formen und Größen vor (wie eine Mischung aus Tabellenkalkulationen, DNA-Sequenzen und Bildern).
- Der alte Weg (Data Warehouses): Wie eine traditionelle Bibliothek, in der alles perfekt sortiert und beschriftet sein muss, bevor es in ein Regal gestellt werden kann. Dies ist für die massiven, unordentlichen Daten, die Wissenschaftler heute erzeugen, zu langsam und zu starr.
- Der „Garagen"-Weg (Data Lakes): Wie das Werfen von allem in eine riesige Garage. Man kann alles speichern, aber es ist schwierig, später etwas zu finden, und es stellt ein Sicherheitsrisiko dar.
- Die neue Lösung (Data Lakehouse): Die Autoren bauten ein Data Lakehouse. Stellen Sie sich dies als eine intelligente, hochtechnologische Garage vor. Sie können unordentliche Gegenstände sofort hineinwerfen (wie in einer Garage), aber das System organisiert sie automatisch, hält sie sicher und ermöglicht Ihnen, sie sofort zu finden (wie in einer Bibliothek).
2. Die Lösung: OpenHealth Lake
Das Team entwickelte eine Prototyp-Plattform namens OpenHealth Lake. Sie ist so konzipiert, dass sie:
- Föderiert ist: Stellen Sie sich eine Kette lokaler Bibliotheken vor, die einen einzigen Katalog teilen. Die Daten bleiben in ihrem ursprünglichen Land oder auf ihrem ursprünglichen Server (wie eine lokale Filiale), aber Sie können sie von überall aus durchsuchen und darauf zugreifen, ohne die physischen Bücher zu bewegen. Dies respektiert lokale Datenschutzgesetze.
- FAIR ist: Die Daten sind Findbar, Accessible (zugänglich), Interoperabel (funktioniert mit anderen Tools) und Reusable (wiederverwendbar).
- Flexibel ist: Sie kann in der „Cloud" arbeiten (Mietraum auf großen Servern wie Amazon oder Google) oder auf einem „selbstgehosteten" Server (wie die Bibliothek im eigenen Keller), je nachdem, was sich die Organisation leisten kann.
3. Wie es funktioniert: Die drei Hauptteile
Das System ist wie ein dreistöckiges Gebäude aufgebaut:
- Die Haustür (Die Website & API): Dies ist die Benutzeroberfläche. Sie ist wie der Empfangstresen, an dem Sie sich anmelden. Sie verfügt auch über eine „Hintertür" (API), die Computerprogrammen ermöglicht, direkt mit dem System zu kommunizieren.
- Das Ablagesystem (Die Datenbank): Sie verwenden eine spezielle Datenbank namens Couchbase. Stellen Sie sich dies als den Kartenkatalog des Bibliothekars vor. Sie speichert nicht die eigentlichen schweren Bücher (Dateien); sie speichert die Etiketten (Metadaten), die Ihnen sagen, wo die Bücher sind, wem sie gehören und wer sie lesen darf.
- Das Lager (Der Speicher): Hier leben die eigentlichen schweren Dateien. Es kann ein Cloud-Bucket oder eine lokale Festplatte sein. Das System verarbeitet sowohl strukturierte Daten (wie Excel-Tabellen) als auch unstrukturierte Daten (wie Rohvideos oder DNA-Dateien), ohne dass sie zuvor bereinigt werden müssen.
Hauptmerkmal: Das „Pass"-System
Um die Sicherheit zu gewährleisten, verwendet das System eine Strategie mit „Visum" oder „Pass".
- Wenn eine neue Datensammlung erstellt wird, erteilt das System ein digitales „Visum".
- Der Eigentümer der Daten kann dieses Visum bestimmten Personen gewähren.
- Wenn Sie das Visum haben, können Sie den spezifischen Raum (die Sammlung) betreten, den Sie sehen dürfen. Wenn Ihr Visum widerrufen wird, schließt sich die Tür sofort.
4. Der Test: Haben die Menschen es gemocht?
Die Autoren haben es nicht nur gebaut; sie haben es mit 31 echten Personen (Wissenschaftlern, Biologen und Computerexperten) getestet. Sie baten diese Personen, 12 spezifische Aufgaben durchzuführen, wie das Anmelden, das Suchen nach einer Datei oder das Hochladen eines neuen Datensatzes.
Die Ergebnisse:
- Grundsätzlich positiv: Die meisten Nutzer fanden das System nützlich und einfach zu bedienen. Sie hatten das Gefühl, dass es echte Probleme löst.
- Die „Python vs. R"-Spaltung: Das Team stellte Tools für zwei Programmiersprachen bereit: Python und R.
- Informatiker bevorzugten Python und fanden es sehr einfach.
- Biologen und Gesundheitsforscher bevorzugten R.
- Der Haken: Die Python-Nutzer bewerteten das System als etwas einfacher zu bedienen als die R-Nutzer. Die Autoren vermuten, dass dies daran liegt, dass die Python-Bibliothek etwas besser gestaltet war, oder weil die Informatiker mit dem „Web-Service"-Stil des Tools einfach vertrauter waren.
- Die kniffligen Teile: Die Aufgaben, die am längsten dauerten oder als „schwierig" bewertet wurden, waren das Hochladen von Dateien und das Erstellen neuer Sammlungen.
- Warum? Diese Aufgaben erforderten, dass Benutzer viele spezifische Details eingaben (wie Dateipfade und Speicherbezeichnungen).
- Das „Pfad"-Problem: Einige Benutzer unter Windows waren verwirrt, weil das System erwartete, dass Dateipfade auf eine bestimmte Weise aussahen (mit Backslashes
\statt mit Forward-Slashes/). - Dokumentation: Einige Benutzer fanden das Handbuch (Dokumentation) etwas verwirrend, insbesondere für die erweiterten Suchfunktionen.
5. Was sie lernten (Limitationen)
Die Autoren sind ehrlich darüber, was verbessert werden muss:
- Die „Geister"-Dateien: Wenn ein Benutzer einen Upload startet, aber nicht fertigstellt, erstellt das System einen „Geister"-Eintrag im Katalog, der besagt, dass eine Datei existiert, obwohl die Datei nicht da ist. Sie benötigen ein besseres „Hausmeister"-System, um diese automatisch zu bereinigen.
- Granularität: Derzeit können Sie, wenn Sie jemandem ein Visum für eine „Sammlung" geben, jede Datei in dieser Sammlung sehen. In der Zukunft müssen sie möglicherweise Visen nur für eine bestimmte Datei innerhalb einer Sammlung erteilen können.
- Speicheroptionen: Derzeit funktioniert es mit Amazon, Google und HDFS. Sie möchten in Zukunft Unterstützung für günstigere, quelloffene Speicheroptionen hinzufügen.
Zusammenfassung
OpenHealth Lake ist eine neue, flexible „intelligente Garage" für Gesundheitsdaten. Es ermöglicht Wissenschaftlern, unordentliche, riesige Datensätze sicher zu speichern und sie über Grenzen hinweg zu teilen, ohne Datenschutzregeln zu verletzen. Während der Prototyp gut funktioniert und im Allgemeinen einfach zu bedienen ist, lernte das Team, dass sie die Anweisungen klarer und den Datei-Upload-Prozess reibungsloser gestalten müssen, um es für jeden perfekt zu machen, von Biologen bis zu Datenwissenschaftlern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.