EDEN: A Large-Scale Corpus of Clinical Notes for Italian

Das Papier stellt EDEN vor, das größte frei verfügbare Korpus an anonymisierten italienischen klinischen Notizen aus Notaufnahmen, welches etwa 4 Millionen Datensätze sowie eine manuell annotierte Teilmenge umfasst, die zur Unterstützung der Entwicklung von Large Language Models und zur Benchmark-Bewertung strukturierter Informationsextraktionsaufgaben konzipiert wurde.

Das Wesentliche

Stellen Sie sich eine riesige Bibliothek vor, in der die Regale statt mit Büchern mit Millionen von handgeschriebenen Notizen von Ärzten gefüllt sind. Dies sind keine Geschichten oder Gedichte; es sind die täglichen Protokolle italienischer Notaufnahmen, die Patienten beschreiben, die mit allem Möglichen eingeliefert wurden – von Knochenbrüchen bis hin zu plötzlichen Ohnmachtsanfällen.

Lange Zeit war diese Bibliothek verschlossen. Die Schlüssel wurden durch Datenschutzgesetze und die ungeordnete Natur der Notizen fest in der Hand gehalten. Forscher, die diese Notizen untersuchen wollten, um intelligentere Computerprogramme (wie KI-Ärzte) zu entwickeln, mussten an die Tür klopfen, wurden aber oft abgewiesen oder mussten jahrelang auf eine Genehmigung warten.

EDEN: Das Große Entriegeln

Dieses Paper stellt EDEN (Emergency Department Electronic Notes) vor, eine neue, riesige Sammlung dieser italienischen Notaufnahmen-Notizen, die nun endlich für die Forschung freigegeben wurde. Betrachten Sie EDEN als ein massives, anonymisiertes „Zeitkapsel“-Archiv, das etwa 4 Millionen Patientennotizen aus zwei italienischen Krankenhäusern enthält.

Hier ist, wie die Autoren es aufgebaut haben und was sie damit gemacht haben, einfach erklärt:

1. Die „Geister“-Notizen (Anonymisierung)

Bevor jemand diese Notizen sehen durfte, mussten die Autoren sie säubern, um jegliche Identität zu entfernen. Stellen Sie sich vor, ein Arzt schreibt eine Notiz: „Herr Rossi, 50 Jahre alt, wohnt in der Via Roma, kam um 15 Uhr an.“
Das EDEN-Team nutzte einen speziellen digitalen „Radiergummi“ (Software), um dies in Folgendes zu verwandeln: „Patient, erwachsen, kam um 15 Uhr an.“
Sie gingen dabei in zwei Schritten vor: Zuerst entfernten sie offensichtliche Namen und Daten, dann nutzten sie intelligente Software, um auch verbleibende Hinweise (wie den Namen eines Verwandten) zu erfassen. Jetzt sind die Notizen wie Geistergeschichten – sie erzählen die medizinische Geschichte, ohne zu verraten, wer die Charaktere eigentlich sind.

2. Das „Lückentext“-Spiel (Die annotierte Teilmenge)

Während die 4 Millionen Notizen großartig zum Lesen sind, benötigen Computer spezifisches Training, um zu lernen. Deshalb nahmen die Autoren einen kleineren Ausschnitt von etwa 5.700 Notizen und spielten ein Spiel mit menschlichen Ärzten.

Sie gaben den Ärzten eine riesige Checkliste namens Case Report Form (CRF). Diese Checkliste enthielt 132 verschiedene Fragen zu einem Patienten, wie zum Beispiel:

• „Hat der Patient das Bewusstsein verloren?“ (Ja/Nein)
• „Wie hoch war sein Sauerstoffgehalt?“ (Eine Zahl)
• „Lag ein Trauma vor?“ (Ja/Nein)

Die Ärzte lasen die ungeordneten Freitext-Notizen und füllten diese Checkliste aus. Manchmal stand die Antwort direkt im Text; in anderen Fällen stand sie nicht in der Notiz, sodass sie als „Unbekannt“ markiert wurde. Dies verwandelte die ungeordneten Notizen in eine strukturierte, organisierte Datenbank.

3. Die „KI-Testfahrt“ (Das Experiment)

Sobald sie diese organisierten Daten hatten, wollten die Autoren sehen, ob moderne KI (Large Language Models) dieselbe Aufgabe wie die menschlichen Ärzte erfüllen kann. Sie brachten der KI nichts Neues bei; sie übergaben ihr einfach die Notizen und die Checkliste und fragten: „Kannst du diese ausfüllen?“

Sie testeten zwei KI-Modelle:

• Gemma-27B: Eine kluge, allgemeine KI.
• MedGemma-27B: Dieselbe KI, aber speziell auf medizinische Bücher und Fachartikel vortrainiert.

Die Ergebnisse:

• Die „häufigste“ Vermutung: Wenn die KI einfach nur die am häufigsten vorkommende Antwort rät (meistens „Unbekannt“ oder „Nein“), erreichte sie auf dem Papier eine hohe Punktzahl, hat aber eigentlich nichts Nützliches gelernt. Es war wie ein Schüler, der bei jeder Frage auf einer Prüfung einfach nur mit „Vielleicht“ antwortet.
• Die „echte“ KI: Als die KI tatsächlich versuchte, die Notizen zu lesen und zu verstehen, schnitt sie viel besser ab. Die medizinisch trainierte KI (MedGemma) war am besten darin, die spezifischen Details zu finden, was beweist, dass das Unterrichten einer KI über Medizin hilft, medizinische Notizen zu verstehen.
• Die Strategie: Sie fanden heraus, dass es für die KI zu überwältigend war, die gesamte Checkliste auf einmal auszufüllen. Es war der „Sweet Spot“ – schnell und präzise –, wenn man die KI bat, kleine Gruppen zusammengehöriger Fragen (wie alle herzbezogenen Fragen zusammen) auszufüllen.

4. Warum das wichtig ist (Die „Lücke“)

Die Autoren weisen auf ein großes Problem hin: Die meiste KI-Forschung wird auf Englisch durchgeführt, unter Verwendung englischer Daten. Es ist, als würde man versuchen, die italienische Küche zu lernen, indem man nur englische Rezepte liest. Die Wörter und Phrasen sind anders.

EDEN ist bedeutend, weil es die größte Sammlung italienischer klinischer Notizen ist, die jemals kostenlos zur Verfügung gestellt wurde. Es schließt eine große Lücke und ermöglicht es Forschern endlich, KI-Werkzeuge zu bauen und zu testen, die die italienische Sprache und die Art und Weise, wie italienische Ärzte schreiben, tatsächlich verstehen.

Zusammenfassung

Kurz gesagt: Die Autoren nahmen einen verschlossenen Tresor mit 4 Millionen italienischen Notizen aus Notaufnahmen, säuberten sie von Datenschutzrisiken und erstellen ein „Handbuch“ für Computer. Sie zeigten, dass KI lernen kann, diese Notizen zu lesen und spezifische medizinische Fakten zu extrahieren, insbesondere wenn die KI bereits medizinische Lehrbücher studiert hat. Dies öffnet die Tür für bessere KI-Werkzeuge, die italienische Ärzte in Zukunft unterstützen können, basierend auf realen Daten statt nur auf theoretischem Lehrbuchwissen.

Technische Zusammenfassung

Technisches Resümee: EDEN – Ein groß angelegtes Korpus klinischer Notizen für Italienisch

Problemstellung

Klinische Notizen enthalten eine Fülle von Patienteninformationen, bleiben jedoch aufgrund regulatorischer Barrieren (z. B. DSGVO), technischer Herausforderungen (unstrukturierte, heterogene natürliche Sprache) und Datenfragmentierung über isolierte Systeme hinweg weitgehend für die Forschung unzugänglich. Dieser Mangel ist für Sprachen außerhalb des Englischen, wie etwa Italienisch, besonders ausgeprägt. Während wissenschaftliche Literatur (z. B. PubMed) verfügbar ist, kann sie die reale klinische Welt nicht ersetzen, wenn es um Anwendungen wie die automatische Erstellung digitaler Gesundheitsakten geht. Zudem hat die Forschung in der Notfallmedizin (ED) historisch hinter anderen Fachrichtungen zurückgelegen, was auf die fragmentierte, zeitkritische Natur der Notfallpraxis zurückzuführen ist, die eine traditionelle manuelle Datenerhebung unmöglich macht. Es besteht ein kritischer Bedarf an groß angelegten, anonymisierten, realen klinischen Datensätzen in italienischer Sprache, um die Entwicklung und Evaluierung von Large Language Models (LLMs) für medizinische Anwendungen zu unterstützen.

Methodik

Datenerhebung und Anonymisierung

Das EDEN-Korpus (Emergency Department Electronic Notes) wurde im Rahmen der NLP-DeVal-Studie erhoben, die Teil des durch Horizon Europe geförderten eCREAM-Projekts ist. Die Daten wurden aus den Notaufnahmen zweier italienischer Krankenhäuser bezogen: San Giovanni Bosco (Turin) und Sant'Andrea (Vercelli), die den Zeitraum 2021–2023 abdecken.

• Protokoll: Die Studie erhielt die Genehmigung der Ethikkommissionen der Krankenhäuser und hielt sich strikt an die Datenschutzbestimmungen.
• Anonymisierung: Es wurde ein zweistufiger Prozess angewandt:
  1. Entfernung aller direkten Bezüge zu Patienten und dem klinischen Kontext (Namen, Daten, Diagnosen, Entlassung).
  2. Anwendung einer zertifizierten Anonymisierungssoftware (AnonymAI), um verbleibende Bezüge zu Dritten (z. B. Kontaktdaten von Angehörigen) zu eliminieren.
• Umfang: Das resultierende Korpus umfasst etwa 4,2 Millionen klinische Notizen (221 Millionen Wörter) in 10 gängigen Kategorien (z. B. Anamnese, Triage, Entlassung, LIS, RIS) sowie krankenhasspezifischen Kategorien.

Annotationsschema (CRF Filling)

Um einen strukturierten Benchmark zu erstellen, wurde eine Teilmenge von 5.746 Notizen aus dem San Giovanni Bosco (SGB)-Datensatz manuell von geschulten Klinikern annotiert.

• Aufgabe: Die Annotation folgt einem „CRF Filling“-Paradigma, bei dem Kliniker Informationen aus Freitextnotizen extrahieren, um ein virtuelles Case Report Form (vCRF) zu befüllen.
• Struktur: Das vCRF enthält 132 Items, die in klinische Domänen (z. B. körperliche Untersuchung, Anamnese, Laborergebnisse) unterteilt sind.
• Werttypen: Die Items unterstützen vier Arten von Werten:
  1. Binär (J/N): z. B. Verabreichung von Diuretika.
  2. Kategorial: z. B. Herzinsuffizienz (akut/chronisch).
  3. Numerisch: z. B. pH-Werte.
  4. Gemischt (Zahl-oder-Kategorie): z. B. Herzfrequenz (numerischer Wert oder Kategorien wie bradykard/tachykard).
• Umgang mit fehlenden Daten: Wenn die Evidenz unzureichend ist, werden die Items als „unbekannt“ markiert.
• Prozess: Die Annotation erfolgte mittels Label Studio, nachdem eine Kalibrierungsphase zur Klärung von Mehrdeutigkeiten durchgeführt worden war. Der Datensatz ist stark imbalanciert; während einige Notizen dicht annotiert sind, enthalten etwa 30 % keine ausgefüllten Items, und die Mehrheit der 132 Felder pro Notiz ist typischerweise als „unbekannt“ markiert.

Experimenteller Aufbau

Die Autoren untersuchten die Machbarkeit des Einsatzes von LLMs für diese strukturierte Extraktionsaufgabe in einem Zero-Shot-Setting.

• Modelle: Zwei Modelle wurden getestet: Gemma-27B (Allzweckmodell) und MedGemma-27B (eine biomedizinisch adaptierte Variante).
• Prompting-Strategien: Drei Konfigurationen wurden evaluiert, um Effizienz und Kontrolle abzuwägen:
  1. Item: Ein Prompt pro Item (132 Aufrufe pro Notiz).
  2. Group: Ein Prompt pro klinischer Gruppe (7 Aufrufe pro Notiz).
  3. Full: Alle 132 Items in einem einzigen Prompt (1 Aufruf pro Notiz).
• Metriken: Macro-F1 wurde als primäre Metrik gewählt, um der extremen Klassenimbalance (bei der „unbekannt“ dominiert) zu begegnen, zusammen mit Micro-F1, Weighted-F1 und Accuracy.
• Baselines: Zufallsvorhersage und „Most Common“ (immer „unbekannt“ vorhersagen).

Zentrale Beiträge

1. EDEN-Korpus: Das größte frei verfügbare Korpus italienischer klinischer Notizen, das etwa 4 Millionen anonymisierte Notizen aus realen Notaufnahme-Settings enthält.
2. Annotierte Teilmenge: Eine manuell kuratierte Teilmenge von 5.746 Notizen mit 15.528 Annotationen über 132 strukturierte CRF-Items, die verschiedene Werttypen und klinische Domänen abdeckt.
3. CRF Filling Benchmark: Die Einführung einer strukturierten Informationsextraktionsaufgabe, die speziell für klinische Notizen entwickelt wurde und über die Standard-Named Entity Recognition (NER) hinausgeht, um komplexe Werte zu extrahieren.
4. Zero-Shot Baselines: Die erste Evaluierung von 27B-Parametern umfassenden LLMs beim italienischen klinischen CRF Filling, die zeigt, dass die biomedizinische Domänenadaption (MedGemma) signifikante Verbesserungen gegenüber allgemeinen Modellen erzielt.

Ergebnisse

• Baseline-Leistung: Die „Most Common“-Baseline (Vorhersage von „unbekannt“ für alle Items) erreichte aufgrund der Klassenimbalance eine hohe Micro-F1 (0,978) und Accuracy (0,978), aber eine niedrige Macro-F1 (0,404), was die Schwierigkeit verdeutlicht, informative, nicht-standardmäßige Werte zu extrahieren.
• Modellleistung:
  • MedGemma-27B übertraf Gemma-27B konsistent in den Item- und Group-Konfigurationen und erreichte eine Macro-F1 von 0,702 in der Group-Konfiguration. Dies bestätigt den Wert der biomedizinischen Domänen-Vortrainings für italienische klinische Aufgaben.
  • Die Full-Prompting-Konfiguration zeigte einen leichten Leistungsabfall oder eine Umkehrung für MedGemma, was darauf hindeutet, dass die Generierung von 132 Vorhersagen in einer einzigen Antwort die Fähigkeit des Modells zur Befolgung von Instruktionen (Instruction-Following) überfordert.
• Effizienz: Die Group-Konfiguration erwies sich als das optimale Gleichgewicht und reduzierte die Inferenzzeit im Vergleich zur Item-Konfiguration um etwa das Zehnfache, während sie gleichzeitig die höchsten Macro-F1-Werte beibehielt.

Bedeutung und Behauptungen

Das Paper positioniert EDEN als eine kritische Ressource, um die Lücke in den italienischen klinischen Daten zu schließen und die Forschung an LLMs für hochsensible medizinische Anwendungen zu ermöglichen. Die Autoren behaupten:

• EDEN ist das größte frei verfügbare Korpus italienischer klinischer Notizen.
• Der Datensatz ist einzigartig durch seine vielfältigen strukturierten Ausgaben (binär, kategorial, numerisch, gemischt) über mehrere klinische Domänen hinweg.
• Large Language Models können ohne aufgabenspezifische Überwachung (Zero-Shot) aussagekräftige klinische Informationen aus italienischen Notizen extrahieren, insbesondere wenn biomedizinisch adaptierte Modelle und gruppierte Prompting-Strategien verwendet werden.
• Die Ressource zielt darauf ab, die Forschung in der italienischen klinischen NLP, der strukturierten Informationsextraktion und der zuverlässigen Evaluierung von LLMs in Notfallsettings zu katalysieren.

Die Autoren bleiben bescheiden hinsichtlich des aktuellen Stands der Technologie und merken an, dass die Zero-Shot-Ergebnisse zwar vielversprechend sind, aber Raum für Verbesserungen durch Few-Shot-Ansätze und Fine-Tuning lassen, die für zukünftige Arbeiten geplant sind. Sie räumen zudem ein, dass strukturelle Engpässe bei der Ethikgenehmigung und dem Datentransfer die Sammlung erschwert haben, und betonen die Notwendigkeit standardisierter regulatorischer Rahmenbedingungen für retrospektive NLP-Studien.