Neural Signals Generate Clinical Notes in the Wild

Die Autoren stellen CELM, das erste multimodale Grundlagenmodell, vor, das langfristige EEG-Aufzeichnungen direkt in klinische Berichte übersetzt und dabei durch die Integration von Patientenhistorie eine signifikante Verbesserung der Generierungsqualität erreicht.

Das Wesentliche

Stell dir vor, ein Arzt sitzt vor einem riesigen, endlosen Filmstreifen. Dieser Film ist keine normale Aufnahme, sondern ein Gehirn-Video, das über Stunden oder sogar Tage läuft. Es zeigt die winzigen elektrischen Impulse von Millionen Nervenzellen. Die Aufgabe des Arztes ist es, diesen chaotischen Film anzusehen, die wichtigsten Szenen zu erkennen (z. B. wo das Gehirn "zuckt" oder wo es ruhig ist) und daraus einen verständlichen medizinischen Bericht zu schreiben.

Das Problem? Das ist extrem anstrengend, dauert lange und erfordert jahrelange Erfahrung. Ein Computer sollte das eigentlich übernehmen können, aber bisher waren die KI-Modelle wie Kinder, die versuchen, einen ganzen Roman zu lesen, aber nur einzelne Wörter verstehen.

Hier kommt CELM ins Spiel – die neue Heldin dieser Geschichte.

1. Das Problem: Der "Elefant im Raum"

Stell dir vor, du versuchst, einen ganzen Ozean in eine kleine Teetasse zu füllen. Das ist das Problem bei EEG-Aufnahmen (Gehirnwellen). Sie enthalten so viele Daten, dass normale KI-Modelle (die wie große Sprachassistenten funktionieren) einfach "überlaufen". Sie können nicht den ganzen Film auf einmal sehen.

Bisherige Versuche, das zu lösen, waren wie ein Puzzle, bei dem man erst die einzelnen Teile sortiert (z. B. "hier ist ein Blitz") und dann versucht, einen Satz daraus zu machen. Das funktioniert oft nicht gut, weil die KI den großen Zusammenhang verliert.

2. Die Lösung: CELM – Der "Gehirn-Übersetzer"

Die Forscher haben CELM (Clinical EEG Language Model) entwickelt. Man kann sich CELM wie einen super-intelligenten Dolmetscher vorstellen, der zwei völlig verschiedene Sprachen spricht:

• Sprache A: Die rohen, elektrischen Signale des Gehirns (ein wildes Rauschen aus Zahlen).
• Sprache B: Die klare, medizinische Sprache eines Arztes (Sätze wie "Der Patient zeigt Anzeichen von Epilepsie").

CELM tut drei Dinge, um diese Brücke zu schlagen:

• Der "Zusammenfasser" (Tokenisierung):
  Statt jeden einzelnen Moment des 10-stündigen Films einzeln zu betrachten, fasst CELM die Bilder in kleine, handliche Abschnitte zusammen. Stell dir vor, du nimmst einen 10-stündigen Film und erstellst daraus nur 100 aussagekräftige Standbilder. So passt der ganze "Film" in das Gedächtnis der KI, ohne dass sie den Überblick verliert.
• Der "Zeit-Reisende" (Alignment):
  Das Gehirn ist nicht statisch; es verändert sich über die Zeit. Ein Blitz heute ist anders als einer vor einer Stunde. CELM ist so gebaut, dass es die Zeitlinie versteht. Es weiß: "Ah, dieser Rhythmus hier führt zu jenem Ereignis dort." Es verbindet die Punkte auf dem Papier, statt sie nur nebeneinander zu kleben.
• Der "Storyteller" (Prompt Fusion):
  Wenn der Arzt zusätzliche Infos hat (z. B. "Der Patient hatte gestern einen Unfall"), gibt er das der KI. CELM nimmt diese Info und die Gehirn-Daten und verwebt sie zu einer perfekten Geschichte. Es schreibt nicht nur trockene Fakten, sondern einen fließenden Bericht, genau wie ein erfahrener Neurologe.

3. Das Ergebnis: Ein Wunderwerkzeug

Die Forscher haben CELM mit fast 10.000 echten Patientenberichten trainiert. Das Ergebnis ist beeindruckend:

• Ohne Hilfe: Wenn die KI nur die Gehirn-Daten sieht (ohne Patientenhistorie), schreibt sie Berichte, die fast doppelt so gut sind wie alles, was vorher möglich war.
• Mit Hilfe: Wenn sie auch die Patientengeschichte kennt, verbessert sie sich noch weiter und erreicht eine Qualität, die der menschlicher Experten sehr nahekommt.

Warum ist das wichtig?

Stell dir vor, du hast einen Stau auf der Autobahn. Früher musste ein Polizist jeden einzelnen Unfall einzeln beschreiben. Jetzt kommt ein Roboter, der sofort die gesamte Situation erfasst und einen perfekten Bericht schreibt.

CELM ist dieser Roboter für das Gehirn. Es entlastet die Ärzte von der monotonen Schreibarbeit, damit sie sich auf das Wesentliche konzentrieren können: die Patienten zu behandeln. Es ist der erste Schritt zu einer Zukunft, in der KI nicht nur "mitdenkt", sondern medizinische Berichte direkt aus den Nervensignalen unseres Gehirns "erzählt".

Kurz gesagt: CELM ist der erste KI-Assistent, der wirklich versteht, was in unserem Kopf vorgeht, und das in einer Sprache übersetzt, die Ärzte sofort nutzen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Neural Signals Generate Clinical Notes in the Wild" auf Deutsch:

Titel: Neural Signals Generate Clinical Notes in the Wild

Autoren: Jathurshan Pradeepkumar, Zheng Chen, Jimeng Sun
Veröffentlichung: Preprint, März 2026 (arXiv:2601.22197v2)

---

1. Problemstellung

Die Erstellung klinischer Berichte aus langfristigen EEG-Aufzeichnungen (Elektroenzephalographie) ist ein extrem arbeitsintensiver Prozess. Neurologen müssen manuell die neuronalen Aktivitäten über Stunden hinweg visuell analysieren, um Anomalien (z. B. epileptiforme Muster), Hintergrundaktivität und diagnostische Schlussfolgerungen zu identifizieren und in strukturierte Texte zu übersetzen.

Bestehende automatisierte Ansätze leiden unter folgenden Mängeln:

• Konzeptionelle Limitierung: Viele Methoden behandeln die Aufgabe als Klassifikationsproblem (Phänotyp-Erkennung) gefolgt von Textgenerierung, anstatt ein end-to-end Lernproblem zu modellieren. Dies führt zu einer Fehlausrichtung zwischen Klassifikations- und Generierungszielen.
• Methodische Einschränkungen: Aktuelle Modelle arbeiten oft nur mit kurzen EEG-Segmenten und festen Templates. Sie können den langfristigen zeitlichen Kontext (Stunden bis Tage) und das globale diagnostische Reasoning nicht erfassen.
• Praktische Defizite: Die meisten Modelle sind auf spezifische Teilaufgaben (z. B. nur „Eindruck"-Abschnitte) zugeschnitten, während klinische Praxis multidimensionale Berichte erfordert (Beschreibung, Hintergrund, Anomalien, Anfälle, Gesamteindruck).
• Fehlende Benchmarks: Es gab bisher keine öffentlich zugänglichen, strukturierten Datensätze, die lange EEG-Aufzeichnungen direkt mit klinischen Berichten verknüpfen, um solche Modelle zu trainieren.

---

2. Methodik: CELM (Clinical EEG Language Model)

Die Autoren stellen CELM vor, das erste klinische EEG-zu-Sprache-Foundation-Modell, das End-to-End-Berichte aus langen EEG-Aufzeichnungen generiert. Das Framework besteht aus drei Kernkomponenten:

A. Datengrundlage und Benchmark-Konstruktion

• Datenquelle: Nutzung der Harvard Electroencephalography Database v4.1 und elektronischer Gesundheitsakten (EHR).
• Skala: Ein kuratiertes Dataset mit 9.922 klinischen Berichten, die mit ca. 11.000 Stunden EEG-Aufzeichnungen von 9.048 Patienten verknüpft sind.
• Pipeline: Ein automatisierter Prozess zur Strukturierung der Berichte in klinische Kontexte (Anamnese) und EEG-Befunde (direkt aus den Signalen ableitbar). Die Daten wurden patientenweise in Trainings-, Validierungs- und Testsets (60/20/20) aufgeteilt, um Datenlecks zu vermeiden.

B. Architektur von CELM

CELM integriert vortrainierte EEG-Foundation-Modelle mit Large Language Models (LLMs) und adressiert drei Hauptprobleme:

1. Epoch-Aggregated Tokenization (EAT):

   • Problem: Eine typische 2-stündige EEG-Aufzeichnung (22 Kanäle, 200 Hz) enthält ca. 31,7 Millionen Datenpunkte, was die Kontextgrenzen von LLMs sprengt.
   • Lösung: Statt Rohdaten zu tokenisieren, werden die Signale in 10-Sekunden-Epochen unterteilt. Ein vortrainierter EEG-Encoder (z. B. CBraMod) tokenisiert 1-Sekunden-Fenster innerhalb jeder Epoche. Diese werden dann aggregiert (z. B. durch Pooling oder [CLS]-Token), um ein einziges Token pro Epoche zu erzeugen. Dies reduziert die Tokenanzahl um den Faktor ~220 und macht die Daten für LLMs handhabbar.

2. Sequence-Aware Alignment (SAA):

   • Problem: Einfache lineare Projektion (wie bei Bild-Sprache-Modellen) ignoriert die inhärente sequenzielle Natur und die langfristigen zeitlichen Abhängigkeiten von EEG-Signalen.
   • Lösung: Zwei Strategien werden vorgeschlagen:
     • Sequence Context Alignment (SCA): Nutzt einen leichten Transformer mit linearer Aufmerksamkeit, um die zeitliche Struktur zwischen den Epochen zu modellieren, bevor die Projektion in den LLM-Raum erfolgt.
     • Sequence Context Compression (SCC): Nutzt eine Perceiver-Architektur mit lernbaren Query-Tokens, um variable lange Sequenzen auf eine feste Anzahl von Tokens zu komprimieren (speichereffizient).

3. Prompt Fusion and Generation:

   • Die projizierten EEG-Token werden mit speziellen Trennzeichen ([EEG_START], [EEG_END]) versehen und mit optionalen klinischen Kontexten (z. B. Patientenhistorie) sowie einem Aufgaben-Prompt kombiniert.
   • Ein lokales LLM (basierend auf Qwen3-4B) wird mittels Supervised Fine-Tuning (Next-Token Prediction) trainiert, um strukturierte Berichte zu generieren.
   • Training: Der EEG-Encoder und das LLM bleiben eingefroren; nur der Alignment-Modul wird aktualisiert.

---

3. Wichtige Beiträge

1. Erstes ELM-Foundation-Modell: CELM ist das erste Modell, das klinische EEG-Berichte end-to-end und in mehreren Granularitäten (von Details bis zum Gesamteindruck) generiert, ohne auf Zwischenklassifikationen oder Templates angewiesen zu sein.
2. Skalierbare Benchmark-Pipeline: Die Vorstellung einer Pipeline zur effizienten Filterung und Strukturierung von 200 TB unstrukturierter Rohdaten in einen trainierbaren EEG-Bericht-Benchmark.
3. Neue Architektur für zeitliche Abhängigkeiten: Die Einführung von Sequence-Aware Alignment zeigt, dass die Modellierung zeitlicher Abhängigkeiten vor der Projektion in den Sprachraum entscheidend für die Leistung ist.
4. Open Source: Vollständige Freigabe von Code, Modell und Benchmark-Pipeline.

---

4. Ergebnisse

Die Evaluation erfolgte auf zwei Krankenhausstandorten (S0001 und S0002) unter verschiedenen Bedingungen:

• Überlegenheit gegenüber Baselines: CELM übertrifft alle Baselines (einschließlich medizinischer LLMs wie MedGemma und generischer Modelle wie Llama-3/Qwen) signifikant.
  • Mit Patientenhistorie: Relative Verbesserungen von 70 % bis 95 % in Standardmetriken (ROUGE-1, METEOR). Die Scores steigen von einem Basisbereich von 0,2–0,3 auf 0,4–0,6.
  • Zero-Shot (ohne Patientenhistorie): CELM erreicht Scores von 0,43–0,52, während Baselines nur bei 0,17–0,26 liegen. Dies beweist, dass das Modell echte Informationen aus dem EEG extrahiert und nicht nur Halluzinationen basierend auf dem Kontext erzeugt.
• Abtraktionsstudie: Die Sequence Context Alignment (SCA)-Variante erzielte die besten Ergebnisse, was die Wichtigkeit der Modellierung zeitlicher Abhängigkeiten unterstreicht. Einfache lineare Projektoren zeigten Überanpassung (steigende Validierungsverluste).
• Qualitative Analyse: CELM generiert Berichte, die klinisch korrekter sind und spezifische Befunde (z. B. bilaterale Beta-Aktivität, Verlangsamung) korrekt identifizieren, wo Baselines versagen.

---

5. Bedeutung und Ausblick

• Klinischer Impact: Die Arbeit demonstriert die Machbarkeit, strukturierte klinische Berichte direkt aus langen, unstrukturierten EEG-Signalen zu generieren. Dies hat das Potenzial, die Arbeitslast von Neurologen erheblich zu reduzieren und die Diagnosegeschwindigkeit zu erhöhen.
• Forschungsrichtung: Sie etabliert „EEG-to-Language" als vielversprechendes Forschungsgebiet an der Schnittstelle von multimodalem Lernen und klinischer Neurophysiologie.
• Limitationen:
  • Evaluation: Aktuelle Metriken messen lexikalische Ähnlichkeit, nicht unbedingt klinische Korrektheit.
  • Skalierbarkeit: Der Speicherbedarf ist für sehr lange Aufzeichnungen (>3 Stunden) noch eine Herausforderung, obwohl SCC hier Abhilfe schafft.
  • Einsatz: Das Modell ist ein Forschungsprototyp und erfordert noch strenge Validierung und regulatorische Zulassung für den klinischen Einsatz.

Zusammenfassend stellt CELM einen bedeutenden Schritt hin zu automatisierten, datengesteuerten klinischen Workflows dar und liefert die erste solide Grundlage für zukünftige Entwicklungen in der EEG-Sprachmodellierung.