CAMEL: An ECG Language Model for Forecasting Cardiac Events

Die Arbeit stellt CAMEL vor, das erste EKG-Sprachmodell, das durch einen spezialisierten Encoder und Curriculum Learning in der Lage ist, zukünftige kardiale Ereignisse vorherzusagen und dabei sowohl bestehende ELMs als auch vollständig überwachte Baseline-Modelle in Bezug auf Vorhersagegenauigkeit und Generalisierungsfähigkeit übertrifft.

Das Wesentliche

CAMEL: Der „Kardiologe mit dem Glaskugel-Blick"

Stellen Sie sich vor, Ihr Herz ist wie ein Orchester, das ständig Musik spielt. Ein Elektrokardiogramm (ECG) ist einfach die Partitur dieser Musik – eine grafische Darstellung der elektrischen Signale, die zeigen, wie das Herz schlägt.

Bisher konnten Computer diese Partituren nur lesen und benennen. Sie sagten: „Aha, hier ist eine normale Melodie" oder „Hier ist ein Rhythmusfehler". Aber sie konnten nicht vorhersagen, ob das Orchester in fünf Minuten krachend aus dem Takt geraten wird.

Das neue Modell CAMEL (Cardiac Autoregressive Model for ECG Language-Modeling) ist der erste Computer, der nicht nur liest, sondern zukunftssicher denkt. Es ist wie ein erfahrener Dirigent, der nicht nur die aktuelle Note hört, sondern schon ahnt, welche Note als Nächstes kommt, bevor sie gespielt wird.

1. Das Problem: Der „10-Sekunden-Blindflug"

Bisherige KI-Modelle für Herzdaten waren wie ein Fotograf, der nur ein einzelnes, sehr kurzes Foto (10 Sekunden) macht und daraus versucht, das ganze Leben des Patienten zu verstehen.

• Das Problem: Wenn Sie nur 10 Sekunden Musik hören, können Sie kaum erraten, ob das Lied in 5 Minuten in einen chaotischen Jazz-Ausbruch übergeht.
• Die Folge: Diese Modelle können Krankheiten erkennen, aber nicht vorhersagen, bevor sie passieren.

2. Die Lösung: CAMEL als „Langstrecken-Leser"

CAMEL ist anders. Es kann sich Stundenlang Musik anhören (bis zu 10.000 Sekunden!).

• Die Analogie: Stellen Sie sich vor, Sie lesen ein Buch. Die alten Modelle lasen nur ein einziges Kapitel und sagten: „Das ist ein Krimi." CAMEL liest das ganze Buch (oder zumindest viele Kapitel hintereinander). Dadurch erkennt es Muster: „Oh, der Held hat schon dreimal gezittert, bevor der Mord geschah. Wenn er jetzt wieder zittert, wird es bald wieder passieren."

3. Wie funktioniert das? (Die „Zwei-Köpfe"-Maschine)

CAMEL besteht aus zwei Teilen, die perfekt zusammenarbeiten:

• Der Übersetzer (Der ECG-Encoder):
  Dieser Teil nimmt die rohen Herzsignale (die Wellenlinien) und wandelt sie in eine Sprache um, die die KI versteht. Er zerlegt die Signale in kleine, handliche Stücke (wie Wörter in einem Satz).

  • Kreativer Vergleich: Er ist wie ein Dolmetscher, der die „Musik" des Herzens in „Wörter" übersetzt, damit der große Denker sie verstehen kann.

• Der Denker (Das Sprachmodell):
  Dies ist ein riesiges Gehirn (ein großes Sprachmodell), das bereits viel über Medizin weiß. Es liest die „Wörter" des Dolmetschers und denkt nach.

  • Das Besondere: CAMEL kann viele verschiedene Kanäle gleichzeitig hören (wie 12 verschiedene Instrumente im Orchester) und versteht, wie sie sich gegenseitig beeinflussen.

4. Der Lernprozess: Von der Schule zur Karriere

CAMEL wurde nicht einfach nur mit Daten gefüttert. Es durchlief einen 5-stufigen Lehrplan (Curriculum Learning), ähnlich wie ein Medizinstudent:

1. Stage 1 (Das Gehör): Zuerst lernt es nur, die Signale zu hören und zu wiederholen (wie ein Kind, das Geräusche nachmacht).
2. Stage 2 (Die Multiple-Choice-Prüfung): Es lernt, einfache Diagnosen zu stellen (Ist das Herz normal oder krank?).
3. Stage 3 (Die Mathematik): Es lernt, Zahlen zu berechnen (Wie schnell schlägt das Herz? Wie lang sind die Pausen?). Es lernt, die „Statistiken" des Herzens zu verstehen.
4. Stage 4 (Das Gespräch): Es lernt, mit Ärzten zu sprechen. Es kann Fragen beantworten und Berichte schreiben, die auf den berechneten Zahlen basieren.
5. Stage 5 (Die Glaskugel): Das ist der Clou. Es lernt, Vorhersagen zu treffen. Es sagt: „Basierend auf den kleinen Zuckungen in den letzten Minuten, wird das Herz in 3 Minuten in Vorhofflimmern (eine Art Herzrasen) übergehen."

5. Warum ist das so wichtig?

Stellen Sie sich vor, Sie fahren Auto.

• Alte Modelle: Sie sagen Ihnen, wenn Sie bereits gegen eine Wand gefahren sind. („Unfall erkannt!")
• CAMEL: Es sagt Ihnen: „Achtung! Der Bremsweg wird in 10 Sekunden zu kurz, weil die Straße nass wird. Bremsen Sie jetzt!"

Das ist der Unterschied zwischen Reaktion und Prävention. CAMEL kann Ärzten helfen, Patienten zu behandeln, bevor ein Herzinfarkt oder eine schwere Arrhythmie eintritt.

Zusammenfassung

CAMEL ist wie ein super-intelligenter Assistent, der:

1. Lange Herzsignale lesen kann (nicht nur kurze Schnipsel).
2. Die Statistik des Herzens versteht (wie ein Mathematiker).
3. In menschlicher Sprache erklärt, warum er eine Vorhersage trifft (wie ein Arzt).
4. Die Zukunft des Herzrhythmus vorhersagt, damit Ärzte rechtzeitig eingreifen können.

Es ist ein riesiger Schritt weg von „Was ist gerade passiert?" hin zu „Was wird bald passieren und wie können wir es verhindern?"

Technische Zusammenfassung

Titel: CAMEL: Ein EKG-Sprachmodell zur Vorhersage kardialer Ereignisse

1. Problemstellung

Elektrokardiogramme (EKG) sind entscheidend für die Diagnose von Herz-Kreislauf-Erkrankungen. Während bestehende EKG-Sprachmodelle (ELMs) erfolgreich bei der Klassifizierung von EKG-Signalen und der Generierung von Berichten sind, fehlt ihnen die Fähigkeit, zukünftige kardiale Ereignisse vorherzusagen.

• Limitationen bestehender Modelle: Aktuelle ELMs sind auf kurze Signaldauern (typischerweise 10 Sekunden) beschränkt und können keine prognostischen Muster erkennen, die für eine frühzeitige Intervention notwendig wären.
• Herausforderung: Die Vorhersage von Ereignissen wie ventrikulärer Tachykardie oder Vorhofflimmern erfordert die Detektion subtiler, prognostischer Muster in längeren Zeitreihen, was über die reine Klassifizierung hinausgeht.

2. Methodik: Die CAMEL-Architektur

CAMEL (Cardiac Autoregressive Model for ECG Language-Modeling) ist das erste allgemeine ELM, das für lange zeitliche Kontextfenster von EKG-Signalen ausgelegt ist.

• Backbone: Das Modell basiert auf dem vortrainierten medizinischen Sprachmodell MedGemma-4B.
• ECG-Encoder:
  • Ein trainierbarer 3-Schichten-CNN-Encoder kodiert 1-Sekunden-Segmente eines einzelnen EKG-Kanals in einen latenten Vektorraum ($d=64$).
  • Eine lineare Projektionsschicht (SLP) passt diese Embeddings an den Token-Raum des LLMs ($h=2560$) an.
  • Tokenisierung: Jedes 1-Sekunden-Segment wird als eigener Token behandelt. Dies ermöglicht die Verarbeitung von Signalen beliebiger Länge (bis zu 10.000 Sekunden) und variabler Kanalanzahl.
• Integration von Signal und Text:
  • EKG-Segmente werden mit speziellen Start- und End-Token für jeden Kanal ($\langle lead \rangle, \langle /lead \rangle$) umgeben.
  • Text und EKG-Daten werden zu einer einzigen Sequenz verknüpft, die vom LLM verarbeitet wird.
• Lead-bewusste Attention-Maskierung:
  • Im Gegensatz zu rein kausalen Textmodellen erlaubt CAMEL eine bidirektionale Aufmerksamkeit zwischen allen Kanälen (Leads) zum gleichen Zeitpunkt $t$. Da alle Leads gleichzeitig die gleiche kardiale elektrische Aktivität messen, verbessert dies das Lernen von inter- und intralead-Beziehungen.
• LoRA-Adaption: Das Modell verwendet Low-Rank Adaptation (LoRA) mit einem Rang von $r=128$, um das LLM effizient an die EKG-Aufgaben anzupassen, ohne die gesamten Parameter neu zu trainieren.

3. Trainingspipeline: Curriculum Learning

CAMEL wird in einem 5-stufigen Curriculum trainiert, um schrittweise Fähigkeiten aufzubauen:

1. Autoencoder-Training: Selbstüberwachtes Lernen (MSE-Verlust) auf über 1 Milliarde EKG-Segmenten, um robuste Repräsentationen durch den CNN-Encoder zu lernen.
2. Multiple Choice & Kurze Antworten: Einführung in EKG-Klassifizierungsaufgaben (basierend auf dem Harvard-Emory-Datensatz).
3. Statistik-Fragen: Das Modell lernt, EKG-Statistiken (z. B. RR-Intervalle, QRS-Dauer, Herzfrequenzvariabilität) zu berechnen und zu interpretieren. Dies bildet die Grundlage für evidenzbasierte Diagnosen.
4. Multi-Turn-Konversationen: Training mit Dialogen (ein oder zwei EKGs), die Diagnose, Statistik und klinische Erklärungen verbinden.
5. Vorhersage (Forecasting): Das finale Stadium trainiert das Modell auf dem Icentia11k-Datensatz (langfristige Aufzeichnungen), um Übergänge von normalem Rhythmus zu Arrhythmien (z. B. Vorhofflimmern) über definierte Zeithorizonte (1–10 Minuten) vorherzusagen. Es generiert dabei narrative Berichte, die auf physiologischen Markern basieren.

4. Neue Benchmark: ECGForecastBench

Da keine existierenden Benchmarks die Vorhersage zukünftiger Ereignisse aus normalen Sinusrhythmen testen, führten die Autoren ECGForecastBench ein. Dieser Benchmark bewertet die Fähigkeit des Modells, basierend auf Basisdaten (z. B. 10–600 Sekunden) zukünftige Arrhythmien vorherzusagen.

5. Ergebnisse

CAMEL wurde auf 6 Aufgaben und 9 Datensätzen evaluiert und zeigte überlegene Leistung:

• Vorhersage (Forecasting):
  • CAMEL übertrifft alle Baselines (inkl. GPT-5.2, PULSE, GEM) um >10%.
  • Auf dem neuen ECGForecastBench erzielt CAMEL +12,4% Verbesserung gegenüber voll überwachten Modellen und +21,1% gegenüber Zero-Shot ELMs.
  • Die Leistung steigt signifikant mit längeren Eingabesignalen (bis zu 600 Sekunden), was die Bedeutung langer Kontextfenster unterstreicht.
• Klassifizierung:
  • CAMEL erreicht State-of-the-Art (SOTA) Ergebnisse auf ECGBench mit einem durchschnittlichen Gewinn von +7,0% absolut.
  • Das Modell ist robust gegenüber Out-of-Distribution-Daten (z. B. Penn-Datensatz) und funktioniert auch mit reduzierter Kanalanzahl (z. B. 1–2 Leads).
• Berichtgenerierung & QA:
  • In Aufgaben zur Berichtgenerierung und Beantwortung von Fragen (ECG-QA) erreicht CAMEL konkurrenzfähige bis führende Ergebnisse, insbesondere bei Multi-ECG-Vergleichen.
  • Die Fähigkeit, Statistiken zu berechnen (Grounding), ist deutlich besser als bei vergleichbaren Modellen (niedrigerer RMSE).

6. Bedeutung und Fazit

• Durchbruch in der Vorhersage: CAMEL ist das erste Modell, das EKG-Sprachmodelle von der reinen Klassifizierung zur prognostischen Vorhersage führt.
• Lange Kontextfenster: Durch die 1-Sekunden-Tokenisierung und die spezielle Attention-Mechanik kann CAMEL Signale verarbeiten, die 100-mal länger sind als bei vorherigen Modellen (bis zu 10.000 Sekunden).
• Klinische Relevanz: Die Fähigkeit, zukünftige Ereignisse (wie Vorhofflimmern) basierend auf subtilen Veränderungen in der Herzfrequenzvariabilität und anderen Statistiken vorherzusagen, ermöglicht Ärzten eine frühere Intervention und könnte die Patientenversorgung erheblich verbessern.
• Interpretierbarkeit: Im Gegensatz zu Black-Box-Modellen liefert CAMEL natürliche Sprachberichte, die die Vorhersage durch explizite Nennung von klinischen Statistiken und physiologischen Zusammenhängen begründen.

Zusammenfassend stellt CAMEL einen bedeutenden Schritt in der KI-gestützten Kardiologie dar, indem es die Lücke zwischen aktueller Diagnose und zukünftiger Risikoprognose schließt.