CAMEL: An ECG Language Model for Forecasting Cardiac Events

Dit paper introduceert CAMEL, het eerste ECG-taalmodel dat door middel van een gespecialiseerde encoder en curriculum learning in staat is om toekomstige hartgebeurtenissen te voorspellen en hiermee nieuwe state-of-the-art resultaten bereikt op zowel bestaande als nieuwe benchmarks.

De kern

CAMEL: De Hart-Vertaler die de Toekomst Voorspelt

Stel je voor dat een hartslag niet alleen een geluid is, maar een lang verhaal dat de hersenen van je hart vertellen. Normaal gesproken kijken artsen naar een kort fragment van dit verhaal (ongeveer 10 seconden) om te zien of er nu iets mis is. Maar wat als je het verhaal een stukje verderop kunt lezen om te zien wat er straks gaat gebeuren?

Dat is precies wat CAMEL doet. Het is een nieuwe, slimme computerprogramma (een "AI") dat is getraind om niet alleen te kijken naar wat er nu in je hart gebeurt, maar om de toekomst te voorspellen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De Korte Blik

Tot nu toe waren de slimste computers voor hartproblemen (zoals een camera die een foto maakt) beperkt tot een heel kort moment. Ze konden zeggen: "Op dit moment klopt je hart goed" of "Op dit moment is er een storing." Maar ze konden niet zeggen: "Je hart ziet er nu goed uit, maar binnen 5 minuten gaat het waarschijnlijk in de war raken." Dat is als een weersvoorspelling die alleen zegt: "Het regent nu," maar niets zegt over de storm die over een uur komt.

2. De Oplossing: CAMEL, de Hart-Vertaler

CAMEL is anders. Het is een taalmodel voor hartgrafieken (ECG's).

• De Analogie: Stel je voor dat een hartgrafiek een boek is. Tot nu toe konden andere computers alleen één zin van dat boek lezen. CAMEL kan echter hele hoofdstukken lezen.
• Hoe werkt het? CAMEL kijkt naar de hartgrafiek alsof het een taal is. Het verdeelt de grafiek in kleine stukjes (elke seconde is een woordje) en leest ze samen met medische teksten. Hierdoor begrijpt het de context. Het ziet niet alleen een piek, maar begrijpt dat deze piek samenhangt met wat er 30 seconden eerder gebeurde.

3. De Leermethode: Een School voor AI

CAMEL is niet zomaar geboren; het is opgeleid in vijf stappen, net zoals een student die van school naar school gaat:

1. De Basis: Eerst leerde het de taal van de hartslag (het herkent de vormen).
2. De Quiz: Daarna kreeg het meerkeuzevragen over hartziektes.
3. De Wiskunde: Het leerde de getallen achter de grafiek te begrijpen (bijvoorbeeld: "Hoe vaak slaat het hart per minuut?").
4. Het Gesprek: Het oefende met artsen in een gesprek, waarbij het uitlegde waarom het een diagnose stelde.
5. De Voorspelling (De Gouden Stap): Tot slot leerde het om te kijken naar de huidige situatie en te zeggen: "Op basis van deze patronen, is de kans groot dat het hart binnen X minuten in de war raakt."

4. Waarom is dit zo belangrijk?

Stel je voor dat je een auto rijdt. Een oude sensor zegt: "Je banden zijn nu goed." CAMEL is als een super-sensor die zegt: "Je banden zijn nu goed, maar ik zie een kleine trilling die erop wijst dat je over 2 minuten een lekke band krijgt."

In de medische wereld betekent dit:

• Vroegtijdige ingreep: Als een arts weet dat een patiënt binnen 5 minuten een hartritmestoornis krijgt, kan de arts nu al medicijnen geven of voorbereidingen treffen.
• Betere uitleg: CAMEL kan niet alleen zeggen "Het is gevaarlijk", maar ook uitleggen: "Het is gevaarlijk omdat de pauzes tussen de hartslagen steeds korter worden en er extra slagen zijn." Het denkt mee met de arts.

5. De Resultaten

In tests heeft CAMEL laten zien dat het veel beter is dan de oude systemen.

• Het kan kijken naar grafieken van wel 10 minuten (terwijl anderen maar 10 seconden aankunnen).
• Het voorspelt hartritmestoornissen (zoals boezemfibrilleren) met veel meer zekerheid dan de beste bestaande methoden.
• Het werkt zelfs als het geen eerdere voorbeelden van exact die specifieke patiënt heeft gezien (het is slim genoeg om patronen te herkennen).

Kortom: CAMEL is als een ervaren detective die niet alleen kijkt naar de moordplek (het huidige hart), maar ook naar de sporen in de omgeving (de lange tijdlijn) om te voorspellen waar de volgende misdaad plaatsvindt. Dit geeft artsen de kans om in te grijpen voordat het echt fout gaat, wat levens kan redden.

Technische samenvatting

Probleemstelling

Elektrocardiogrammen (ECG) zijn cruciaal voor de diagnose van hartaandoeningen. Hoewel er recentelijk "ECG-taalmodellen" (ELMs) zijn ontwikkeld die ECG-signaalclassificatie combineren met het genereren van rapporten in natuurlijke taal, hebben deze modellen een fundamentele beperking: ze kunnen geen toekomstige cardiale gebeurtenissen voorspellen. Bestaande modellen zijn beperkt tot het classificeren van korte ECG-segmenten (meestal 10 seconden) en bieden geen ondersteuning voor vroege interventie door het anticiperen op toekomstige arritmieën. Traditionele machine learning-modellen en CNN's kunnen wel voorspellingen doen, maar vereisen volledig toezicht op vaste invoerlengtes en missen de interpretatiekracht en generalisatievermogen van taalmodellen.

Methodologie: CAMEL Architectuur

De auteurs stellen CAMEL (Cardiac Autoregressive Model for ECG Language-Modeling) voor, het eerste ELM dat is ontworpen om langere temporale contextvensters van ECG-signalen te verwerken en toekomstige gebeurtenissen te voorspellen.

1. Architectuur en Tokenisatie:

• Encoder: CAMEL gebruikt een trainbare tokeniserende encoder bestaande uit een 3-laags CNN. Elke 1-seconde ECG-segment (per lead) wordt omgezet in een compacte vectorrepresentatie ($d=64$).
• Integratie met LLM: Deze embeddings worden via een lineaire projectie (SLP) afgebeeld op de hidden space van een Large Language Model (LLM). CAMEL bouwt voort op MedGemma-4B, een medisch voorgetraind taalmodel.
• Token-structuur: In tegenstelling tot eerdere modellen die 10-seconden blokken als één eenheid behandelen, tokeniseert CAMEL elke 1-seconde segment als een individueel token. Dit maakt het mogelijk om signalen van willekeurige lengte (tot 10.000 seconden) en variabele lead-configuraties te verwerken.
• Lead-aware Attention Masking: Een unieke innovatie is het gebruik van een aangepast attention-mask. Omdat alle leads op een bepaald tijdstip $t$ gelijktijdige projecties van dezelfde hartactiviteit meten, staat dit masker toe dat tokens op dezelfde tijdspositie (over verschillende leads heen) bidirectioneel naar elkaar kunnen kijken. Dit bevordert het leren van inter- en intra-lead relaties.

2. Curriculum Learning (5-staps trainingspipeline):
Om het model te leren redeneren en te voorspellen, wordt een gefaseerde trainingsaanpak gebruikt:

• Fase 1 (Autoencoder): Zelftoezicht op 1 miljard ECG-segmenten om robuuste representaties te leren via reconstructie.
• Fase 2 (Multiple Choice & Korte Antwoorden): Leren van basisclassificatie en hoogwaardige ECG-taken.
• Fase 3 (Statistieken): Het model leert fijnmazige ECG-statistieken te berekenen (bijv. RR-intervallen, QRS-duur) en deze te gebruiken voor redenering.
• Fase 4 (Meerdere rondes gesprekken): Integratie van classificatie en statistisch redeneren in multi-turn dialogen, waarbij het model klinisch onderbouwde rapporten genereert.
• Fase 5 (Voorspelling): Het model wordt getraind om op basis van waargenomen trends in lange ECG-sequenties toekomstige ritme-overgangen (bijv. van normaal naar atriumfibrilleren) te voorspellen en te onderbouwen met klinische bewijzen.

Nieuwe Benchmark: ECGForecastBench

De auteurs introduceren ECGForecastBench, een nieuwe benchmark specifiek voor het voorspellen van toekomstige arritmieën (zoals AFIB en AFL) op basis van normale sinusritmen als invoer. Dit vult een gat in de huidige evaluatiemethoden die zich voornamelijk richten op classificatie van statische 10-seconde clips.

Resultaten

CAMEL werd getest op 6 taken en 9 datasets, waaronder de nieuwe forecasting-benchmark.

• Voorspelling (Forecasting): CAMEL presteert significant beter dan bestaande ELMs (zoals PULSE, GEM) en zelfs beter dan volledig gesuperviseerde baselines (XGB, CNN) en GPT-5.2.
  • Op ECGForecastBench behaalde CAMEL een verbetering van +12,4% ten opzichte van volledig gesuperviseerde modellen en +21,1% ten opzichte van zero-shot ELMs.
  • De prestaties verbeteren naarmate de invoerlengte toeneemt (van 10s tot 600s), wat aantoont dat langere contexten cruciaal zijn voor het detecteren van subtiele prognostische patronen.
• Classificatie & Rapportage: CAMEL behaalde state-of-the-art (SOTA) resultaten op de bestaande ECGBench, met een gemiddelde absolute winst van +7,0% ten opzichte van andere modellen. Het model presteert sterk zowel binnen- als buiten-distributie (bijv. op de Penn en CSN datasets).
• Statistieken & Redenering: Het model toont superieure nauwkeurigheid bij het berekenen van ECG-statistieken (lage RMSE) en het genereren van klinisch onderbouwde rapporten, vaak beter dan modellen die specifiek zijn getraind op statistisch redeneren (zoals GEM).
• Ablatie Studies: Experimenten bevestigen dat zowel de LoRA-adapters (voor aanpassing van de LLM) als de lead-aware attention masking essentieel zijn voor de prestaties. Zonder LoRA stort de prestatie in.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste ELM voor Voorspelling: CAMEL is het eerste taalmodel dat in staat is om langdurige ECG-sequenties te analyseren om toekomstige cardiale gebeurtenissen te voorspellen, wat een grote stap is voor vroege interventie in de kliniek.
2. Schaalbare Architectuur: Door het tokeniseren per seconde en het gebruik van lead-aware masking, overbrugt CAMEL de beperking van 10-seconden clips en kan het werken met real-world scenario's met variabele lengtes en onvolledige lead-setups.
3. Curriculum Learning voor Medische AI: De paper demonstreert het effect van een gestructureerde trainingspipeline die stap voor stap vaardigheden opbouwt (van reconstructie naar statistisch redeneren en voorspelling), wat leidt tot robuustere en interpreteerbare modellen.
4. Klinische Toepasbaarheid: Door het genereren van voorspellende rapporten met onderbouwing in natuurlijke taal, biedt CAMEL niet alleen een voorspelling, maar ook een verklaring die artsen kunnen gebruiken voor besluitvorming.

Conclusie:
CAMEL markeert een doorbraak in de toepassing van foundation models op cardiale zorg. Het bewijst dat taalmodellen, wanneer ze correct worden geïntegreerd met signaalverwerking en getraind met een gestructureerd curriculum, niet alleen kunnen classificeren, maar ook proactief toekomstige risico's kunnen voorspellen met een nauwkeurigheid die bestaande methoden overtreft.