Technische Samenvatting: ELF: Een familie van encoder-vrije ECG-Taalmodellen

Probleemstelling

De automatisering van elektrocardiogram (ECG)-analyse verschuift van classificatiegebaseerde modellen naar generatieve ECG-Taalmodellen (ELMs). De meeste bestaande ELMs volgen echter het architecturale paradigma van Vision-Language Models (VLMs), waarbij ze vertrouwen op een aparte, vooraf getrainde ECG-encoder (vaak een complex neuraal netwerk dat getraind is op grootschalige datasets) gekoppeld aan een Large Language Model (LLM) via een projectielaag. Deze aanpak introduceert aanzienlijke architecturale en trainingscomplexiteit, waarbij substantiële computationele middelen nodig zijn voor de pretraining van de encoder en zorgvuldige afstemming van feature engineering, leerdoelen en trainingsprocedures. De auteurs stellen de vraag of een dergelijke complexiteit noodzakelijk is om concurrerende prestaties te behalen bij ECG-interpretatietaken.

Methodologie

Geïnspireerd door encoder-vrije VLMs zoals Fuyu-8B, introduceren de auteurs ELF, een familie van drie encoder-vrije ELM-architecturen die ruwe ECG-signalen direct verwerken zonder een toegewijde vooraf getrainde encoder. Alle varianten projecteren ECG-data direct in de verborgen ruimte (hidden space) van de LLM naast tekstuele queries en worden end-to-end getraind met een autoregressief doel.

De drie architecturen zijn:

1. Base ELF: De eenvoudigste variant. Het vlakt een volledig 12-leads, 10-seconden ECG-signaal af tot een enkele vector en projecteert dit via een lineaire laag naar een enkele representatieve token binnen de inputruimte van de LLM.
2. Patch ELF: Breidt Base ELF uit door het ECG-signaal op te delen in $N$ niet-overlappende temporele patches (standaard $N=50$). Elke patch wordt afgevlakt en geprojecteerd via een gedeelde lineaire laag naar afzonderlijke tokens, waardoor het model het ECG kan verwerken als een sequentie analoog aan beeldpatches in computervisie-modellen.
3. Conv. ELF: Bouwt voort op Patch ELF door lichte temporele 1D-convoluties in te voegen vóór de projectielaag. Dit introduceert eenvoudige lokale inductieve biases om te onderzoeken of lokale feature extractie de prestaties verbetert ten opzichte van pure lineaire projectie.

Experimentele Opstelling:

• Datasets: De modellen werden geëvalueerd op ECG-QA-CoT (Chain-of-Thought redeneerdataset) en ECG-Instruct 45K (conversational instruction-following dataset), beide afgeleid van MIMIC-IV-ECG en PTB-XL.
• Baselines: ELF werd vergeleken met vier state-of-the-art ELMs: OpenTSLM (SoftPrompt en Flamingo varianten), SLIP (een sensor-taalmodel met een Transformer-encoder), ST-MEM (een gemaskeerde autoencoder) en MERL (een contrastief ECG-tekstmodel).
• Backbones: Voor de experimenten werden Llama-3.2-1B-Instruct, Qwen2.5-1B-Instruct en gemma-2-2b-it gebruikt. Baselines gebruikten primair Llama-3.2-1B-Instruct.
• Training: Alle modellen gebruikten de Muon-optimizer met LoRA-adaptatie. ELF-modellen werden end-to-end getraind zonder een aparte fase van encoder-pretraining, terwijl baselines zoals ST-MEM en MERL uitgebreide encoder-pretraining op MIMIC-IV-ECG vereisten.

Belangrijkste Bijdragen

1. Introductie van de ELF-familie: De auteurs stellen drie verschillende encoder-vrije architecturen voor (Base, Patch en Conv. ELF) die de noodzaak voor aparte ECG-encoders elimineren.
2. Prestaties door Eenvoud: De studie toont aan dat deze eenvoudigere architecturen zeer competitief blijven met, en vaak beter presteren dan, complexe baselines die vertrouwen op vooraf getrainde encoders en meerfasige trainingspipelines.
3. Ablatie-inzichten:
   • Token Budget: Het verhogen van het aantal encoder-tokens van $N=50$ naar $N=100$ verbeterde de prestaties niet, wat suggereert dat een groter token budget geen meetbaar voordeel biedt in deze setting.
   • Componentafhankelijkheid: Selectieve trainingsexperimenten toonden aan dat de prestaties van Patch ELF op ECG-QA-CoT primair worden gedreven door de vooraf getrainde LLM-backbone in plaats van de projectielaag; het trainen van enkel de LLM-backbone leverde de hoogste nauwkeurigheid op.
   • Architectuur vs. Dataset: De optimale ELF-variant hangt af van de dataset; Patch en Conv. ELF presteerden beter dan Base ELF op ECG-QA-CoT, maar Base ELF presteerde beter dan Patch ELF op de meer vrij vormgegeven ECG-Instruct 45K.

Resultaten

• ECG-QA-CoT: De ELF-familie bezette 8 van de top 9 posities in de nauwkeurigheidsranglijsten. Patch ELF (gebruikmakend van gemma-2-2b-it) behaalde de hoogste nauwkeurigheid (58,55%), waarmee het de beste niet-ELF baseline (OpenTSLM FL met Llama3.2-3B) aanzienlijk versloeg, ondanks het gebruik van een kleinere backbone en een eenvoudigere architectuur.
• ECG-Instruct 45K: Hoewel baselines met vooraf getrainde encoders (ST-MEM, MERL) een iets hogere nauwkeurigheid behaalden (bijv. MERL op 26,53% versus Conv. ELF op 23,96%), was het prestatieverschil bescheiden.
• Efficiëntie: De efficiëntiewinst was aanzienlijk. Alle ELF-varianten trainden in minder dan 4 uur, terwijl baselines met vooraf getrainde encoders 10–12 uur vereisten (een toename van 3–5×), grotendeels vanwege de encoder-pretraining fase. Bovendien waren de trainbare parameters voor de ELF-projectie/convolutielagen minder dan 1M, vergeleken met ~30M voor MERL en ~85M voor ST-MEM.

Betekenis en Claims

Het artikel beweert dat in de context van ECG-Taalmodellering niet aangenomen mag worden dat toegevoegde architecturale en trainingscomplexiteit de prestaties verbetert.

De auteurs stellen dat het vakgebied te veel heeft vertrouwd op complexe encoder-pretraining pipelines vergelijkbaar met die in computer vision. Hun bevindingen suggeren dat:

1. Vooraf getrainde encoders een afnemend rendement bieden: Ze leveren slechts bescheiden prestatiewinsten ten opzichte van de aanzienlijke toename in computationele kosten en modelvoetafdruk.
2. Eenvoud is voldoende: Eenvoudige, encoder-vrije ontwerpen die ruwe signalen (of eenvoudige patches) direct in de LLM-ruimte projecteren, zijn voldoende om state-of-the-art of nabij-state-of-the-art prestaties te behalen op huidige benchmarks.
3. Resource-efficiëntie: ELF biedt een levensvatbaar, middelen-beperkt alternatief voor de ontwikkeling van ELMs, waardoor de barrière van het nodig hebben van enorme datasets en rekenkracht voor encoder-pretraining wordt weggenomen.

De auteurs concluderen dat de gemeenschap de noodzaak van complexe encoders en uitgebreide trainingspipelines voor huidige ECG-taal benchmarks moet heroverwegen, aangezien lichtgewicht, end-to-end trainbare modellen vergelijkbare resultaten kunnen behalen.