💻 computer science

How Do Electrocardiogram Models Scale?

Dit artikel onderzoekt systematisch schaalwetten voor elektrocardiogram (ECG)-modellen door 120 modellen te trainen met variërende groottes en paradigma's, en onthult dat hoewel zelftoezichthoudend leren superieure data- en transfer-efficiëntie biedt, de optimale weg naar effectieve ECG-funderingsmodellen afhangt van het strategisch afstemmen van de architectuur (ResNet versus Transformer) op het pre-training-paradigma in plaats van uitsluitend te vertrouwen op brute-kracht-schaling.

Oorspronkelijke auteurs: Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Betekent Groter Altijd Beter?

Stel je voor dat je probeert een robot te leren een elektrocardiogram (ECG) te lezen—de golvende lijn die het ritme van je hart weergeeft. In de wereld van AI heerst een populaire overtuiging die "scaling laws" wordt genoemd. Het is het idee dat als je het brein van de robot (het model) groter maakt en het meer schoolboeken (de data) voert, het automatisch slimmer wordt.

Voor hartsignalen is deze regel echter verwarrend gebleken. Soms werkt een kleine robot beter dan een gigantische. Soms faalt een robot die is getraind op 1 miljoen hartslagen, terwijl een robot die op 10.000 is getraind slaagt. De auteurs van dit artikel wilden uitzoeken waarom dit gebeurt en het perfecte recept vinden voor het bouwen van de beste hart-AI.

Het Experiment: Een Massale Keukentest

Om dit op te lossen, hebben de onderzoekers niet gewoon één maaltijd bereid; ze bereidden meer dan 120 verschillende versies van AI-modellen.

De Ingrediënten: Ze gebruikten een enorm publiek dataset genaamd CODE, dat 2,3 miljoen hartopnames bevat van 1,6 miljoen patiënten.
De Gereedschappen: Ze testten twee hoofdtypen "hersenen":
1. ResNets: Deze zijn als gespecialiseerde chefs die uitstekend zijn in het opsporen van lokale patronen (zoals een specifieke hobbel of daling in de hartlijn). Ze zijn efficiënt en goed in het herkennen van vormen.
2. Transformers: Deze zijn als verhalers. Ze zijn uitstekend in het begrijpen van langetermijnverbindingen en context, maar ze zijn vaak "gierig" en hebben enorme hoeveelheden voedsel nodig om te leren.
De Kookstijlen: Ze probeerden twee manieren om deze chefs te leren:
1. Supervised Learning (SL): De leraar geeft de student een schoolboek met de antwoorden al geschreven (gelabelde data). "Deze lijn betekent een hartaanval."
2. Self-Supervised Learning (SSL): De leraar geeft de student een puzzel met ontbrekende stukjes en zegt: "Bereken het ontbrekende deel op basis van de rest." De student leert de structuur van het hartritme zonder specifieke diagnoses te worden verteld.

De Bevindingen: Wat Werkt Eigenlijk?

1. Het "Flesnek"-Probleem

Toen ze de modellen testten op data die ze eerder hadden gezien (In-Distribution):

De Supervised Chef (SL) liep tegen een muur aan. Hoe groot ze het brein van de chef ook maakten, de prestaties hielden op te verbeteren zodra ze de schoolboeken op hadden. Ze zaten vast aan een data-flesnek. Het is alsof je een genie-student hebt, maar hem slechts één schoolboek geeft; hij kan niet slimmer worden zonder meer boeken.
De Self-Supervised Student (SSL) bleef groeien. Deze modellen liepen niet tegen een muur aan. Of ze nu groter werden of meer data kregen, ze bleven beter worden. Ze waren hongerig naar zowel grootte als data.

2. De "Out-of-Distribution" Uitdaging (De Echte Test)

De echte test was om te zien hoe goed deze modellen omgingen met nieuwe, onbekende hartcondities (Out-of-Distribution). Dit is alsof je een chef vraagt die alleen Italiaans eten heeft bereid, plotseling sushi te maken.

Het ResNet-voordeel: De gespecialiseerde chefs (ResNets) waren veel efficiënter. Om dezelfde verbetering in prestaties te krijgen, moest een Transformer 1,3 tot 2,5 keer groter zijn dan een ResNet. De ResNet was als een compacte, hoogpresterende sportauto, terwijl de Transformer een zware vrachtwagen was die meer brandstof nodig had om dezelfde afstand af te leggen.
Het SSL-voordeel: De self-supervised studenten waren 16 keer efficiënter in het leren van nieuwe data dan de supervised studenten. Ze konden beter generaliseren omdat ze de taal van het hart leerden, niet alleen de specifieke antwoorden.
De Transfer-efficiëntie: Bij het overstappen op volledig nieuwe taken (zoals het voorspellen van het geslacht van de patiënt of het detecteren van structurele hartziekten), waren de SSL-modellen tot 7,6 keer beter in het overdragen van hun kennis dan de SL-modellen.

3. Het "Sweet Spot"

Het artikel vond dat de beste resultaten niet kwamen van puur "brute force" op grootte.

Kleine tot Medium Grootte: ResNets getraind met Self-Supervised Learning (SSL) waren de duidelijke winnaars. Ze waren het meest efficiënt en nauwkeurig.
Enorme Grootte: Als je gaat naar extreem enorme maten (honderden miljoenen parameters), halen de Transformers (SSL) de ResNets uiteindelijk in en passeren ze ze. Maar voor de meeste praktische doeleinden is de ResNet-SSL-combinatie het meest efficiënte pad.

Het "Recept" voor Succes

De auteurs concluderen dat het bouwen van een geweldig ECG-fundatiemodel niet gaat om het simpelweg groter maken van het model of het kopen van meer data. Het gaat om het juiste gereedschap te koppelen aan de juiste leermethode.

Voeg niet zomaar data toe aan een Supervised model: Als je een standaard "schoolboek"-benadering gebruikt, helpt het toevoegen van meer data uiteindelijk niet meer.
Gebruik Self-Supervised Learning: Laat de AI eerst zelf de patronen van het hart leren. Dit maakt het veel beter in het hanteren van nieuwe, onbekende medische problemen.
Kies de Juiste Architectuur: Voor de meeste maten is een ResNet (de gespecialiseerde chef) efficiënter dan een Transformer (de verhaler). Pas als je over enorme middelen beschikt, moet je overschakelen naar de Transformer.

Samenvattende Analogie

Stel je voor dat je een detective traint om hartmisdaden op te lossen.

Supervised Learning is het geven van een lijst van 10.000 opgeloste zaken aan de detective. Ze onthouden de lijst goed, maar als een nieuw type misdaad verschijnt, zitten ze vast.
Self-Supervised Learning is het geven van een bibliotheek met alle foto's van misdaadplekken aan de detective en hen vragen de ontbrekende stukjes te vinden. Ze leren hoe misdaden gebeuren.
ResNets zijn detectives met een vergrootglas (uitstekend voor details).
Transformers zijn detectives met een groothoeklens (uitstekend voor grote plaatjes).

Het artikel zegt: Geef de detective met het vergrootglas (ResNet) de "vind de ontbrekende stukjes"-training (SSL). Deze combinatie creëert de meest efficiënte, aanpasbare en krachtige detective voor hartsignalen, zonder dat je een detective hoeft te bouwen die zo groot is dat hij niet meer in de kamer past.

Technische Samenvatting: Hoe Schalen ECG-Modellen?

Probleemstelling

Hoewel schalingswetten succesvol een kader hebben vastgesteld voor foundation-modellen in natuurlijke taalverwerking (NLP), blijft de toepasbaarheid daarvan op elektrocardiogram (ECG)-modellen slecht gekarakteriseerd. Recente empirische observaties in het ECG-domein zijn inconsistent: sommige studies suggereren dat het vergroten van model- of datasetgrootte afnemende of niet-monotoon rendement oplevert, terwijl andere aantonen dat compacte modellen aanzienlijk grotere vooraf getrainde tegenhangers kunnen overtreffen. Bestaande literatuur faalt vaak om de gekoppelde effecten van architecturale inductieve biases (bijv. CNN's versus Transformers) en pre-training paradigma's (Supervised Learning [SL] versus Self-Supervised Learning [SSL]) te ontkoppelen. Bijgevolg blijven de rollen van architectuur, paradigma en de verwachte verbeteringen bij schaling onduidelijk, waardoor practitioners geen duidelijke richtlijnen hebben over hoe ze rekengeld moeten toewijzen voor effectieve ECG foundation-modellen.

Methodologie

Om deze gaten aan te vullen, hebben de auteurs een systematisch onderzoek uitgevoerd waarbij ruim 120 modellen werden vooraf getraind, variërend van 20.000 tot 200 miljoen parameters. De studie gebruikte de CODE-dataset (2,3 miljoen records, 1,6 miljoen patiënten) als primaire bron voor pre-training en de MIMIC-IV-dataset om labelschaling te bestuderen.

Het experimentele ontwerp ontkoppelde twee primaire variabelen:

Architecturen: Twee representatieve families werden vergeleken:
- ResNet: Een 1D-convolutionele architectuur aangepast voor ECG-signalen, bekend om lokale inductieve biases die overeenkomen met signaalmorfologie.
- Transformer: Een standaard Transformer-ruggengraat (specifiek HeartLang) aangepast voor ECG, capable om lange-termijn tijdsafhankelijkheden te vangen.
Pre-training Paradigma's:
- Supervised Learning (SL): Getraind op door experts geannoteerde labels (bijv. ritmestoornissen).
- Self-Supervised Learning (SSL): Geïmplementeerd via Contrastive Multi-Segment Coding (CMSC) voor ResNets en Masked Autoencoding voor Transformers.

De auteurs evalueerden deze configuraties over:

In-Distribution (ID): Een vastgehouden subset van 10% van de CODE-dataset.
Out-of-Distribution (OOD): Elf diverse klinische taken, waaronder detectie van aritmieën (CPSC2018, CSN), detectie van structurele hartziekten (EchoNext), voorspelling van acute zorg (MIMIC-ICU, Sterftecijfer) en patiëntkenmerken (Geslacht).

De analyse leunde op neurale schalingswetten (het modelleren van verlies als een machtsfunctie van modelgrootte $N$ en datagrootte $D$ ) en verlies-naar-verlies schalingswetten (het voorspellen van OOD-verlies op basis van ID-verlies).

Belangrijkste Bijdragen

Systematische Ontkoppeling: De studie is de eerste die het schalingsgedrag van ECG-modellen gezamenlijk analyseert door de effecten van architectuur (ResNet versus Transformer) en paradigma (SL versus SSL) te isoleren over een breed scala aan schalen.
Identificatie van Bottlenecks: De auteurs karakteriseren specifieke bottlenecks voor verschillende configuraties, waarbij blijkt dat SL-modellen voornamelijk datagebottlenecked zijn binnen de verdeling, terwijl SSL-modellen robuust schalen over beide dimensies.
Efficiëntiemaatstaven: Het artikel kwantificeert de efficiëntiewinsten van verschillende configuraties en biedt concrete vermenigvuldigers voor parameter-efficiëntie (ResNet versus Transformer) en data-efficiëntie (SSL versus SL).
Compute-Optimale Toewijzing: De studie leidt optimale strategieën af voor het toewijzen van een vast rekengeldbudget tussen modelgrootte en datasetgrootte voor elke architectuur-paradigmacombinatie.

Belangrijkste Resultaten

1. Schalingsgedrag en Bottlenecks

In-Distribution (ID): SL-modellen vertonen een scherpe verzadiging in parameterschaling (gebottlenecked door datasetgrootte), terwijl SSL-modellen geen direct bewijs van verzadiging tonen en onherleidbare-verlies-vrije machtswetten volgen.
Out-of-Distribution (OOD):
- Architecturale Bias: ResNets zijn 1,3 tot 2,5 keer meer parameter-efficiënt dan Transformers. Om de verliesreductie van een 10-voudige toename in ResNet-parameters te evenaren, vereisen Transformers aanzienlijk grotere schaling (19x voor SL, 288x voor SSL).
- Paradigma Bias: SSL is tot 16 keer meer data-efficiënt dan SL. SSL verbetert consistent de OOD-data-schalings-efficiëntie over beide architecturen.

2. Transfer-efficiëntie (Verlies-naar-verlies)

SSL-modellen tonen superieure transfer-efficiëntie vergeleken met SL. De transfer-exponent ( $\kappa$ ), die bepaalt hoe ID-verbeteringen vertalen naar OOD-winsten, is aanzienlijk hoger voor SSL.
Voor onbekende klinische taken (bijv. detectie van structurele hartziekten, geschatsschatting) bereikt SSL tot 7,6 keer hogere transfer-efficiëntie dan SL.
SL-modellen opereren vaak dicht bij hun ID-verliesvloer, wat betekent dat verdere ID-verbeteringen afnemende rendementen opleveren voor OOD-generalisatie.

3. Absolute Prestaties en Schaal

ResNet-dominantie: Over de waargenomen schalen heen bereiken ResNet-gebaseerde modellen over het algemeen het laagste absolute OOD-verlies, wat wijst op een sterke architecturale inductieve bias voor ECG-signalen.
Transformer-SSL op Schaal: Hoewel ResNets domineren bij kleinere tot middelgrote schalen, overtreffen Transformer-SSL-modellen ResNet-SSL uiteindelijk bij zeer grote modelgroottes (naderend 200M parameters), wat suggereert dat Transformers aanzienlijke schaal vereisen om hun initiële parameterinefficiëntie te overwinnen.
Labelschaling: Het vergroten van het aantal supervisie-labels verbetert de ID-prestaties, maar levert zeer variabele OOD-winsten op afhankelijk van de label-samenstelling. Het simpelweg schalen van supervisie-labels is suboptimaal in vergelijking met de voordelen van SSL.

4. Compute-Optimale Toewijzing

SL-modellen: Onder optimale toewijzing richten zowel ResNet-SL als Transformer-SL >70% van de marginale rekkracht op data in plaats van modelgrootte.
SSL-modellen: Transformer-SSL keert dit patroon om en richt ~73% van de marginale rekkracht op modelgrootte, waarbij grotere modellen de voorkeur krijgen boven grotere datasets.

Betekenis en Claims

Het artikel claimt dat het pad naar effectieve ECG foundation-modellen niet ligt in "brute-force" schaling van een enkele configuratie, maar in de strategische uitlijning van architectuur en paradigma.

Oplossing van tegenstrijdige literatuur: De studie lost eerdere inconsistenties in de literatuur op door aan te tonen dat niet-monotoon schalingsgedrag voortkomt uit de specifieke koppeling van architectuur en paradigma. Bijvoorbeeld, het falen van kleine modellen om te schalen in sommige studies kan worden toegeschreven aan het gebruik van SL met architecturen die datagebottlenecked zijn, terwijl het succes van compacte modellen in andere studies kan voortkomen uit de inherente efficiëntie van ResNets in regimes met weinig data.
Praktische Richtlijnen: De bevindingen suggereren dat voor taken met gelabelde data in beperkte mate of die generalisatie vereisen naar onbekende klinische aandoeningen, Self-Supervised Learning het superieure paradigma is. Bovendien bieden, hoewel Transformers krachtig zijn op massale schaal, ResNets superieure parameter-efficiëntie voor de meeste praktische schalen.
Breder Implicaties: De auteurs merken op dat deze inzichten betreffende niet-monotoon schalen en het belang van het ontkoppelen van architecturale en paradigmatische biases waarschijnlijk uitbreiden naar andere biosignaalmodaliteiten, zoals EEG en PPG.

De studie concludeert dat effectieve schaling in het ECG-domein vereist dat men erkent dat "één maat niet voor iedereen past"; de optimale strategie hangt sterk af van het beschikbare rekengeldbudget, de specifieke klinische taak (ID versus OOD) en de keuze van het pre-training-doel.