🤖 AI

Position: Evaluation of ECG Representations Must Be Fixed

Dit position paper betoogt dat de huidige benchmarks voor het leren van ECG-representaties te nauw en gebrekkig zijn, waarbij wordt aangetoond dat de juiste evaluatiepraktijken onthullen dat willekeurige encoders vaak overeenkomen met state-of-the-art pre-training modellen, terwijl de dringende noodzaak wordt benadrukt om de beoordeling uit te breiden naar structurele hartziekten en patiëntniveau-voorspelling.

Oorspronkelijke auteurs: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Gepubliceerd 2026-06-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het vakgebied Kunstmatige Intelligentie (AI) dat probeert te leren hoe het hartsignalen (ECG's) moet lezen, lijkt op een groep studenten die zich voorbereidt op een zeer specifief, cruciaal examen. Jarenlang hebben zij allemaal uit dezelfde drie tekstboeken gestudeerd (datasets genaamd PTB-XL, CPSC2018 en CSN). Deze tekstboeken zitten vol met vragen over aritmieën (onregelmatige hartritmes) en golfvormen (hoe de kronkelende lijnen eruitzien).

De auteurs van dit artikel, Zachary Berger en zijn team, steken hun hand op om te zeggen: "Wacht eens even. De manier waarop we deze studenten beoordelen is gebrekkig, en het geeft ons een verkeerd beeld van wie er werkelijk slim is."

Hier is de uiteenzetting van hun argument met behulp van eenvoudige analogieën:

1. Het "One-Size-Fits-All"-examen is gebrekkig

Momenteel beoordeelt de AI-gemeenschap deze modellen met één enkele score: de Macro-AUROC.

De Analogie: Stel je een docent voor die een student beoordeelt die een toets heeft gemaakt met 100 vragen. 90 van de vragen gaan over "Appels" en 10 gaan over "Zeldzame Exotische Vruchten". De docent berekent het gemiddelde zodat elke vraag even zwaar meetelt.
Het Probleem: Als de student alle vragen over "Appels" goed heeft en de vragen over "Exotische Vruchten" fout heeft, krijgt hij een redelijk gemiddelde. Maar in de echte wereld (het ziekenhuis) kan een arts juist alleen geïnteresseerd zijn in de "Exotische Vruchten" (zeldzame hartcondities). Door alles samen te middelen, verbergt het huidige systeem het feit dat het model misschien waardeloos is in de zaken die er echt toe doen.
De Ruis: Bovendien hebben sommige van die "Exotische Vrucht"-vragen slechts één of twee voorbeelden in de hele test. Als het model die ene vraag door puur geluk goed of fout heeft, doet dat de hele score enorm omhoog of omlaag, wat de resultaten onbetrouwbaar maakt.

2. De "Verrassing" van de Baseline: De Willekeurige Gissing

De meest schokkende bevinding in het artikel gaat over de "baselines". In de wetenschap vergelijk je een nieuwe, luxe uitvinding altijd met een simpele, basisversie om te zien of de uitvinding daadwerkelijk waarde toevoegt.

De Analogie: Stel je een race voor waarbij iedereen op een atletiekbaan loopt. De flitsende hardlopers dragen high-tech, vooraf getrainde schoenen (complexe AI-modellen). De "baseline"-hardloper draagt een paar willekeurig gegenereerde, ongetrainde schoenen (een model met willekeurige gewichten dat nog niets heeft geleerd).
Het Resultaat: De auteurs ontdekten dat bij veel taken de hardloper met de willekeurige schoenen net zo snel was als de hardlopers met de flitsende schoenen. Soms won de willekeurige hardloper zelfs!
De Les: Dit suggereert dat voor veel harttaken het signaal zo duidelijk is dat je geen supercomplexe, vooraf getrainde hersenen nodig hebt om het te vinden. Een simpel, willekeurig startpunt is vaak al goed genoeg. Dit betekent dat de "flitsende" modellen misschien niet zo bijzonder zijn als we dachten.

3. Het Voorschrift van het Papier: Een Beter Syllabus

De auteurs betogen dat het vakgebied dit moet oplossen door de manier waarop deze modellen worden getest te veranderen. Ze stellen vier hoofdregels voor:

Breid het Curriculum uit: Test niet alleen op aritmieën. Het hartsignaal bevat ook aanwijzingen over structurele hartziekten (zoals een zwakke hartspier), hemodynamica (bloeddruk en doorbloeding) en toekomstige patiëntuitkomsten (wordt deze persoon over een jaar ziek?). De huidige examens negeren deze belangrijke onderwerpen.
Stop met het Verbergen van de Details: In plaats van alleen één groot gemiddelde te rapporteren, moet de score voor elke specifieke taak worden gerapporteerd. Als een model geweldig is in het detecteren van hartaanvallen maar slecht in het detecteren van klepproblemen, moeten we dat weten, en niet alleen een gemiddelde van "75%" zien.
Meet Onzekerheid: Omdat sommige hartcondities zeldzaam zijn, kunnen de resultaten wankel zijn. De auteurs zeggen dat we "betrouwbaarheidsintervallen" (een bereik van mogelijke scores) moeten rapporteren om aan te geven hoe zeker we zijn. Als de marge enorm is, is het resultaat niet betrouwbaar.
De "Willekeurige Schoen"-Check: Elke keer als iemand beweert dat hun nieuwe AI-model het beste is, moeten ze bewijzen dat het de "willekeurige schoen"-baseline verslaat. Als dat niet zo is, doet het flitsende model eigenlijk niets nuttigs.

Samenvatting

Het artikel is een oproep tot actie. Het stelt dat de huidige manier van het evalueren van AI voor hartsignalen lijkt op het beoordelen van een student enkel op zijn vermogen om het alfabet op te zeggen, terwijl je zijn vermogen om een verhaal te schrijven negeert. Het onthult dat veel "geavanceerde" AI-modellen nauwelijks beter zijn dan een willekeurige gissing, en dat we moeten beginnen met het testen van deze modellen op een breder, klinisch relevanter scala aan taken met strengere, eerlijkere beoordelingsregels.

De Kern: Het vakgebied moet stoppen met het najagen van hoge gemiddelde scores op smalle tests en beginnen met bewijzen dat deze modellen daadwerkelijk de complexe, real-world taken kunnen uitvoeren die artsen nodig hebben.

Technische Samenvatting: Positie: Evaluatie van ECG-representaties Moet Worden Gecorrigeerd

Probleemstelling

Het vakgebied van de representatieleer voor 12-afleidings elektrocardiogrammen (ECG) is geconvergeerd op een beperkt aantal benchmark-praktijken die, zo betogen de auteurs, ontoereikend zijn om betrouwbare vooruitgang en klinische afstemming te waarborgen. De huidige evaluatie leunt zwaar op drie publieke multi-label datasets (PTB-XL, CPSC2018 en CSN) die zich voornamelijk richten op aritmie en golfvormmorfologie-classificatie. De auteurs stellen dat deze nauwe scope de capaciteit van het ECG om bredere klinische informatie te coderen, zoals structurele hartziekten, hemodynamische toestanden en patiëntgerichte prognoses, negeert.

Bovendien lijdt het heersende evaluatieprotocol aan methodologische gebreken:

Beperkingen in metrieken: Het veld leunt bijna uitsluitend op macro-AUROC (ongewogen gemiddelde van per-label AUROC's). Deze metriek verhult de prestaties op individuele klinisch relevante taken en versterkt ruis van sterk ongebalanceerde labels (waarbij veel klassen zeer weinig positieve voorbeelden hebben).
Gebrek aan rigueur: Onzekerheid wordt zelden gekwantificeerd (bijv. via betrouwbaarheidsintervallen) en statistische significantietoetsing ontbreekt vaak, waardoor het moeilijk is om genuante verbeteringen te onderscheiden van steekproefruis.
Tekortkomingen in baselines: Veel studies verzuimen om geleerde representaties te vergelijken met eenvoudige baselines, zoals willekeurig geïnitialiseerde encoders.

Methodologie

De auteurs hebben een empirische evaluatie uitgevoerd om de robuustheid van de huidige conclusies met betrekking tot de kwaliteit van ECG-representaties te testen.

Geëvalueerde modellen:
Vijf representatieve pre-training benaderingen die verschillende paradigma's beslaan (contrastief leren, reconstructie en multi-modale supervisie) werden geëvalueerd:

CLOCS: Contrastief leren over ruimte, tijd en patiënten.
KED: Foundation model met klinische kennisdistillatie.
HeartLang: ECG-taalmodel met behulp van reconstructie en masked-token voorspelling.
MERL: Multi-modale ECG-tekst uitlijning.
D-BETA: Multi-modale ECG-tekst met reconstructie-regularisatie.
Baseline: Een willekeurig geïnitialiseerde 1D ResNet-18 encoder.

Datasets en taken:
De modellen werden geëvalueerd over zes settings, gecategoriseerd in drie taakfamilies:

Standaard Benchmarks: PTB-XL (SUPER, SUB, FORM, RHYTHM subsets), CPSC2018 en CSN (gericht op aritmie en golfvorm).
Structurele Ziekte: EchoNext (ECG gekoppeld aan echocardiografie om structurele abnormaliteiten zoals klepziekten en ejectiefractie te voorspellen).
Fysiologisch & Prognostiek:
- Hemodynamische Inferentie: Voorspellen van de gemiddelde pulmonale capillaire wigdruk (mPCWP) en de gemiddelde pulmonale arteriële druk (mPA) vanuit private MGH-data.
- Patiëntprognose: Voorspellen van de ontwikkeling van hartfalen (LVEF < 40%) binnen één jaar vanuit private MGH-data.

Evaluatieprotocol:
De auteurs hebben een rigoureus evaluatiekader geïmplementeerd dat voldoet aan de voorgestelde best practices:

Linear Probing: Alle encoders werden bevroren, en $\ell_2$ -geregulariseerde logistische regressie classifiers werden getraind bovenop de embeddings.
Metrieken: Rapporteren van zowel AUROC als AUPRC (Area Under the Precision-Recall Curve) voor individuele taken, naast macro-AUROC.
Onzekerheidskwantificatie: 9와% betrouwbaarheidsintervallen werden berekend met behulp van gepaard bootstrapping (1.000 resamples).
Statistische Toetsing: Pairwise permutatietoetsen werden gebruikt om te bepalen of prestatieverschillen statistisch significant waren.
Data Filtering: Labels met onvoldoende positieve voorbeelden in de testset (bijv. <10) werden uitgesloten van kwantitatieve evaluatie om ruis te verminderen.

Belangrijkste Bijdragen

1. Kritiek op Huidige Benchmark-praktijken

Het artikel toont aan dat de afhankelijkheid van macro-AUROC en de inclusie van labels met lage support de rangschikking van methoden vertekent. Wanneer labels met weinig positieve voorbeelden worden verwijderd, verandert de relatieve prestatie van methoden aanzienlijk. Bovendien betekent het gebrek aan onzekerheidskwantificatie in de voorgaande literatuur dat veel gerapporteerde "state-of-the-art" winsten statistisch niet te onderscheiden zijn van ruis.

2. De Random Encoder Baseline

Een centrale en verrassende bevinding is dat een willekeurig geïnitialiseerde encoder met lineaire evaluatie vaak de prestaties evenaart of overtreft van state-of-the-art pre-trained modellen op veel taken. Specifiek:

Op standaard benchmarks (PTB-XL, CPSC2018, CSN) presteert de random baseline vaak beter dan CLOCS en HeartLang.
Op taken voor structurele ziekte (EchoNext) is de random baseline competitief met pre-trained methoden, met name bij lage data-regimes (1% trainingsdata).
Dit suggereert dat voor veel ECG-taken het klinisch relevante signaal voldoende duidelijk aanwezig is dat willekeurige convoluties het niet verstoren, en dat het "leren" zich primair kan afspelen in de lineaire probe in plaats van in de pre-training fase.

3. Voorgestelde Evaluatie Best Practices

De auteurs schetsen een reeks aanbevelingen voor de gemeenschap:

Breid de Taakscope uit: Inclusief structurele ziekte, hemodynamica en patiëntprognose, niet alleen aritmie.
Rapporteer Taakspecifieke Metrieken: Geef prioriteit aan per-taak AUROC en AUPRC boven geaggregeerde macro-AUROC.
Kwantificeer Onzekerheid: Rapporteer altijd betrouwbaarheidsintervallen en gebruik statistische toetsen voor vergelijkingen.
Filter Labels met Lage Support: Sluit taken met onvoldoende positieve voorbeelden uit van headline metrieken.
Adopteer Random Baselines: Gebruik een willekeurig geïnitialiseerde encoder als een verplichte baseline om de werkelijke bruikbaarheid van pre-training te beoordelen.

Resultaten

Rangschikkingsinstabiliteit: Wanneer rekening wordt gehouden met onzekerheid, is de "winnende" methode op standaard benchmarks niet consistent. Bijvoorbeeld, KED en D-BETA lijken vaak dominant via macro-AUROC, maar hun superioriteit verdwijnt wanneer statistische significantie wordt overwogen.
Taakheterogeniteit: Prestaties variëren sterk tussen verschillende typen taken. Hoewel KED, MERL en D-BETA winst laten zien op specifieke aritmie-taken (bijv. ST/T veranderingen), domineren zij niet universeel.
Structurele Ziekte: Op EchoNext presteren CLOCS en HeartLang consequent slechter vergeleken met andere methoden en de random baseline. MERL en KED tonen een sterkere prestatie op structurele eindpunten.
Prognostiek: Voor 1-jaars hartfalenvoorspelling presteren MERL en KED beter dan de random baseline, hoewel de random baseline nog steeds de CLOCS en HeartLang aanzienlijk verslaat.
Robuustheid: De competitiviteit van de random baseline werd geverifieerd over een grid van 36 verschillende configuraties (variërend in sampling rates, filtering, normalisatie en backbone architecturen), wat bevestigt dat de bevinding geen artefact is van een specifieke setup.

Betekenis en Claims

Het artikel betoogt dat de huidige koers van ECG-representatieleer misleidend is vanwege gebrekkige evaluatieprotocollen. De auteurs beweren dat:

Huidige rangschikkingen onbetrouwbaar zijn: Veel conclusies over welke pre-training methode "het beste" is, worden gedreven door ruis, labels met lage support en een gebrek aan statistische rigueur, in plaats door werkelijke representationele superioriteit.
Winsten door pre-training mogelijk overdreven zijn: Het feit dat een random encoder vaak competitief is, suggereert dat de marginale bruikbaarheid van complexe pre-training doelstellingen kleiner kan zijn dan momenteel wordt aangenomen, of dat het signaal in ECG's meer lineair scheidbaar is dan verwacht.
Het veld moet evolueren: Om te zorgen dat representaties klinisch nuttig zijn, moet de gemeenschap bredere, striktere benchmarks adopteren die de volledige reikwijdte van ECG-nut (structureel, hemodynamisch en prognostisch) weerspiegelen en zich houden aan strikte statistische rapportagestandaarden.

De auteurs positioneren dit werk als een noodzakelijke correctie om te waarborgen dat toekomstige methodologische ontwikkeling in ECG-representatieleer is afgestemd op klinisch betekenisvolle doelstellingen en reproduceerbare wetenschappelijke standaarden.