ECG-InterpBench: Benchmarking the Interpretability of ECG Foundation Models with Matched-Scale Sparse Autoencoders

Sintesi Tecnica: ECG-InterpBench

Problematica
I benchmark esistenti per i modelli di fondazione (FM) dell'elettrocardiogramma (ECG) valutano prevalentemente le prestazioni predittive a valle, come l'accuratezza nella classificazione del ritmo o la predizione del rischio. Queste valutazioni non riescono a rivelare come siano organizzate le loro rappresentazioni nascoste interne. Nello specifico, i metodi attuali non determinano se tali rappresentazioni possano essere scomposte fedelmente, se le misurazioni clinicamente rilevanti siano localizzate in caratteristiche identificabili, o se le stesse proprietà strutturali vengano recuperate attraverso analisi indipendenti. Questa lacuna è critica negli ambienti clinici perché le rappresentazioni condivise possono propagare artefatti di acquisizione, confondimenti demografici o scorciatoie specifiche del coorte a ogni modello a valle costruito su di esse. Inoltre, gli strumenti di interpretabilità esistenti (ad esempio, l'attribuzione dell'output o i probe lineari) affrontano questioni diverse rispetto all'audit delle rappresentazioni nascoste generaliste per il compito e spesso mancano della rigore necessario per distinguere tra accuratezza predittiva e vera interpretabilità a livello di rappresentazione.

Metodologia
Il documento introduce ECG-InterpBench, un benchmark progettato per valutare sistematicamente l'interpretabilità delle rappresentazioni dei modelli di fondazione ECG utilizzando Autoencoder Sparsi (SAE) come strumenti di misurazione standardizzati. Il principio di progettazione centrale è il matching della capacità: per consentire confronti controllati, il benchmark valuta i modelli utilizzando SAE con larghezze del dizionario e impostazioni di sparsità corrispondenti, garantendo che le differenze nei risultati derivino dai modelli di fondazione stessi piuttosto che dalle variazioni nella capacità di misurazione degli SAE.

I componenti metodologici chiave includono:

• Modelli e Dati: Il benchmark valuta sei modelli di fondazione ECG congelati (CSFM, CARDIAC-FM, ECG-FM, ECG-JEPA, HuBERT-ECG e ST-MEM) attraverso il dataset PTB-XL. Una validazione esterna viene eseguita su una coorte credenziata MIMIC-IV-ECG.
• Griglia Sperimentale: La valutazione copre un atlante di 450 celle costruito da:
  • 6 Modelli
  • 5 profondità relative standardizzate dell'encoder ($q \in \{0, 0.25, 0.5, 0.75, 1\}$)
  • 5 fattori di espansione del dizionario corrispondenti ($E \in \{1, 4, 8, 16, 32\}$)
  • 3 seed casuali
    Ciò risulta in 75 blocchi di "corrispondenza esatta" in cui tutti i sei modelli condividono la stessa profondità target, capacità del dizionario, protocollo di sparsità e seed.
• Configurazione SAE: Gli SAE utilizzano una funzione di attivazione BatchTopK con un budget di feature attive fisso rispetto alla dimensione del dizionario ($k/d = 1/8$). Tutti gli atlanti delle sorgenti sono standardizzati alla dimensione $d=768$.
• Metriche: Il benchmark valuta tre assi complementari:
  1. Fedeltà di Ricostruzione Sparsa: Misurata tramite $R^2$ di ricostruzione normalizzata, frazione di feature morte e sparsità media realizzata ($L_0$).
  2. Accessibilità Clinica a Singola Feature: La correlazione tra le singole coordinate dei codici SAE e 49 misurazioni ECG clinicamente significative (ad esempio, intervalli, ampiezze, cambiamenti ST-T). Le feature sono selezionate su un sottoinsieme di addestramento e valutate su dati di test tenuti separati per prevenire il leakage.
  3. Riproducibilità Cross-Seed: La stabilità delle direzioni del decoder e degli spazi delle feature attraverso diversi seed casuali, misurata tramite similarità del coseno e sovrapposizione di sottospazi.
• Quantificazione dell'Incertezza: Il framework incorpora l'incertezza del campionamento dei pazienti tramite bootstrapping e l'incertezza del design tramite variazioni di seed e profondità, utilizzando confronti statistici accoppiati.

Contributi Chiave

1. Benchmark a Capacità Controllata: Introduzione di un framework per confrontare l'interpretabilità delle rappresentazioni tra ECG FM sotto un protocollo SAE coordinato, separando le differenze del modello dalle differenze di capacità di misurazione.
2. Atlante di Interpretabilità a 450 Celle: Costruzione di un atlante completo che mappa come l'interpretabilità della rappresentazione cambi attraverso la profondità dell'encoder e la scala dell'SAE, fornendo un profilo strutturato per ogni modello.
3. Metriche a Controllo di Leakage: Definizione di metriche che spaziano dalla fedeltà sparsa, all'accessibilità clinica a singola feature, fino alla riproducibilità cross-seed, garantendo che la selezione delle feature avvenga rigorosamente sui dati di addestramento prima della valutazione su dati tenuti separati.
4. Confronti Robusti: Fornitura di confronti supportati dall'incertezza del paziente e del design, analisi della sensibilità della sparsità (confronto tra $k/d$ fisso vs $k/N$ fisso) e validazione su coorte esterna.

Risultati
Il benchmark rivela che i modelli di fondazione ECG esibiscono profili di interpretabilità distinti e specifici per metrica; nessun singolo modello domina in tutte le dimensioni.

• Fedeltà di Ricostruzione: HuBERT-ECG raggiunge la più alta fedeltà di ricostruzione (AUC 0.985 su PTB-XL, 0.990 su MIMIC-IV), seguito da ECG-JEPA e CSFM.
• Accessibilità Clinica: ECG-JEPA dimostra la più alta accessibilità clinica a singola feature e copertura di concetti (AUC 0.324 e 0.781, rispettivamente), superando altri modelli nel localizzare concetti clinici in feature sparse.
• Stabilità e Utilizzo: ECG-FM esibisce la più bassa frazione di feature morte (0.099) e la massima stabilità delle feature, mentre CSFM mostra la maggiore stabilità del sottospazio.
• Validazione Esterna: La replica su MIMIC-IV-ECG conferma che la separazione tra i leader della ricostruzione (HuBERT-ECG) e i leader dell'accessibilità (ECG-JEPA) è preservata tra i dataset.
• Stabilità del Ranking: I ranking di ricostruzione sono altamente stabili attraverso le capacità SAE (Kendall $\tau = 1.00$), mentre i ranking di accessibilità e copertura mostrano una stabilità moderata, indicando che alcune proprietà di interpretabilità sono più sensibili alla scala del dizionario rispetto ad altre.

Significatività e Rivendicazioni
Il documento afferma che ECG-InterpBench fornisce un framework a capacità controllata e riproducibile per confrontare i modelli di fondazione ECG attraverso distinte dimensioni di interpretabilità della rappresentazione. Sostiene che l'interpretabilità della rappresentazione non è equivalente all'accuratezza predittiva o alla decodificabilità lineare, ma richiede misurazioni esplicite e complementari.

Gli autori sottolineano che il benchmark caratterizza la struttura delle rappresentazioni dei modelli congelati sotto un protocollo coordinato. Dichiarano esplicitamente che gli ordini di modello riportati sono specifici per le proprietà di rappresentazione valutate (fedeltà, accessibilità, stabilità) e non devono essere interpretati come classifiche di performance diagnostica o valore clinico complessivo. Il lavoro non stabilisce meccanismi fisiologici o esiti clinici prospettici. Invece, stabilisce una base per lo sviluppo e la selezione principiata di modelli di fondazione ECG interpretabili, collegando la geometria della rappresentazione con i concetti clinici attraverso modelli e scale. Il framework è presentato come estendibile ad altre modalità cliniche, inclusi l'imaging medico, l'EEG e le cartelle clinhe elettroniche.