Riepilogo Tecnico: Estensione dei Modelli Fondamentali ECG Preaddestrati su 10 Secondi a Orizzonti Temporali Più Lunghi

Enunciato del Problema

I modelli fondamentali per l'elettrocardiogramma (ECG) hanno dimostrato una forte trasferibilità attraverso applicazioni cliniche quando preaddestrati su segmenti diagnostici standard di 10 secondi. Tuttavia, esiste una limitazione critica: questi modelli sono addestrati come processori "istantanei" a lunghezza fissa. Gli scenari clinici reali, come il monitoraggio continuo, le registrazioni Holter e le cure intensive, spesso coinvolgono registrazioni a lunghezza variabile che si estendono ben oltre i 10 secondi.

L'applicazione diretta di modelli preaddestrati su 10 secondi a orizzonti temporali più lunghi presenta due sfide fondamentali:

1. Incompatibilità Strutturale: Le codifiche posizionali, gli schemi di tokenizzazione e le ipotesi di input dei modelli istantanei sono ottimizzati per segmenti brevi. L'interpolazione ingenua delle embedding posizionali (comune nei transformer visivi) è inadatta ai biosignal, poiché confonde la risoluzione con la frequenza di campionamento e le informazioni fisiologiche.
2. Limitazioni Semantiche: Gli approcci esistenti per registrazioni lunghe si basano tipicamente sull'inferenza a finestra scorrevole seguita da una semplice aggregazione (ad esempio, pooling medio) o da strati sequenziali leggeri (ad esempio, LSTM) sulle rappresentazioni delle finestre. Questi metodi non modellano esplicitamente le dipendenze temporali a lungo raggio, spesso trascurando eventi sparsi o transitori distribuiti in modo non uniforme nel tempo.

Metodologia

Gli autori propongono un framework efficiente in termini di parametri che estende i modelli fondamentali ECG preaddestrati su 10 secondi (congelati) a input più lunghi e a lunghezza variabile senza riaddestrare il backbone. L'approccio sfrutta la conoscenza del modello preaddestrato introducendo un modulo plug-in leggero guidato da tre intuizioni fondamentali: (1) preservazione della conoscenza generale di interpretazione dell'ECG, (2) apprendimento di rappresentazioni consapevoli della località e (3) apprendimento a lungo termine consapevole della dinamica.

Il framework consiste in due estensioni complementari:

1. Estensione Strutturale

Per abilitare la compatibilità con registrazioni a orizzonti temporali lunghi, gli autori introducono uno schema di codifica posizionale a due livelli anziché interpolare le embedding esistenti:

• Componente Locale: Riutilizza le embedding posizionali preaddestrate originali ($E^{[10s]}$) per la struttura fine all'interno di ciascuna finestra di 10 secondi. Questi pesi vengono ripetuti per sequenze più lunghe per preservare la scala temporale della morfologia dell'onda locale (ad esempio, complessi P-QRS-T).
• Componente Globale: Introduce una matrice di embedding apprendibile ($E^{global}$) per modellare le relazioni tra segmenti consecutivi di 10 secondi. L'embedding posizionale finale è costruita sommando le componenti locale e globale.
• Soft Prompt Tuning: Token aggiuntivi apprendibili sono preposti alla sequenza di input e inseriti negli strati intermedi per facilitare l'apprendimento di relazioni temporali globali con aggiornamenti minimi dei parametri.

2. Estensione Semantica

Per garantire un'aggregazione temporale significativa, il framework impiega un framework insegnante-allievo in cui il modello ECG su 10 secondi congelato agisce come insegnante per guidare l'adattamento del modello esteso:

• Apprendimento di Rappresentazioni Consapevole della Località: Una perdita contrastiva soft impone un allineamento semantico tra l'allievo (modello esteso) e l'insegnante (backbone congelato) a livello di segmento. Questo preserva la struttura di similarità indotta dall'insegnante dei segmenti locali di 10 secondi senza imporre ipotesi esplicite di accoppiamento temporale.
• Apprendimento di Coerenza Consapevole della Dinamica: Riconoscendo che i segnali fisiologici sono non stazionari, il metodo utilizza la matrice di affinità dell'insegnante per identificare segmenti ad alta affinità (quelli più coerenti con la registrazione globale). Una perdita di coerenza incoraggia questi segmenti ad alta affinità a rimanere allineati con la rappresentazione globale dell'intera sequenza lunga, assicurando che il modello catturi le dinamiche globali anche quando i segmenti dinamici vengono esclusi.

L'obiettivo di addestramento totale combina la perdita di task standard con queste due perdite ausiliarie:
$$L = L_{task} + \lambda_1 L_{local} + \lambda_2 L_{dyn}$$

Contributi Chiave

• Estensione Efficiente in Parametri: Un framework che estende i modelli fondamentali istantanei a input a lunghezza variabile (fino a 180s negli esperimenti) senza riaddestrare il backbone, utilizzando solo un modulo plug-in leggero.
• Codifica Posizionale Innovativa: Una strategia di codifica posizionale gerarchica che evita artefatti di interpolazione combinando embedding locali ripetute con embedding di segmento globali apprendibili, specificamente adattate per i biosignal.
• Meccanismo di Guida Semantica: Un approccio insegnante-allievo che sfrutta le robuste rappresentazioni locali del modello preaddestrato per guidare l'apprendimento a orizzonti temporali lunghi, affrontando il divario semantico nell'aggregazione temporale.
• Robustezza tra Modalità: Dimostrazione che il framework si generalizza oltre l'ECG ad altri segnali fisiologici (ad esempio, PPG) e modalità congiunte.

Risultati Sperimentali

Il metodo è stato valutato su quattro task downstream (riduzione degli allarmi VT, disposizione in pronto soccorso, acuità di triage e rilevamento di FA parossistica) su quattro backbone di modelli fondamentali (CSFM-Tiny/Base, MERL, ECG-JEPA).

• Prestazioni: Il metodo proposto ha costantemente superato le baseline di aggregazione istantanea (Token/Logit Pooling) e i metodi di adattamento leggero (Linear Probing, Adapter, VPT, LSTM Tuning). Ha ottenuto risultati all'avanguardia o competitivi su tutti i backbone, eccellendo in particolare nelle durate di input più lunghe (180s).
• Generalizzazione: I modelli addestrati su registrazioni di 3 minuti si sono generalizzati efficacemente a durate di inferenza più brevi (da 10s a 2 minuti) senza riaddestramento.
• Studi di Ablazione:
  • La strategia proposta di codifica posizionale globale ha superato significativamente sia le codifiche posizionali ripetute che quelle interpolate.
  • La combinazione di obiettivi consapevoli della località e consapevoli della dinamica ha prodotto le migliori prestazioni, confermando la necessità sia della preservazione semantica locale che della modellazione dinamica globale.
  • Analisi della Fonte di Guida: Quando il backbone MERL (che ha mostrato una guida autonoma più debole) è stato accoppiato con una guida esterna da backbone più forti (ad esempio, CSFM-Base), le prestazioni sono migliorate significativamente, suggerendo che la qualità della rappresentazione dell'insegnante è cruciale per l'estensione semantica.
  • Selezione Guidata dall'Affinità: L'uso della selezione dei segmenti basata sull'affinità per l'apprendimento della coerenza ha superato la rimozione casuale, validando l'importanza della struttura basata sulla similarità nell'obiettivo consapevole della dinamica.

Significato e Affermazioni

Il documento afferma di fornire un percorso pratico e scalabile per estendere i modelli fondamentali ECG su 10 secondi agli orizzonti temporali più lunghi richiesti nel monitoraggio continuo e nel processo decisionale clinico. Evitando un riaddestramento completo computazionalmente costoso, il metodo consente un adattamento robusto a orizzonti temporali lunghi preservando la ricca conoscenza di dominio incorporata nei modelli istantanei preaddestrati.

Gli autori notano con modestia che, sebbene il loro metodo gestisca efficacemente lunghezze variabili fino a 180 secondi, estendere i modelli istantanei a orizzonti temporali arbitrari o sostanzialmente più lunghi sotto vincoli rigorosi di memoria e calcolo rimane una sfida aperta per lavori futuri. Il framework proposto rappresenta un passo significativo verso la colmatura del divario tra preaddestramento a lunghezza fissa e distribuzione clinica reale a lunghezza variabile.