Résumé technique : Extension des modèles de base ECG préentraînés sur 10 secondes à des horizons plus longs

Énoncé du problème

Les modèles de base pour l'électrocardiogramme (ECG) ont démontré une forte transférabilité à travers les applications cliniques lorsqu'ils sont préentraînés sur des segments diagnostiques standards de 10 secondes. Cependant, une limitation critique existe : ces modèles sont entraînés comme des processeurs de « snapshots » de longueur fixe. Les scénarios cliniques réels, tels que la surveillance continue, les enregistrements Holter et les soins intensifs, impliquent souvent des enregistrements de durée variable qui s'étendent bien au-delà de 10 secondes.

L'application directe de modèles préentraînés sur 10 secondes à des horizons plus longs présente deux défis fondamentaux :

1. Incompatibilité structurelle : Les encodages de position, les schémas de tokenisation et les hypothèses d'entrée des modèles de « snapshot » sont optimisés pour des segments courts. L'interpolation naïve des embeddings de position (courante dans les transformers de vision) est inadaptée aux biosignaux, car elle confond la résolution avec la fréquence d'échantillonnage et l'information physiologique.
2. Limites sémantiques : Les approches existantes pour les enregistrements longs reposent généralement sur une inférence par fenêtre glissante suivie d'une agrégation simple (par exemple, pooling moyen) ou de couches séquentielles légères (par exemple, LSTM) appliquées aux représentations des fenêtres. Ces méthodes échouent à modéliser explicitement les dépendances temporelles à long terme, manquant souvent des événements épars ou transitoires distribués de manière inégale dans le temps.

Méthodologie

Les auteurs proposent un cadre efficace en paramètres qui étend les modèles de base ECG préentraînés et figés sur 10 secondes à des entrées plus longues et de durée variable, sans réentraîner le backbone. L'approche exploite les connaissances du modèle préentraîné tout en introduisant un module plug-in léger guidé par trois idées clés : (1) la préservation des connaissances générales d'interprétation de l'ECG, (2) l'apprentissage de représentations conscientes de la localité, et (3) l'apprentissage à long terme conscient de la dynamique.

Le cadre comprend deux extensions complémentaires :

1. Extension structurelle

Pour permettre la compatibilité avec les enregistrements à horizon long, les auteurs introduisent un schéma d'encodage de position à deux niveaux plutôt que d'interpoler les embeddings existants :

• Composante locale : Réutilise les embeddings de position préentraînés originaux ($E^{[10s]}$) pour la structure fine au sein de chaque fenêtre de 10 secondes. Ces poids sont répétés pour les séquences plus longues afin de préserver l'échelle temporelle de la morphologie des ondes locales (par exemple, les complexes P-QRS-T).
• Composante globale : Introduit une matrice d'embeddings apprenable ($E^{global}$) pour modéliser les relations entre les segments consécutifs de 10 secondes. L'embedding de position final est construit en sommant les composantes locale et globale.
• Ajustement de prompt doux (Soft Prompt Tuning) : Des tokens apprenables supplémentaires sont préfixés à la séquence d'entrée et insérés aux couches intermédiaires pour faciliter l'apprentissage des relations temporelles globales avec des mises à jour de paramètres minimales.

2. Extension sémantique

Pour assurer une agrégation temporelle significative, le cadre emploie un cadre enseignant-élève où le modèle ECG de 10 secondes figé agit comme enseignant pour guider l'adaptation du modèle étendu :

• Apprentissage de représentations conscientes de la localité : Une perte contrastive douce impose un alignement sémantique entre l'élève (modèle étendu) et l'enseignant (backbone figé) au niveau du segment. Cela préserve la structure de similarité induite par l'enseignant des segments locaux de 10 secondes sans imposer d'hypothèses explicites d'appariement temporel.
• Apprentissage de cohérence conscient de la dynamique : Reconnaissant que les signaux physiologiques sont non stationnaires, la méthode utilise la matrice d'affinité de l'enseignant pour identifier les segments à forte affinité (ceux les plus cohérents avec l'enregistrement global). Une perte de cohérence encourage ces segments à forte affinité à rester alignés avec la représentation globale de toute la séquence longue, assurant que le modèle capture la dynamique globale même lorsque des segments dynamiques sont exclus.

L'objectif d'entraînement total combine la perte de tâche standard avec ces deux pertes auxiliaires :
$$L = L_{task} + \lambda_1 L_{local} + \lambda_2 L_{dyn}$$

Contributions clés

• Extension efficace en paramètres : Un cadre qui étend les modèles de base de type « snapshot » à des entrées de durée variable (jusqu'à 180 s dans les expériences) sans réentraîner le backbone, en utilisant uniquement un module plug-in léger.
• Encodage de position novateur : Une stratégie d'encodage de position hiérarchique qui évite les artefacts d'interpolation en combinant des embeddings locaux répétés avec des embeddings de segments globaux apprenables, spécifiquement adaptés aux biosignaux.
• Mécanisme de guidage sémantique : Une approche enseignant-élève qui exploite les représentations locales robustes du modèle préentraîné pour guider l'apprentissage à horizon long, comblant le fossé sémantique dans l'agrégation temporelle.
• Robustesse à travers les modalités : Démonstration que le cadre se généralise au-delà de l'ECG à d'autres signaux physiologiques (par exemple, PPG) et à des modalités conjointes.

Résultats expérimentaux

La méthode a été évaluée sur quatre tâches en aval (réduction des alarmes de tachycardie ventriculaire, disposition aux urgences, acuité de triage et détection de la FA paroxystique) à travers quatre backbones de modèles de base (CSFM-Tiny/Base, MERL, ECG-JEPA).

• Performance : La méthode proposée a constamment surpassé les baselines d'agrégation de « snapshot » (Token/Logit Pooling) et les méthodes d'adaptation légères (Linear Probing, Adapter, VPT, LSTM Tuning). Elle a obtenu des résultats à la pointe de l'état de l'art ou compétitifs sur tous les backbones, excellant particulièrement sur des durées d'entrée plus longues (180 s).
• Généralisation : Les modèles entraînés sur des enregistrements de 3 minutes se sont généralisés efficacement à des durées d'inférence plus courtes (10 s à 2 minutes) sans réentraînement.
• Études d'ablation :
  • La stratégie d'encodage de position globale proposée a nettement surpassé les encodages de position répétés et interpolés.
  • La combinaison des objectifs conscients de la localité et de la dynamique a produit les meilleures performances, confirmant la nécessité à la fois de la préservation sémantique locale et de la modélisation dynamique globale.
  • Analyse de la source de guidage : Lorsque le backbone MERL (qui a montré une auto-guidance plus faible) était couplé à un guidage externe provenant de backbones plus performants (par exemple, CSFM-Base), les performances s'amélioraient significativement, suggérant que la qualité de la représentation de l'enseignant est cruciale pour l'extension sémantique.
  • Exclusion guidée par l'affinité : L'utilisation d'une sélection de segments basée sur l'affinité pour l'apprentissage de cohérence a surpassé l'exclusion aléatoire, validant l'importance de la structure basée sur la similarité dans l'objectif conscient de la dynamique.

Importance et affirmations

L'article affirme fournir une voie pratique et évolutive pour étendre les modèles de base ECG de 10 secondes aux horizons plus longs requis pour la surveillance continue et la prise de décision clinique. En évitant un réentraînement complet coûteux en calcul, la méthode permet une adaptation robuste à long terme tout en préservant les riches connaissances de domaine intégrées dans les modèles de « snapshot » préentraînés.

Les auteurs notent modestement que, bien que leur méthode gère efficacement des longueurs variables jusqu'à 180 secondes, l'extension des modèles de « snapshot » à des horizons arbitraires ou substantiellement plus longs dans le cadre de contraintes strictes de mémoire et de calcul reste un défi ouvert pour les travaux futurs. Le cadre proposé représente une étape significative vers le comblement du fossé entre le préentraînement de longueur fixe et le déploiement clinique réel de longueur variable.