💻 computer science

How Do Electrocardiogram Models Scale?

Cet article examine systématiquement les lois d'échelle pour les modèles d'électrocardiogramme (ECG) en entraînant 120 modèles de tailles et de paradigmes variés, révélant que, bien que l'apprentissage auto-supervisé offre une meilleure efficacité en données et en transfert, la voie optimale vers des modèles de base efficaces pour l'ECG dépend de l'alignement stratégique de l'architecture (ResNet contre Transformer) avec le paradigme de pré-entraînement plutôt que de la simple mise à l'échelle par force brute.

Auteurs originaux : Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Plus Gros Signifie-t-il Toujours Mieux ?

Imaginez que vous essayez d'enseigner à un robot à lire un électrocardiogramme (ECG) — la ligne sinueuse qui montre le rythme de votre cœur. Dans le monde de l'IA, il existe une croyance populaire appelée « lois d'échelle ». C'est l'idée que si vous agrandissez le cerveau du robot (le modèle) et que vous lui donnez plus de manuels scolaires (les données), il deviendra automatiquement plus intelligent.

Cependant, pour les signaux cardiaques, cette règle a été déroutante. Parfois, un petit robot fonctionne mieux qu'un géant. Parfois, un robot entraîné sur 1 million de battements de cœur échoue, tandis qu'un autre entraîné sur 10 000 réussit. Les auteurs de ce papier voulaient comprendre pourquoi cela se produit et trouver la recette parfaite pour construire la meilleure IA cardiaque.

L'Expérience : Un Test de Cuisine Massif

Pour résoudre ce problème, les chercheurs n'ont pas simplement cuisiné un seul repas ; ils ont cuisiné plus de 120 versions différentes de modèles d'IA.

Les Ingrédients : Ils ont utilisé un immense jeu de données public appelé CODE, qui contient 2,3 millions d'enregistrements cardiaques provenant de 1,6 million de patients.
Les Outils : Ils ont testé deux principaux types de « cerveaux » :
1. ResNets : Ce sont comme des chefs spécialisés excellents pour repérer des motifs locaux (comme une bosse ou un creux spécifique dans la ligne cardiaque). Ils sont efficaces et bons pour reconnaître les formes.
2. Transformers : Ce sont comme des raconteurs d'histoires. Ils sont excellents pour comprendre les connexions à longue distance et le contexte, mais ils sont souvent « gourmands » et ont besoin de quantités massives de nourriture pour apprendre.
Les Styles de Cuisson : Ils ont essayé deux façons d'enseigner à ces chefs :
1. Apprentissage Supervisé (SL) : Le professeur donne à l'élève un manuel scolaire avec les réponses déjà écrites (données étiquetées). « Cette ligne signifie une crise cardiaque. »
2. Apprentissage Auto-supervisé (SSL) : Le professeur donne à l'élève un puzzle avec des pièces manquantes et dit : « Déduis la partie manquante en te basant sur le reste. » L'élève apprend la structure du rythme cardiaque sans qu'on lui dise de diagnostics spécifiques.

Les Résultats : Qu'est-ce qui Fonctionne Vraiment ?

1. Le Problème du « Goulot d'Étranglement »

Lorsqu'ils ont testé les modèles sur des données qu'ils avaient déjà vues (In-Distribution) :

Le Chef Supervisé (SL) a atteint un mur. Peu importe la taille du cerveau du chef, les performances ont cessé de s'améliorer une fois les manuels épuisés. Ils étaient bloqués par un goulot d'étranglement de données. C'est comme avoir un élève génie mais ne lui donner qu'un seul manuel ; il ne peut pas devenir plus intelligent sans plus de livres.
L'Élève Auto-supervisé (SSL) a continué de grandir. Ces modèles n'ont pas atteint de mur. Qu'ils deviennent plus grands ou qu'ils aient plus de données, ils continuaient de s'améliorer. Ils avaient faim à la fois de taille et de données.

2. Le Défi « Hors Distribution » (Le Vrai Test)

Le vrai test consistait à voir à quel point ces modèles géraient bien de nouvelles conditions cardiaques, jamais vues auparavant (Out-of-Distribution). C'est comme demander à un chef qui n'a cuisiné que de la nourriture italienne de faire soudainement des sushis.

L'Avantage ResNet : Les chefs spécialisés (ResNets) étaient beaucoup plus efficaces. Pour obtenir la même amélioration de performance, un Transformer devait être 1,3 à 2,5 fois plus grand qu'un ResNet. Le ResNet était comme une voiture de sport compacte et haute performance, tandis que le Transformer était un camion lourd qui avait besoin de plus de carburant pour parcourir la même distance.
L'Avantage SSL : Les élèves auto-supervisés étaient 16 fois plus efficaces pour apprendre à partir de nouvelles données que les élèves supervisés. Ils pouvaient mieux généraliser car ils avaient appris le langage du cœur, et pas seulement les réponses spécifiques.
L'Efficacité du Transfert : Lorsqu'ils passaient à des tâches complètement nouvelles (comme prédire le sexe du patient ou détecter une maladie cardiaque structurelle), les modèles SSL étaient jusqu'à 7,6 fois meilleurs pour transférer leurs connaissances que les modèles SL.

3. Le « Point Doux »

Le papier a révélé que les meilleurs résultats ne provenaient pas simplement d'une « force brute » de taille.

Tailles Petites à Moyennes : Les ResNets entraînés avec l'Apprentissage Auto-supervisé (SSL) étaient les clairs gagnants. Ils étaient les plus efficaces et les plus précis.
Tailles Immenses : Si vous allez vers des tailles extrêmement massives (des centaines de millions de paramètres), les Transformers (SSL) finissent enfin par rattraper et dépasser les ResNets. Mais pour la plupart des cas pratiques, la combinaison ResNet-SSL est le chemin le plus efficace.

La « Recette » du Succès

Les auteurs concluent que construire un excellent modèle de base pour l'ECG ne consiste pas simplement à agrandir le modèle ou à acheter plus de données. Il s'agit de faire correspondre le bon outil à la bonne méthode d'enseignement.

N'ajoutez pas simplement des données à un modèle Supervisé : Si vous utilisez une approche standard de « manuel scolaire », ajouter plus de données finit par cesser d'aider.
Utilisez l'Apprentissage Auto-supervisé : Laissez l'IA apprendre les motifs du cœur par elle-même d'abord. Cela la rend beaucoup meilleure pour gérer de nouveaux problèmes médicaux jamais vus.
Choisissez la Bonne Architecture : Pour la plupart des tailles, un ResNet (le chef spécialisé) est plus efficace qu'un Transformer (le raconteur d'histoires). Ne passez au Transformer que lorsque vous disposez de ressources massives.

Analogie de Résumé

Imaginez que vous formez un détective pour résoudre des crimes cardiaques.

L'Apprentissage Supervisé consiste à donner au détective une liste de 10 000 affaires résolues. Il mémorise bien la liste, mais si un nouveau type de crime apparaît, il est bloqué.
L'Apprentissage Auto-supervisé consiste à donner au détective une bibliothèque de toutes les photos de scènes de crime et à lui demander de trouver les pièces manquantes. Il apprend comment les crimes se produisent.
Les ResNets sont des détectives avec une loupe (excellents pour les détails).
Les Transformers sont des détectives avec un objectif grand angle (excellents pour les grandes images).

Le papier dit : Donnez au détective avec la loupe (ResNet) la formation « trouvez les pièces manquantes » (SSL). Cette combinaison crée le détective le plus efficace, adaptable et puissant pour les signaux cardiaques, sans avoir besoin de construire un détective si grand qu'il ne peut plus tenir dans la pièce.

Résumé technique : Comment les modèles d'électrocardiogramme évoluent-ils à l'échelle ?

Énoncé du problème

Alors que les lois d'échelle ont établi avec succès un cadre pour les modèles de fondation en traitement du langage naturel (NLP), leur applicabilité aux modèles d'électrocardiogramme (ECG) reste mal caractérisée. Les observations empiriques récentes dans le domaine de l'ECG sont incohérentes : certaines études suggèrent que l'augmentation de la taille du modèle ou de l'ensemble de données entraîne des rendements décroissants ou non monotones, tandis que d'autres montrent que des modèles compacts peuvent surpasser des homologues préentraînés nettement plus grands. La littérature existante échoue souvent à démêler les effets couplés des biais inductifs architecturaux (par exemple, CNN par rapport aux Transformers) et des paradigmes de préentraînement (Apprentissage Supervisé [SL] par rapport à l'Apprentissage Auto-supervisé [SSL]). Par conséquent, les rôles de l'architecture, du paradigme et des améliorations attendues avec l'échelle restent ambigus, laissant les praticiens sans directives claires sur la manière d'allouer les ressources de calcul pour des modèles de fondation ECG efficaces.

Méthodologie

Pour combler ces lacunes, les auteurs ont mené une enquête systématique impliquant le préentraînement de plus de 120 modèles allant de 20 000 à 200 millions de paramètres. L'étude a utilisé l'ensemble de données CODE (2,3 millions d'enregistrements, 1,6 million de patients) comme source principale de préentraînement et l'ensemble de données MIMIC-IV pour étudier la mise à l'échelle des étiquettes.

La conception expérimentale a découplé deux variables principales :

Architectures : Deux familles représentatives ont été comparées :
- ResNet : Une architecture convolutive 1D adaptée aux signaux ECG, connue pour ses biais inductifs locaux alignés sur la morphologie du signal.
- Transformer : Un socle Transformer standard (spécifiquement HeartLang) adapté à l'ECG, capable de capturer des dépendances temporelles à long terme.
Paradigmes de préentraînement :
- Apprentissage Supervisé (SL) : Entraîné sur des étiquettes annotées par des experts (par exemple, troubles du rythme).
- Apprentissage Auto-supervisé (SSL) : Mis en œuvre via le Codage Contrastif Multi-Segments (CMSC) pour les ResNets et l'Auto-encodage Masqué pour les Transformers.

Les auteurs ont évalué ces configurations sur :

In-Distribution (ID) : Un sous-ensemble retenu de 10 % de l'ensemble de données CODE.
Out-of-Distribution (OOD) : Onze tâches cliniques diverses, notamment la détection d'arythmies (CPSC2018, CSN), la détection de maladies cardiaques structurelles (EchoNext), la prédiction de soins aigus (MIMIC-ICU, Mortalité) et les caractéristiques des patients (Sexe).

L'analyse s'est appuyée sur les lois d'échelle neuronales (modélisation de la perte comme une loi de puissance de la taille du modèle $N$ et de la taille des données $D$ ) et les lois d'échelle perte-à-perte (prédiction de la perte OOD à partir de la perte ID).

Contributions clés

Découplage systématique : L'étude est la première à analyser conjointement les comportements d'échelle des modèles ECG en isolant les effets de l'architecture (ResNet vs Transformer) et du paradigme (SL vs SSL) sur une large gamme d'échelles.
Identification des goulots d'étranglement : Les auteurs caractérisent des goulots d'étranglement spécifiques pour différentes configurations, révélant que les modèles SL sont principalement limités par les données in-distribution, tandis que les modèles SSL évoluent de manière robuste selon les deux dimensions.
Métriques d'efficacité : L'article quantifie les gains d'efficacité des différentes configurations, fournissant des multiplicateurs concrets pour l'efficacité des paramètres (ResNet vs Transformer) et l'efficacité des données (SSL vs SL).
Allocation optimale de calcul : L'étude dérive des stratégies optimales pour allouer un budget de calcul fixe entre la taille du modèle et la taille de l'ensemble de données pour chaque combinaison architecture-paradigme.

Résultats clés

1. Comportements d'échelle et goulots d'étranglement

In-Distribution (ID) : Les modèles SL présentent une saturation nette dans l'échelle des paramètres (limités par la taille de l'ensemble de données), tandis que les modèles SSL ne montrent aucune preuve immédiate de saturation, suivant des lois de puissance sans perte irréductible.
Out-of-Distribution (OOD) :
- Biais architectural : Les ResNets sont 1,3 à 2,5 fois plus efficaces en termes de paramètres que les Transformers. Pour égaler la réduction de perte d'une augmentation de 10 fois des paramètres ResNet, les Transformers nécessitent une mise à l'échelle significativement plus grande (19x pour SL, 288x pour SSL).
- Biais paradigmatique : Le SSL est jusqu'à 16 fois plus efficace en termes de données que le SL. Le SSL améliore constamment l'efficacité de la mise à l'échelle des données OOD pour les deux architectures.

2. Efficacité du transfert (Perte-à-perte)

Les modèles SSL démontrent une efficacité de transfert supérieure par rapport au SL. L'exposant de transfert ( $\kappa$ ), qui régit la manière dont les améliorations ID se traduisent par des gains OOD, est significativement plus élevé pour le SSL.
Pour des tâches cliniques inédites (par exemple, détection de maladies cardiaques structurelles, prédiction du sexe), le SSL atteint jusqu'à 7,6 fois plus d'efficacité de transfert que le SL.
Les modèles SL fonctionnent souvent près de leur plancher de perte ID, ce qui signifie que de nouvelles améliorations ID produisent des rendements décroissants pour la généralisation OOD.

3. Performance absolue et échelle

Domination des ResNets : Sur les échelles observées, les modèles basés sur ResNet atteignent généralement la perte OOD absolue la plus basse, soulignant un fort biais inductif architectural pour les signaux ECG.
Transformer-SSL à grande échelle : Bien que les ResNets dominent aux échelles petites à moyennes, les modèles Transformer-SSL finissent par dépasser les ResNet-SSL à des tailles de modèle très grandes (approchant 200 millions de paramètres), suggérant que les Transformers nécessitent une échelle significative pour surmonter leur inefficacité initiale en termes de paramètres.
Mise à l'échelle des étiquettes : L'augmentation du nombre d'étiquettes supervisées améliore les performances ID mais produit des gains OOD hautement variables selon la composition des étiquettes. Simplement mettre à l'échelle les étiquettes supervisées est sous-optimal par rapport aux avantages du SSL.

4. Allocation optimale de calcul

Modèles SL : Sous une allocation optimale, tant les ResNet-SL que les Transformer-SL dirigent >70 % du calcul marginal vers les données plutôt que vers la taille du modèle.
Modèles SSL : Le Transformer-SSL inverse ce schéma, dirigeant ~73 % du calcul marginal vers la taille du modèle, favorisant des modèles plus grands plutôt que des ensembles de données plus vastes.

Importance et affirmations

L'article affirme que la voie vers des modèles de fondation ECG efficaces ne réside pas dans une mise à l'échelle « brute » d'une seule configuration, mais dans l'alignement stratégique de l'architecture et du paradigme.

Résolution de la littérature contradictoire : L'étude résout les incohérences précédentes de la littérature en montrant que les comportements d'échelle non monotones découlent du couplage spécifique de l'architecture et du paradigme. Par exemple, l'échec des petits modèles à évoluer dans certaines études peut être attribué à l'utilisation du SL avec des architectures limitées par les données, tandis que le succès des modèles compacts dans d'autres peut provenir de l'efficacité inhérente des ResNets dans les régimes à faible quantité de données.
Conseils pratiques : Les résultats suggèrent que pour des tâches avec des données étiquetées limitées ou nécessitant une généralisation à des conditions cliniques inédites, l'Apprentissage Auto-supervisé est le paradigme supérieur. De plus, bien que les Transformers soient puissants à des échelles massives, les ResNets offrent une efficacité supérieure en termes de paramètres pour la plupart des échelles pratiques.
Implications plus larges : Les auteurs notent que ces insights concernant l'échelle non monotone et l'importance de démêler les biais architecturaux et paradigmatiques s'étendent probablement à d'autres modalités de biosignaux, telles que l'EEG et le PPG.

L'étude conclut que l'échelle efficace dans le domaine de l'ECG nécessite de reconnaître que « une taille ne convient pas à tous » ; la stratégie optimale dépend fortement du budget de calcul disponible, de la tâche clinique spécifique (ID vs OOD) et du choix de l'objectif de préentraînement.