Résumé Technique : ADAPTOOD – Fine-Tuning Sensible à l'Incertitude pour les Modèles de Séries Temporelles ECG Hors-Distribution

Problématique

Le déploiement de modèles d'apprentissage automatique entraînés sur des données de capteurs à grande échelle dans des contextes cliniques réels se heurte à des obstacles importants dus aux décalages de distribution. Bien que le pré-entraînement offre une base, les modèles peinent souvent lorsqu'ils sont affinés (fine-tuned) sur de petits ensembles de données annotées qui diffèrent de la distribution de pré-entraînement. Ces divergences proviennent de sources diverses, notamment l'hétérogénéité des populations, la variété des types de capteurs, les différences de protocoles de collecte et les dérives temporelles.

Les méthodes d'adaptation existantes, telles que l'apprentissage par transfert (transfer learning) et l'adaptation de domaine, supposent généralement des décalages de distribution fixes ou traitent les cas Hors-Distribution (OOD - Out-of-Distribution) comme un état binaire (en-domaine vs hors-domaine). Elles ne parviennent pas à prendre en compte la sévérité ou la granularité de ces décalages. Par conséquent, elles appliquent souvent des stratégies d'adaptation uniformes, qu'il s'agisse d'un décalage léger (ex: une population légèrement différente) ou sévère (ex: une nouvelle modalité de capteur), ce qui conduit à une généralisation sous-optimale, un surapprentissage sur de petits ensembles de données ou un oubli catastrophique.

Méthodologie : Le Cadre ADAPTOOD

Les auteurs proposent ADAPTOOD, un cadre conçu pour quantifier la sévérité du décalage de distribution et guider l'ajustement fin de manière dynamique. Le système fonctionne via quatre modules interconnectés :

1. Quantification de la Sévérité Guidée par l'Incertitude

L'innovation centrale consiste à utiliser l'incertitude des données pour mesurer à quel point un ensemble de données cible ($D_t$) diverge de la distribution source de pré-entraînement ($D_s$).

• Réduction de Dimensionnalité : Les signaux ECG de haute dimension sont réduits à une composante dominante via l'Analyse en Composantes Principales (PCA) pour améliorer l'estimation de densité.
• Métriques de Distance : Le cadre calcule la divergence au niveau de la distribution en utilisant deux métriques complémentaires :
  • Distance de Mahalanobis ($d_m$) : Mesure la distance des nouveaux lots par rapport au centre de la distribution connue, en tenant compte des corrélations et de l'échelle des caractéristiques.
  • Distance de Hellinger ($d_h$) : Quantifie la similitude entre les distributions de probabilité globales de la source et de la cible.
• Métrique Combinée : Ces distances sont normalisées et combinées en un score d'incertitude pondéré, $\sigma(D_t | P(D_s))$, où un score plus élevé indique un décalage OOD plus sévère.

2. Dégel Sélectif des Couches (Selective Layer Unfreezing)

Au lieu d'affiner l'ensemble du modèle ou un sous-ensemble fixe, ADAPTOOD détermine dynamiquement le nombre de couches à dégeler en fonction du score d'incertitude calculé.

• Stratégie : Il emploie une combinaison de fonctions de décroissance linéaire et exponentielle.
  • Linéaire : Le nombre de couches dégelées est proportionnel à l'inverse de l'incertitude.
  • Exponentielle : Utilise un facteur de décroissance pour augmenter la sensibilité aux niveaux d'incertitude.
• Exécution : Le nombre final de couches entraînables est la moyenne de ces deux calculs. Les couches sont dégelées en partant du haut (proche de la sortie) vers le bas. Cela garantit que les décalages légers nécessitent des changements architecturaux minimaux, tandis que les décalages sévères déclenchent une adaptation plus étendue, équilibrant ainsi les risques de surapprentissage et de sous-apprentissage.

3. Adaptation de Bas Rang (LoRA)

Pour maintenir l'efficacité computationnelle et prévenir le surapprentissage sur des données cibles limitées, le cadre intègre LoRA dans toutes les couches Conv1D.

• Mécanisme : Les poids pré-entraînés sont gelés, et des matrices de bas rang légères et entraînables sont introduites.
• Bénéfice : Cela réduit considérablement le nombre de paramètres et l'empreinte mémoire tout en concentrant la capacité du modèle sur l'apprentissage des motifs temporels locaux là où cela est le plus nécessaire.

4. Optimisation Adaptative des Hyperparamètres

Reconnaissant que les hyperparamètres optimaux pour le pré-entraînement peuvent ne pas convenir aux tâches OOD, le cadre utilise l'Optimisation Bayésienne.

• Processus : Il recherche de manière itérative les configurations optimales pour l'optimiseur (ex: Adam, RMSprop) et le taux d'apprentissage sur un espace de recherche défini.
• Objectif : Identifier les configurations qui accommodent au mieux le décalage de distribution spécifique sans réglage manuel.

Contributions Clés

1. Quantification de la Sévérité Novatrice : Introduction d'un mécanisme qui exploite l'incertitude des données (via les distances de Mahalanobis et de Hellinger) pour évaluer la sévérité des décalages OOD par rapport aux données de pré-entraînement, dépassant les hypothèses binaires in/hors-domaine.
2. Adaptation Flexible selon la Sévérité : Développement d'une approche utilisant les scores d'incertitude pour guider le dégel sélectif des couches et l'optimisation des hyperparamètres, assurant que la stratégie d'adaptation correspond à la complexité du décalage.
3. Efficacité et Robustesse : Intégration de LoRA et de l'optimisation bayésienne pour parvenir à un ajustement fin économiquement efficace en paramètres et robuste, maintenant de hautes performances sur divers indicateurs même lorsque la sévérité du décalage augmente.

Résultats Expérimentaux

Les auteurs ont évalué ADAPTOOD sur des ensembles de données de séries temporelles ECG impliquant divers décalages (population, capteur, temporel, étiquette, modalité, dimensionnalité) en comparaison avec des bases de référence incluant le Transfer Learning standard, l'Apprentissage Supervisé, l'Adaptation de Domaine basée sur les Caractéristiques (Feature-based DA) et l'Adaptation de Domaine basée sur les Instances.

• Gains de Performance : ADAPTOOD surpasse systématiquement toutes les bases de référence.
  • Dans l'ensemble de données MIT-BIH (décalage capteur/population), il a atteint une précision (accuracy) de 0,953 et une précision (precision) de 0,930, surpassant la meilleure base (Feature-based DA) de 1,3 % en précision et 0,9 % en précision.
  • Dans l'ensemble de données PTB-DB, il montre une amélioration de 11,9 % de la précision (accuracy) par rapport au Transfer Learning (0,922 contre 0,803) et une amélioration de 12,9 % de la précision (precision).
  • Dans l'ensemble de données MIMIC-Perfom PPG (un décalage de modalité sévère de l'ECG vers le PPG), ADAPTOOD atteint 0,975 de précision (accuracy), dépassant la meilleure base de référence d'environ 3 % (0,945).
  • Dans l'ensemble de données CODEtest (décalage de dimensionnalité avec un ECG à 12 dérivations), il atteint 0,922 de précision (accuracy), surpassant la méthode suivante (Feature-based DA à 0,894).
• Études d'Ablation : La suppression de composants (métriques d'incertitude, optimisation des hyperparamètres ou LoRA) dégrade systématiquement les performances, confirmant la nécessité du cadre complet. Plus précisément, la combinaison des deux métriques de distance a fourni des résultats plus cohérents que l'utilisation d'une seule.
• Efficacité : En utilisant LoRA et le dégel sélectif, ADAPTOOD a réduit considérablement le nombre total de paramètres et l'empreinte mémoire. Par exemple, sur l'ensemble MIT-BIH, la taille du modèle a été réduite de ~29,17 Mo (sans LoRA) à 8,61 Mo.

Signification et Revendications

L'article affirme qu'ADAPTOOD comble une lacune critique dans l'interprétation des signaux biologiques : l'absence de méthodes capables de s'adapter à des sévérités variables de décalages de distribution. En traitant l'adaptation OOD comme un processus dépendant de la sévérité plutôt que comme un protocole fixe, le cadre permet :

• Généralisation Robuste : Maintenir une précision et une précision élevées même lorsque les données de test divergent considérablement des données d'entraînement en raison de types de décalages multiples et superposés.
• Efficacité des Ressources : Obtenir ces gains avec moins de paramètres et des coûts de calcul inférieurs, ce qui le rend adapté au déploiement dans des environnements à ressources limitées.
• Calibration : Fournir une performance plus équilibrée sur les différentes métriques (précision, précision, rappel, F1) par rapport aux bases de référence qui souffrent souvent de problèmes de déséquilibre de classes (ex: faible sensibilité).

Les auteurs positionnent ADAPTOOD comme une approche fiable et pilotée par les données pour l'ajustement fin de modèles pré-entraînés dans des scénarios réels hors-distribution, particulièrement là où les données étiquetées sont rares ou dont les caractéristiques de décalage sont inconnues ou variables.