Résumé technique : Segmentation continue sous non-stationnarité conjointe

Énoncé du problème

L'article comble une lacune critique dans l'apprentissage continu (CL) pour les tâches de prédiction dense, en particulier la segmentation sémantique. Alors que les recherches existantes en CL isolent souvent des facteurs tels que l'augmentation des classes, les décalages de domaine ou la rareté des données, les systèmes réels de prédiction structurée (par exemple, la conduite autonome, l'imagerie médicale) font face à une non-stationnarité conjointe. Dans ce contexte, les classes sémantiques, les distributions d'entrée et la disponibilité de la supervision évoluent simultanément au fil du temps.

Les auteurs formalisent cela comme une séquence de sessions d'apprentissage $\{S_t\}_{t=0}^T$ où chaque session $t$ est caractérisée par une distribution conjointe $D_t(x, y)$, un ensemble de classes $C_t$ et un budget d'échantillons étiquetés sévèrement limité $N_t \ll N_0$. Crucialement, $D_t \neq D_{t-1}$, $C_t \neq C_{t-1}$, et les paires classe-domaine précédemment observées ne se reproduisent pas. L'article démontre que les méthodes CL existantes, soumises à ces décalages couplés, souffrent d'un oubli catastrophique, d'une adaptation instable et d'un surapprentissage rapide à une supervision few-shot. Le fine-tuning naïf échoue à équilibrer la préservation des connaissances antérieures avec l'adaptation à de nouveaux concepts, entraînant une dégradation significative des performances à travers diverses architectures, y compris les modèles de fondation comme SAM.

Méthodologie : JASCL

Pour relever ces défis, les auteurs proposent JASCL (Jointly Anchored and Stabilized Continual Learning), un cadre combinant deux mécanismes principaux :

1. Stabilisation Adaptative par Gradient (GAS)

GAS est un mécanisme de régularisation au niveau des paramètres conçu pour atténuer l'instabilité et le surapprentissage sous dérive de distribution.

• Mécanisme : Il implémente des perturbations stochastiques mises à l'échelle par l'inverse des gradients au carré. Pour un paramètre $\theta_i$, l'échelle du bruit est dérivée de $G_i = (\partial L / \partial \theta_i)^2$. La perturbation est $\tilde{\theta}_i = \theta_i + \tilde{G}_i \xi_i$, où $\xi_i \sim \mathcal{N}(0, 1)$.
• Raison d'être : Les paramètres avec de grands gradients (contribuant activement à l'apprentissage) reçoivent un bruit minimal, préservant la stabilité. Les paramètres avec de petits gradients (potentiellement en surapprentissage ou dans des régions plates) reçoivent un bruit plus élevé, favorisant la plasticité et l'exploration.
• Base théorique : Les auteurs fournissent une analyse d'approximation de la posterior bayésienne montrant que GAS atteint une divergence de Kullback-Leibler (KL) plus faible par rapport à la vraie posterior comparée au bruit isotrope ou aux méthodes de régularisation statique (comme EWC ou le weight decay) lorsque l'information de Fisher est hétérogène. Il offre également des bornes de généralisation PAC-Bayes plus serrées et des augmentations de perte attendues plus faibles comparées aux méthodes de platitude adversaire (comme SAM) sous une courbure hétérogène.

2. Supervision Ancrée par Prototypes (PAS)

PAS exploite des données non étiquetées abondantes dans un cadre semi-supervisé de type mean-teacher pour valider les pseudo-étiquettes et supprimer la propagation d'erreurs.

• Mécanisme : Des prototypes de classe sont calculés à partir d'échantillons étiquetés dans l'espace des caractéristiques. Pour les entrées non étiquetées, des pseudo-étiquettes sont générées par un réseau enseignant. Une pseudo-étiquette est conservée uniquement si elle satisfait deux conditions :
  1. Confiance : La probabilité prédite dépasse un seuil $\tau_{conf}$.
  2. Cohérence du Prototype : La similarité cosinus entre la représentation des caractéristiques et le prototype de classe correspondant dépasse un seuil $\tau_{sim}$.
• Base théorique : Les auteurs modélisent la dynamique des erreurs de pseudo-étiquettes, prouvant que sans un tel filtrage, l'apprentissage semi-supervisé n'offre aucune amélioration asymptotique par rapport à l'apprentissage supervisé. Avec PAS, l'erreur asymptotique décroît strictement avec la précision des pseudo-étiquettes acceptées. L'analyse théorique démontre que PAS atteint une précision supérieure aux méthodes basées uniquement sur la confiance, la cohérence ou les banques de mémoire, en particulier en évitant l'accumulation d'erreurs inhérente aux banques de mémoire.

La fonction de perte totale combine la perte d'entropie croisée supervisée sur les données étiquetées et une perte de cohérence calculée uniquement sur les pseudo-étiquettes validées par PAS.

Contributions clés

L'article énonce quatre contributions principales :

1. Formalisation de la non-stationnarité conjointe : Les auteurs définissent un cadre réaliste de segmentation continue impliquant des décalages couplés de classes, de domaine et de supervision, exposant les modes d'échec fondamentaux des méthodes existantes dans ces conditions.
2. Stabilisation Adaptative par Gradient (GAS) : Une stratégie de régularisation novatrice qui équilibre stabilité et plasticité via des perturbations stochastiques mises à l'échelle par les gradients, permettant une adaptation robuste sous dérive de distribution.
3. Supervision Ancrée par Prototypes (PAS) : Un mécanisme semi-supervisé qui valide les pseudo-étiquettes en utilisant la confiance conjointe et la cohérence des prototypes dans l'espace des caractéristiques, atténuant efficacement la propagation d'erreurs.
4. Évaluation empirique complète : Des expériences extensives à travers des régimes d'augmentation de classes, d'augmentation de domaine, few-shot et semi-supervisés démontrent des améliorations constantes par rapport aux approches antérieures.

Résultats

Les auteurs ont évalué JASCL sur cinq benchmarks exigeants couvrant l'imagerie médicale 3D (Med JASCL-Disjoint, Med JASCL-Mixed, Med Semi-Supervised-JASCL) et des scènes naturelles 2D (Natural-JASCL, Semi-Supervised Natural-JASCL).

• Gains de performance : JASCL a constamment surpassé un large éventail de bases de référence, y compris des méthodes d'augmentation de classes (MiB, PIFS), des méthodes d'augmentation de domaine (MDIL), des apprenants few-shot (NC-FSCIL, C-FSCIL) et des approches semi-supervisées (NNCSL, UaD-CE).
• Robustesse à l'architecture : La méthode a montré une forte généralisation à travers diverses architectures de base, notamment U-Net, DeepLabv3+, MedFormer, SwinUNetr et le modèle de fondation fortement pré-entraîné Segment Anything Model (SAM). Notamment, alors que SAM et d'autres modèles de fondation ont subi un oubli significatif sur ces benchmarks, JASCL a amélioré leurs performances.
• Efficacité Few-Shot et Semi-Supervisée : Dans des scénarios de rareté extrême des données (par exemple, 5 échantillons par classe) et de décalages de domaine sévères (par exemple, CT vers IRM), JASCL a maintenu les performances là où les bases de référence s'effondraient. L'inclusion de données non étiquetées via PAS a considérablement boosté les performances, en particulier sur les benchmarks médicaux semi-supervisés.
• Efficacité computationnelle : Le cadre ajoute une surcharge computationnelle négligeable par rapport à l'entraînement standard, car il ne nécessite ni tampons de mémoire ni passes d'entraînement auxiliaires complexes.

Signification et revendications

L'article revendique que JASCL comble le fossé entre les scénarios idéalisés d'apprentissage continu et la réalité complexe des systèmes de prédiction structurée dynamique. En formalisant la non-stationnarité conjointe, les auteurs soulignent que les méthodes existantes échouent à gérer l'évolution simultanée des classes, des domaines et de la supervision.

La signification de ce travail réside dans :

• Exposition des modes d'échec : Les benchmarks révèlent que même les modèles de fondation à grande échelle sont vulnérables à l'oubli catastrophique sous des décalages conjoints, remettant en question l'hypothèse selon laquelle le pré-entraînement seul résout l'apprentissage continu.
• Solutions fondées sur des principes : Les mécanismes proposés (GAS et PAS) offrent une approche théoriquement fondée pour le dilemme stabilité-plasticité et la fiabilité des pseudo-étiquettes, respectivement.
• Applicabilité réelle : Les résultats suggèrent que des données non étiquetées validées peuvent permettre l'apprentissage continu dans des environnements contraints en ressources (par exemple, l'imagerie médicale avec des annotations limitées), réduisant les coûts de réentraînement et améliorant l'évolutivité.

Les auteurs concluent que, bien que JASCL démontre une robustesse à travers divers contextes, une marge de progression significative subsiste, en particulier pour gérer des décalages de domaine extrêmes (par exemple, des transitions abruptes CT-IRM) et des structures anatomiques petites dans des régimes few-shot. Ils positionnent ce travail comme une étape vers le déploiement de systèmes intelligents robustes et adaptatifs dans des environnements dynamiques comme la robotique et l'imagerie médicale.