Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning

Le papier propose Residual SODAP, une méthode d'apprentissage continu qui combine une sélection de prompts sparse, une agrégation résiduelle et une distillation sans données pour surmonter l'oubli catastrophique dans l'apprentissage incrémental de domaines sans identifiants de tâche.

L'essentiel

🧠 Le Problème : L'Amnésie Catastrophique

Imaginez un étudiant très brillant nommé Alex. Alex est excellent pour apprendre. Mais il a un défaut terrible : dès qu'il apprend une nouvelle matière (par exemple, l'histoire de la Renaissance), il oublie instantanément tout ce qu'il savait sur la cuisine italienne.

C'est ce qu'on appelle en intelligence artificielle l'oubli catastrophique. Dans le monde réel, les données changent tout le temps (les photos de médecins changent de style selon l'hôpital, les voitures changent de modèle, etc.). Si un robot apprend à reconnaître les voitures de 2020, il risque de ne plus reconnaître celles de 2024, et pire, il oubliera comment conduire sur la route de 2020.

De plus, pour des raisons de confidentialité (comme le secret médical), Alex n'a pas le droit de garder les vieux dossiers ou les vieilles photos dans sa mémoire. Il doit apprendre "sur le tas", sans pouvoir relire ses anciens cours.

💡 La Solution : Residual SODAP

Les chercheurs de l'Université Sungkyunkwan (en Corée) ont créé une méthode appelée Residual SODAP. Pour comprendre comment ça marche, imaginons que nous construisons une bibliothèque vivante pour Alex.

Voici les 4 ingrédients magiques de cette bibliothèque :

1. Le Choix des Livres (Sélection de "Prompts")

Dans le monde de l'IA, un "prompt" est comme une étiquette ou un indice que l'on colle sur une question pour aider le cerveau à trouver la bonne réponse.

• L'ancien problème : Les anciennes méthodes forçaient Alex à choisir soit un livre A soit un livre B (comme un choix binaire). Ou alors, il lisait tous les livres en même temps, ce qui le rendait confus (bruit).
• La solution SODAP : Ils utilisent une technique appelée $\alpha$-entmax. Imaginez que c'est un système de tri intelligent. Au lieu de tout mélanger ou de tout rejeter, ce système dit : "Pour cette photo de voiture, je vais utiliser 3 étiquettes très précises et ignorer complètement les 97 autres qui ne servent à rien."
• L'analogie : C'est comme si vous aviez un chef cuisinier qui, pour un plat spécifique, ne sort que les 3 épices exactes dont il a besoin, au lieu de vider tout le placard à épices sur la table.

2. La Mémoire Résiduelle (Le "Fond de Tiroir")

C'est ici que le mot "Résiduel" intervient.

• Le concept : Imaginez que les connaissances anciennes d'Alex sont scellées dans un coffre-fort (les prompts "gelés"). On ne les touche pas pour ne pas les abîmer.
• L'innovation : Quand Alex apprend quelque chose de nouveau (un nouveau domaine), il n'essaie pas de réécrire tout le coffre-fort. Il écrit simplement une note sur un post-it (le "résidu") qu'il colle sur le coffre.
• Le résultat : Le coffre garde la base solide (l'ancien savoir), et le post-it apporte la mise à jour (le nouveau savoir). Ensemble, ils forment la réponse parfaite. Cela évite de casser ce qui fonctionnait déjà.

3. Le Fantôme des Données (Rejeu Pseudo)

Alex ne peut pas garder les vieilles photos (données). Comment peut-il se souvenir de ce qu'il a vu ?

• L'astuce : Au lieu de stocker les photos, Alex stocke la statistique de ces photos. C'est comme si, au lieu de garder une photo de votre grand-mère, vous gardiez une description précise de ses traits (couleur des yeux, forme du nez, sourire).
• La magie : Pendant qu'il apprend quelque chose de nouveau, Alex réimagine (recrée) des images de ses vieilles connaissances basées sur ces statistiques. Il s'entraîne avec ces "fantômes" de données pour ne pas oublier ses anciennes compétences. C'est comme réviser ses cours en fermant les yeux et en visualisant les concepts.

4. Le Détecteur de Choc (Détection de Dérive)

Comment Alex sait-il qu'il est face à un nouveau type de problème ?

• Le mécanisme : Le système surveille constamment comment Alex utilise ses étiquettes. Si soudainement, Alex commence à utiliser des étiquettes totalement différentes de d'habitude, le système sonne l'alarme : "Attention ! On est dans un nouveau domaine !"
• L'action : Dès que l'alarme sonne, la bibliothèque s'agrandit automatiquement. On ajoute de nouveaux livres (nouveaux prompts) spécifiquement pour ce nouveau domaine, sans toucher aux vieux livres.

🏆 Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur des tâches très difficiles, comme :

• Le diagnostic de la rétinopathie diabétique (yeux).
• La détection du cancer de la peau.
• La reconnaissance d'objets divers (CORe50).

Le résultat ?
Contrairement aux autres méthodes qui choisissent souvent entre "être très précis" ou "ne rien oublier", Residual SODAP réussit à faire les deux.

• Il oublie très peu (comme un élève qui a une mémoire d'éléphant).
• Il est très précis sur les nouvelles tâches (comme un expert qui s'adapte vite).

En résumé

Residual SODAP, c'est comme donner à un apprenti une bibliothèque intelligente qui :

1. Ne garde que les livres utiles pour la tâche du jour.
2. Protège les vieux livres dans un coffre-fort inviolable.
3. Réimagine les vieux cours à partir de notes statistiques pour ne pas les oublier.
4. Ajoute de nouveaux rayons de livres automatiquement quand le monde change.

C'est une avancée majeure pour permettre aux intelligences artificielles d'apprendre toute leur vie, comme les humains, sans oublier qui ils sont, et sans violer la vie privée des gens.

Résumé technique

1. Problématique et Contexte

Le Apprentissage Continu (Continual Learning - CL) vise à permettre aux modèles d'IA d'acquérir de nouvelles connaissances au fil du temps sans oublier les tâches précédentes. Cependant, les réseaux de neurones souffrent souvent de l'oubli catastrophique, un phénomène où l'apprentissage de nouvelles données dégrade drastiquement les performances sur les anciennes.

Ce problème est particulièrement aigu dans le cadre de l'Apprentissage Incrémental de Domaine (Domain-Incremental Learning - DIL) avec les contraintes suivantes :

• Absence d'identifiants de tâche : Le modèle ne sait pas à quel domaine (ou tâche) appartient une donnée d'entrée.
• Interdiction de stockage de données (Rehearsal-Free) : Pour des raisons de confidentialité (ex: données médicales), il est impossible de stocker ou de rejouer les données passées.
• Décalage de domaine : Les distributions de données changent séquentiellement (ex: différents appareils d'imagerie médicale).

Les méthodes existantes basées sur les prompts (PCL) adaptent les représentations via un backbone figé, mais l'article identifie deux limites majeures :

1. Sélection de prompts sous-optimale : Les méthodes "Hard" (Top-k) manquent de flexibilité, tandis que les méthodes "Soft" (Softmax) introduisent du bruit en activant des prompts non pertinents.
2. Instabilité du classifieur : Même si les représentations (backbone) sont bien préservées, la couche de décision (classifieur) se dégrade, entraînant une perte de performance.

2. Méthodologie : Residual SODAP

Les auteurs proposent Residual SODAP, un cadre qui combine l'adaptation des représentations par prompts et la préservation des connaissances au niveau du classifieur. L'architecture repose sur quatre piliers techniques :

A. Sélection de Prompts Résiduelle basée sur $\alpha$-Entmax

• Amélioration de la requête : L'entrée (token CLS) est enrichie par un contexte global et des signaux récupérés d'une banque de mémoire (Memory Bank) via une attention multi-têtes.
• Sélection Sparse ($\alpha$-Entmax) : Au lieu du Softmax, le modèle utilise $\alpha$-entmax (avec $\alpha=1.5$). Cela permet une sélection sparse (assignant des poids nuls exacts aux prompts non pertinents) tout en restant différentiable, évitant ainsi l'accumulation de bruit.
• Fusion Résiduelle : Le pool de prompts est divisé en deux ensembles :
  • F (Froze) : Prompts appris précédemment, figés pour préserver les connaissances antérieures.
  • A (Active) : Prompts nouvellement appris, agissant comme un résidu pour l'adaptation au nouveau domaine.
  • La sortie est une combinaison linéaire : $p_{out} = p_{F} + \lambda_r \cdot p_{A}$.

B. Préservation des Connaissances Statistiques (Statistical Knowledge Preservation)

Pour pallier l'absence de données passées, le modèle stocke des statistiques de distribution des caractéristiques (features) :

• Stockage : À la fin de chaque étape, le modèle sauvegarde les moyennes et variances (diagonales) des caractéristiques par classe, calculées via l'algorithme de Welford (permettant une estimation en un seul passage sans stocker les données).
• Distillation et Replay Pseudo-Features : Lors de l'entraînement de la nouvelle étape :
  • Un classifieur enseignant (figé) est utilisé pour guider un classifieur étudiant.
  • Le modèle génère des features pseudo (échantillonnées à partir des distributions gaussiennes stockées) pour effectuer une distillation de connaissances (KL-divergence) sans accès aux vraies données anciennes.

C. Détection de Dérive basée sur l'Usage des Prompts (PUDD)

Un mécanisme automatique détecte les changements de domaine pour ajuster la capacité du modèle :

• Signaux de dérive : Surveillance de l'entropie de la distribution de sélection des prompts et du changement de l'ensemble des prompts utilisés (IoU - Intersection over Union).
• Expansion Dynamique : Si la dérive dépasse un seuil, le pool de prompts s'étend proportionnellement à l'intensité de la dérive. Les anciens prompts actifs sont figés (passent en $F$) et de nouveaux prompts sont ajoutés à l'ensemble actif ($A$).

D. Pondération par Incertitude (Uncertainty Weighting)

Pour optimiser simultanément les multiples pertes (classification, distillation réelle, distillation pseudo, régularisation), le modèle apprend automatiquement les poids de chaque terme de perte via une pondération par incertitude homoscédastique. Cela évite un réglage manuel fastidieux et stabilise l'entraînement.

3. Contributions Clés

1. Sélection Sparse et Résiduelle : Introduction de $\alpha$-entmax couplé à une architecture résiduelle (Froze + Active) pour une adaptation efficace sans oublier.
2. Préservation au Niveau du Classifieur : Démonstration et résolution du problème d'instabilité du classifieur via la distillation sur des statistiques de features (replay pseudo sans données).
3. Gestion Autonome de la Capacité : Mécanisme PUDD pour détecter les dérives de domaine et étendre le pool de prompts de manière adaptative.
4. Optimisation Multi-Objectifs : Utilisation de l'incertitude pour équilibrer dynamiquement les différentes fonctions de perte.

4. Résultats Expérimentaux

Le modèle a été évalué sur trois benchmarks DIL sans stockage de données ni identifiants de tâche :

• Rétinopathie Diabétique (DR) : APTOS $\to$ DDR $\to$ DRD.
• Cancer de la Peau (Skin Cancer) : ISIC $\to$ HAM $\to$ DERM7.
• CORe50 : Benchmark généraliste avec 11 décalages de domaine.

Performances (Moyenne de Précision / Oubli Moyen - AvgACC / AvgF) :

• DR : 0.850 / 0.047 (Meilleur résultat, surpassant OS-Prompt, Dual-Prompt, etc.).
• Skin Cancer : 0.760 / 0.031 (Meilleure précision, oubli très faible).
• CORe50 : 0.995 / 0.003 (Quasi-parfait, oubli négligeable).

Les études d'ablation confirment que chaque composant (Query Enhancer, PUDD, Distillation, Replay Pseudo, pondération d'incertitude) est essentiel pour atteindre ce compromis optimal entre précision et rétention.

5. Signification et Impact

Ce travail est significatif car il propose une solution réaliste et applicable aux scénarios réels, notamment dans le domaine médical où la confidentialité des données interdit le replay.

• Au-delà des Prompts : Il démontre que l'optimisation des prompts seule est insuffisante et que la stabilité du classifieur est cruciale.
• Efficacité : En évitant le stockage de données et en utilisant une sélection sparse, le modèle est léger et efficace.
• Adaptabilité : La capacité à détecter automatiquement les changements de domaine et à ajuster la complexité du modèle (expansion du pool) en fait une solution robuste pour des environnements dynamiques.

En résumé, Residual SODAP établit un nouvel état de l'art (SOTA) pour l'apprentissage continu sans répétition (rehearsal-free), en résolvant simultanément les problèmes de sélection de prompts, d'oubli de connaissances et d'instabilité décisionnelle.