Résumé Technique : Fusion Relationnelle Inter-Échantillons (CORF)

1. Formulation du Problème : Apprentissage Incrémental de Classes Inter-Domaines (CDCIL)

L'article comble une lacune critique dans la recherche actuelle sur l'apprentissage continu : le défi simultané de l'Oubli Catastrophique et du Décalage de Domaine. Alors que l'Apprentissage Incrémental de Classes (CIL) standard se concentre sur l'apprentissage de nouvelles classes sans oublier les anciennes, et que la Généralisation de Domaine (DG) se concentre sur la robustesse à travers les domaines, aucun ne traite pleinement le scénario où un modèle doit apprendre de nouvelles classes séquentiellement tout en rencontrant des données provenant de domaines à la fois vus et non vus.

Les auteurs formulent cela comme un Apprentissage Incrémental de Classes Inter-Domaines (CDCIL). Dans ce cadre :

• Entraînement : Le modèle reçoit un flux de tâches, où chaque tâche contient des échantillons provenant de multiples domaines « vus ».
• Inférence : Le modèle est évalué sur toutes les classes apprises précédemment, à la fois sur les domaines vus et sur un domaine complètement « non vu » exclu de l'entraînement.
• Défi : Les méthodes CIL existantes échouent face aux décalages de domaine en raison d'un manque de mécanismes de généralisation, tandis que les méthodes DG échouent dans des contextes incrémentaux car elles manquent de mécanismes pour résister à l'oubli lorsque l'espace des étiquettes s'étend.

2. Méthodologie : Fusion Relationnelle Inter-Échantillons (CORF)

Les auteurs proposent CORF, un cadre unifié conçu pour apprendre des représentations indépendantes du domaine et stables de manière incrémentale. CORF intègre deux composantes synergiques : le Raffinement Doublement Sensible (DSR) pour l'augmentation de données au niveau des échantillons et la Distillation Hiérarchique à Base de Noyaux (HKD) pour la préservation des connaissances structurelles.

A. Raffinement Doublement Sensible (DSR)

Le DSR vise à construire un espace de représentation indépendant du domaine en synthétisant stratégiquement un jeu de données auxiliaire. Il exploite les cartes de contribution spatiale (via Grad-CAM) et la confiance prédictive pour guider le mélange d'échantillons :

1. Mélange à Haute Confiance :

   • Les échantillons à haute confiance prédictive sont identifiés comme des ancres sémantiques fiables.
   • Pour un échantillon à haute confiance $x_H$, un contrepartie $\tilde{x}_H$ provenant d'un différent domaine mais de la même classe est récupéré.
   • Une carte de contribution spatiale identifie les régions critiques pour la classification. Le modèle mélange les régions à faible contribution (contenant souvent du bruit spécifique au domaine) de $x_H$ et $\tilde{x}_H$, tout en préservant les régions à haute contribution de $x_H$.
   • Objectif : Forcer le modèle à s'appuyer sur des caractéristiques sémantiquement cohérentes à travers les domaines tout en ignorant les artefacts spécifiques au domaine.

2. Mélange à Faible Confiance :

   • Les échantillons à faible confiance (ambigus ou bruyants) sont identifiés.
   • Ceux-ci sont appariés avec un échantillon d'une différente classe au sein du même lot.
   • Le mélange se produit dans les régions à haute contribution pour encourager la disjonction des caractéristiques.
   • Objectif : Ces échantillons synthétisés sont assignés à des classes auxiliaires temporaires (disjointes de l'espace d'étiquettes original) pour éviter de corrompre les frontières de classification originales tout en encourageant le modèle à apprendre des frontières de décision robustes.

B. Distillation Hiérarchique à Base de Noyaux (HKD)

Pour atténuer l'oubli catastrophique sans s'appuyer sur la distillation au niveau des logits (qui suppose une cohérence distributionnelle), CORF emploie la HKD. Cette méthode préserve la topologie relationnelle des échantillons à travers plusieurs hiérarchies de caractéristiques.

• Cartes de Noyaux Relationnels : Au lieu d'aligner les logits globaux, la HKD construit des cartes de noyaux à plusieurs couches du réseau qui capturent la similarité conditionnelle entre des paires d'échantillons au sein d'un lot.
• Conception Hybride de Noyaux : La méthode utilise une combinaison de noyaux Cosinus (pour préserver la direction angulaire/sémantique) et de noyaux de Student-t (pour capturer les structures de voisinage local et gérer les valeurs aberrantes).
• Divergence Symétrique : Le modèle actuel est entraîné pour aligner ses distributions de noyaux relationnels avec celles de l'ancien modèle (de la tâche précédente) en utilisant une fonction de perte de divergence symétrique.
• Objectif : Cela garantit que les relations structurelles fines et sensibles au domaine entre les échantillons sont préservées, même lorsque le modèle s'adapte à de nouvelles tâches et domaines.

C. Objectif Unifié

L'objectif final d'entraînement combine la perte de classification standard sur les échantillons originaux et synthétisés avec la perte de distillation hiérarchique :
$$\min \sum_{(x,y) \in S_n \cup A_n} L_{cls}(h_\Psi(x), y) + L_{reg} + \beta \cdot L_{kernel}$$
Où $S_n$ est l'ensemble d'entraînement original, $A_n$ est l'ensemble auxiliaire généré par le DSR, et $L_{kernel}$ est la perte de distillation agrégée.

3. Contributions Clés

1. Formulation du Problème : L'article définit formellement le CDCIL, mettant en évidence les limites des méthodes CIL et DG existantes lorsqu'elles sont appliquées à des scénarios impliquant à la fois l'apprentissage séquentiel de classes et des décalages de domaine.
2. Raffinement Doublement Sensible (DSR) : Une stratégie novatrice d'augmentation de données qui utilise la confiance et les cartes de contribution spatiale pour synthétiser des échantillons invariants au domaine, découplant efficacement les indices sémantiques des biais de domaine.
3. Distillation Hiérarchique à Base de Noyaux (HKD) : Une stratégie d'atténuation de l'oubli qui aligne les structures relationnelles à travers les hiérarchies de caractéristiques en utilisant des noyaux hybrides, offrant une alternative plus robuste à la distillation basée sur les logits sous décalage de domaine.
4. Cadre Unifié : Démontre que le DSR et la HKF peuvent être intégrés de manière transparente dans les algorithmes CIL existants (par exemple, iCaRL, DER, Replay) pour améliorer leur généralisabilité.

4. Résultats Expérimentaux

Les auteurs ont évalué CORF sur trois jeux de données de référence : OfficeHome, DomainNet et PACS, en utilisant ResNet-34 comme backbone.

• Gains de Performance : CORF a systématiquement surpassé les méthodes de référence (incluant FineTune, Replay, iCaRL, DER, MEMO, FOSTER) sur tous les jeux de données.
  • Sur OfficeHome (5 tâches), l'intégration de CORF avec DER a amélioré la Moyenne Harmonique (HM) des domaines Vus et Non Vus de 42,41 % à 46,17 %.
  • Sur PACS, l'intégration avec FOSTER a atteint une HM de 60,97 %, dépassant la référence d'une marge significative.
• Études d'Ablation :
  • La suppression du DSR a entraîné une baisse de la généralisation (performance sur le domaine Non Vu).
  • La suppression de la HKD a entraîné une augmentation de l'oubli (dégradation de la performance sur le domaine Vu).
  • La combinaison des deux a produit les meilleurs résultats, confirmant leur nature complémentaire.
• Sensibilité aux Hyperparamètres : La méthode a montré une robustesse face aux variations du poids de raffinement ($\alpha$) et du coefficient de distillation ($\beta$), avec une performance optimale à $\alpha=0,3$ et $\beta=0,01$.
• Analyse des Caractéristiques : Les visualisations des matrices de similarité par paires ont montré que CORF produisait des clusters intra-classe plus compacts et des frontières inter-classe mieux séparées par rapport aux références.
• Compatibilité : Le cadre a été adapté avec succès à des backbones basés sur des Transformers (L2P et DualPrompt avec ViT), bien que les gains aient été plus modestes en raison des paramètres de backbone figés, confirmant son caractère plug-and-play.

5. Signification et Revendications

L'article revendique que CORF fournit une solution unifiée aux défis doubles de l'oubli et du décalage de domaine, qui sont souvent traités séparément dans la littérature. En modélisant explicitement les dépendances relationnelles entre les échantillons à travers les domaines et les tâches, CORF permet la construction de représentations qui sont à la fois indépendantes du domaine et stables de manière incrémentale.

Les auteurs soulignent que leur approche ne nécessite pas le stockage de grandes quantités de données passées (au-delà des budgets d'exemplaires standard) ni de modèles génératifs complexes. Au lieu de cela, elle repose sur un raffinement sélectif et un alignement structurel pour améliorer la robustesse. Les résultats suggèrent que traiter le décalage de domaine et l'oubli catastrophique simultanément n'est pas seulement faisable mais nécessaire pour des applications réelles comme la conduite autonome, où les environnements et les catégories d'objets évoluent continuellement.

L'article conclut que si CORF est actuellement plus efficace avec des backbones convolutionnels entraînables, il offre une direction prometteuse pour la recherche future dans des scénarios d'apprentissage incrémental plus diversifiés et des décalages de domaine complexes.