Résumé Technique : Au-delà de l'Effondrement Ponctuel des Réseaux de Neurones

1. Énoncé du Problème

L'Apprentissage Incrémental de Classes (CIL) vise à permettre aux modèles d'apprendre de nouvelles catégories de manière séquentielle sans oublier catastrophiquement les connaissances acquises précédemment. Bien que le classifieur de la Moyenne de Classe la Plus Proche (NCM) soit devenu la norme de facto pour le CIL en raison de sa robustesse face à l'oubli, son optimalité repose fortement sur la théorie de l'Effondrement des Réseaux de Neurones (NC). La théorie NC postule que, durant la phase terminale de l'entraînement, les caractéristiques intra-classe s'effondrent en des points uniques (moyennes de classe), rendant le classifieur NCM équivalent à un classifieur linéaire optimal.

Cependant, les auteurs soutiennent que, dans les configurations pratiques de CIL, cet état idéal est fréquemment violé en raison de trois facteurs :

1. Convergence Insuffisante : Les modèles ne sont souvent pas entraînés jusqu'au point d'effondrement pour éviter le surapprentissage.
2. Entraînement Contraint : Les étapes incrémentales utilisent souvent des régularisations ou des distillations qui empêchent une convergence complète sur les nouvelles classes.
3. Dérive des Caractéristiques : À mesure que le modèle de base se met à jour pour de nouvelles tâches, les représentations des anciennes classes se déplacent.

L'article démontre, via une analyse de la distance de Procruste, que cette dérive des caractéristiques n'est pas une simple transformation rigide mais implique des déformations non linéaires significatives (avec des distances normalisées atteignant 0,3–0,4). Par conséquent, les caractéristiques des classes résident sur des variétés complexes et de haute dimension (par exemple, des structures en « haltère » ou en « croissant ») plutôt que sur des points effondrés. Cela rend le NCM à prototype unique sous-optimal, car il échoue à représenter ces géométries complexes, entraînant une dégradation des performances.

2. Méthodologie

Le cadre proposé se compose de deux composants principaux : un classifieur sensible à la topologie (HC-SOINN) et un mécanisme d'adaptation à la dérive (STAR).

2.1. HC-SOINN (SOINN à Clustering Hiérarchique)

Pour capturer la structure intrinsèque des variétés de classes, les auteurs proposent HC-SOINN, qui remplace l'hypothèse du prototype unique par une représentation topologique « du local au global ».

• Initialisation Hiérarchique : Au lieu d'appliquer un clustering incrémental directement aux flux bruts (ce qui est sensible au bruit et à l'ordre), la méthode accumule d'abord les caractéristiques dans un tampon et effectue un Clustering Hiérarchique Ascendant (utilisant UPGMA et la distance cosinus) pour initialiser un squelette de variété stable.
• Raffinement SOINN Sphérique : Les nœuds initiaux sont affinés à l'aide d'un Réseau de Neurones Auto-Organisé Incrémental (SOINN) simplifié, adapté à l'hypersphère unité.
  • Apprentissage de la Topologie : Des arêtes sont créées entre les nœuds gagnant et second-placé sur la base de l'Apprentissage Hebbien Compétitif (CHL).
  • Mise à Jour Sphérique : Les positions des nœuds sont mises à jour en utilisant l'Interpolation Linéaire Sphérique (SLERP) pour garantir que les sous-prototypes évoluent le long de la surface de la variété plutôt que de dériver vers l'intérieur de l'hypersphère.
• Inférence à Double Vue : Le score de décision final combine une Vue Globale (similarité cosinus avec la moyenne de classe $\mu_c$) et une Vue Locale (similarité cosinus maximale avec n'importe quel sous-prototype local $v \in V_c$). Le score est une somme pondérée :
  $$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$$

2.2. STAR (Alignement Structure-Topologie via Résidus)

Pour faire face à la dérive non linéaire des caractéristiques que les méthodes topologiques statiques ne peuvent pas entièrement endurer, STAR introduit un paradigme d'« adaptation à la dérive ».

• Suivi de Trajectoire Ponctuelle : STAR établit une correspondance un à un entre les nœuds topologiques et des échantillons d'ancrage. Il suit la dérive de chaque nœud individuellement en comparant les caractéristiques actuelles aux caractéristiques de référence stockées.
• Alignement par Résidus : Une Moyenne Mobile Exponentielle (EMA) lisse les vecteurs de dérive ($\delta_i$). Ces résidus sont appliqués pour transporter les sous-prototypes dans l'espace des caractéristiques actuel, permettant à la structure de la variété de se déformer activement et de s'aligner sur la distribution évolutive des caractéristiques sans réentraîner le modèle de base.
• Synchronisation Globale : La moyenne globale de la classe est mise à jour de manière synchrone en utilisant la dérive moyenne de tous les nœuds.

3. Contributions Clés

1. Réexamen de l'Optimalité du NCM : Les auteurs utilisent l'analyse de Procruste pour démontrer empiriquement que la dérive des caractéristiques dans le CIL provoque des déformations structurelles non linéaires significatives, exposant les limites des méthodes à prototype unique dans des scénarios pratiques.
2. Classifieur HC-SOINN : Un nouveau classifieur sensible à la topologie qui représente les variétés de classes en utilisant une structure hiérarchique de centres locaux et d'un centre global, offrant une représentation géométrique plus précise que les prototypes uniques.
3. Mécanisme STAR : Un passage de la « résistance à la dérive » à l'« adaptation à la dérive ». En exploitant le suivi de trajectoire ponctuelle, STAR permet à la topologie apprise de se déformer activement pour correspondre à l'évolution complexe et non linéaire des caractéristiques.
4. Validation Étendue : L'approche est intégrée dans sept méthodes de CIL de l'état de l'art (incluant des paradigmes basés sur des invites, des adaptateurs et des représentations) à travers trois benchmarks, démontrant des améliorations constantes.

4. Résultats Expérimentaux

La méthode a été évaluée sur Split CIFAR-100, Split CUB-200 et Split ImageNet-R.

• Gains de Performance : L'intégration de HC-SOINN (avec ou sans STAR) dans sept lignes de base (par exemple, SimpleCIL, DualPrompt, CODA-Prompt, SEMA, CL-LoRA) a entraîné des améliorations constantes tant pour la Précision Moyenne (AAvg) que pour la Précision de la Dernière Tâche (ALast).
  • Des gains notables incluent SEMA + HC-SOINN obtenant une amélioration de +21,00 % sur Split CUB-200 (ALast) et CODA-Prompt + HC-SOINN surpassant d'autres méthodes SOTA sur Split CUB-200.
• Analyse du Classifieur : En isolant la contribution du classifieur (en fixant le modèle de base), le HC-SOINN + STAR proposé surpasse constamment les couches FC paramétriques, le NCM standard et le Classifieur Non Linéaire de Kolmogorov-Arnold (KAC), en particulier dans les tâches à longue séquence et hors distribution.
• Efficacité :
  • Entraînement : La méthode complète ajoute seulement ~3,96 % de surcharge par rapport à la ligne de base, obtenue via une parallélisation par classe.
  • Inférence : La méthode introduit une surcharge de latence virtuellement nulle (+0,01 %) car le modèle de base (99,7 % du temps de calcul) domine le coût d'inférence, et les calculs de distance topologique sont vectorisés sur GPU.
• Stockage : La topologie adaptative nécessite de stocker en moyenne ~18–21 nœuds par classe, ce qui est comparable ou inférieur aux tampons de 20 exemplaires utilisés dans les méthodes traditionnelles basées sur la répétition, sans toutefois nécessiter de réentraînement basé sur le gradient.

5. Importance et Revendications

L'article affirme que la dépendance aux classifieurs à prototype unique dans le CIL est théoriquement infondée lorsque l'Effondrement des Réseaux de Neurones est incomplet. En modélisant les classes comme des variétés complexes plutôt que comme des points, le cadre proposé comble le fossé entre l'optimalité théorique et les contraintes pratiques du CIL.

• Changement de Paradigme : Le travail plaide pour un passage de la « résistance à la dérive » (tenter d'empêcher les déplacements de caractéristiques) à l'« adaptation à la dérive » (déformer activement la frontière de décision pour correspondre au déplacement).
• Robustesse : La méthode est présentée comme « sans réglage », maintenant des performances élevées sur divers ensembles de données et modèles de base avec un ensemble unique et unifié d'hyperparamètres.
• Limites : Les auteurs reconnaissent que les gains de performance s'accompagnent d'une surcharge computationnelle modérée pour la maintenance topologique et d'un stockage supplémentaire pour les tampons d'ancrage. De plus, le mécanisme de notation actuel repose uniquement sur les distances entre nœuds, laissant la riche connectivité des arêtes du graphe appris inexploitée lors de la classification.

Les auteurs concluent que leur cadre topologique fournit une solution plus fiable pour les déplacements incrémentaux complexes que les frontières linéaires ou non linéaires fixes existantes, établissant de nouvelles performances de l'état de l'art sur les ensembles de données évalués.