Résumé Technique : NeuroGuard

Énoncé du Problème

L'apprentissage incrémental de classes à longue traîne (Long-tailed Class-Incremental Learning - LT-CIL) aborde le défi de l'apprentissage de nouvelles classes de manière séquentielle à partir de flux de données caractérisés par deux formes de non-stationnarité : un déséquilibre sévère de la fréquence des classes (distribution à longue traîne) et l'arrivée séquentielle de nouvelles classes. Les méthodes existantes tentent généralement de résoudre ce problème en modifiant les stratégies de rejeu (replay), les architectures de classificateurs ou les fonctions de perte. Cependant, ces approches peinent souvent à équilibrer la plasticité nécessaire pour apprendre de nouvelles informations et la stabilité nécessaire pour conserver les connaissances existantes. Dans le LT-CIL, les classes majoritaires dominent les statistiques de gradient, tandis que les classes minoritaires reçoivent des signaux plus faibles. De plus, les mises à jour des tâches ultérieures peuvent écraser les représentations formées pour les tâches précédentes, entraînant un oubli catastrophique.

Les auteurs postulent qu'un facteur critique et sous-exploré est la force des mises à jour des représentations de caractéristiques aux frontières des tâches. Ils s'inspirent des systèmes d'apprentissage biologiques, spécifiquement du locus coeruleus, qui module la réactivité neuronale via un signal de « surprise » sans modifier la structure du réseau lui-même. La question centrale est de savoir à quel point la représentation doit changer à une frontière de tâche et quels souvenirs rejoués nécessitent une protection plus forte lors de la distillation.

Méthodologie : NeuroGuard

NeuroGuard est une méthode de contrôle de mise à jour conçue pour être ajoutée aux bases de référence LT-CIL basées sur le rejeu (spécifiquement DGR) sans introduire de paramètres apprenables, sans agrandir le réseau et sans modifier l'ensemble des termes de perte. Elle se compose de trois composantes progressives :

1. Mise à l'échelle adaptative du gradient (Adaptive Gradient Scaling - AGS)

L'AGS contrôle l'ampleur des mises à jour de représentation à chaque frontière de tâche à l'aide d'un scalaire unique dérivé de l'incertitude de l'enseignant (teacher).

• Mécanisme : À la frontière entre la tâche $t-1$ et $t$, un « enseignant consolidé » (le modèle gelé entraîné jusqu'à $t-1$) évalue un mini-lot d'échantillons entrants.
• Signal : Le système calcule l'entropie prédictive normalisée ($s_t^{ent}$) de l'enseignant sur ces nouveaux échantillons. Une entropie élevée indique une incertitude (une « surprise »), tandis qu'une entropie faible indique une confiance.
• Mise à l'échelle : Ce score d'entropie est converti en une échelle de gradient par tâche $g_t$ via une fonction sigmoïde. Pendant l'entraînement de la tâche $t$, seuls les gradients de la dernière étape de convolution sont multipliés par $g_t$.
  • Si $g_t < 1$, la mise à jour de la représentation est supprimée.
  • Si $g_t \approx 1$, la mise à jour se déroule de manière similaire à la base de référence.
• Contrainte : Le calcul de propagation avant (forward), la fonction de perte et les paramètres de l'optimiseur restent inchangés.

2. Repondération de la distillation de connaissances par classement de confiance (Confidence-Ranked Knowledge Distillation Reweighting - CRK)

Le CRK répond à la seconde question : quels souvenirs rejoués méritent une protection plus forte ?

• Mécanisme : Au lieu d'assigner des poids uniformes à tous les exemplaires anciens rejoués, le CRK les repondère en fonction de la confiance de l'enseignant.
• Métrique de fragilité : Pour chaque échantillon rejoué, la « marge de confiance » ($m_i$) est calculée comme la différence entre les probabilités prédites de rang 1 et de rang 2. Une marge faible implique que l'enseignant est incertain (fragile) concernant la classe de l'échantillon.
• Repondération : Les échantillons sont classés par fragilité (inverse de la marge). Le poids de la distillation de connaissances $w_i$ est assigné proportionnellement au rang, normalisé de telle sorte que le poids moyen sur le lot reste de 1. Cela garantit que les souvenirs fragiles (où l'enseignant est moins décisif) reçoivent des signaux de distillation plus forts pour préserver leur représentation.

3. Porte d'entropie mélangée par fragilité (Fragility-Blended Entropy Gate - FBE)

La FBE affine le signal de frontière utilisé par l'AGS en incorporant un signal provenant du « côté mémoire ».

• Mesure de fuite : Avant l'entraînement sur la tâche $t$, la tête du classificateur est étendue pour inclure les sorties des nouvelles classes. Le système mesure la quantité de masse de probabilité que le modèle étendu assigne à ces nouvelles sorties lors de l'évaluation des anciens exemplaires (mémoire de rejeu). C'est le score de « fuite » ($s_t^{frag}$).
• Mélange : Le signal de frontière final $s_t$ est la moyenne du score d'entropie ($s_t^{ent}$) et du score de fuite ($s_t^{frag}$).
• Effet : L'échelle de mise à jour $g_t$ diminue lorsque les deux signaux sont faibles (frontière stable) et augmente à mesure que l'une ou l'autre des sources de décalage (incertitude entrante ou fuite de la mémoire ancienne) devient plus forte.

Principales Contributions

1. Mise à l'échelle adaptative du gradient (AGS) : Une règle de mise à jour à la frontière des tâches qui module les mises à jour de représentation en utilisant l'incertitude de l'enseignant sans ajouter de paramètres apprenables.
2. CRK et FBE : Un schéma de repondération de la distillation classé par confiance qui priorise les souvenirs fragiles tout en maintenant un poids moyen de un, ainsi qu'une porte qui augmente le signal de frontière avec la fuite de la mémoire ancienne. Aucun de ces composants ne modifie la mémoire de rejeu ou la structure du classificateur.
3. Analyse progressive et contrôle à échelle fixe : Les auteurs fournissent une étude d'ablation rigoureuse comparant leur méthode adaptative à un contrôle à échelle fixe. Le contrôle utilise une échelle constante ($g=0,864$), représentant la moyenne arithmétique de toutes les échelles par tâche générées par l'AGS sur cinq configurations.
4. Validation empirique : Évaluation à travers cinq configurations de LT-CIL avec des architectures ResNet-32 et ResNet-18 avec un budget de rejeu fixe de cinq exemplaires par classe.

Résultats

La méthode a été évaluée sur cinq configurations en utilisant des architectures ResNet-32 et ResNet-18 avec un budget de rejeu fixe de cinq exemplaires par classe.

• Performance : NeuroGuard a systématiquement surpassé la base de référence DGR dans les cinq configurations.
  • ImageNet-100-LT : A atteint une précision agnostique à la tâche (TAg) de 34,03 %, améliorant DGR de 0,99 % et surpassant DER, FOSTER et COIL.
  • CIFAR-100-LT 10base10 : A atteint 24,15 % de TAg, dépassant DER de 2,35 %.
  • CIFAR-100-LT 50base11 : A atteint 17,28 % de TAg, améliorant DGR de 2,35 % et dépassant DER de 0,32 %.
  • Food-101-LT : A atteint 15,14 % de TAg, améliorant DGR de 1,09 %.
• Aperçus de l'ablation :
  • AGS vs Échelle Fixe : Dans les cinq configurations, l'AGS adaptatif a surpassé le contrôle à échelle fixe ($g=0,864$) d'une moyenne de 1,21 %. Dans trois configurations, le contrôle à échelle fixe a performé moins bien que la base de référence DGR originale.
  • Dépendance à la configuration : Un balayage des échelles fixes sur la répartition 50base6 a montré que si une constante spécifique ($g=0,864$) pouvait récupérer une partie significative du gain sur cette répartition précise, elle ne se transférait pas aux autres configurations (ex: 10base10), où aucune échelle fixe ne fournissait d'amélioration significative. Cela confirme qu'une constante universelle unique ne peut reproduire les bénéfices d'une mise à l'échelle dépendante de la frontière.
  • Contribution des composantes : Le modèle complet (AGS + CRK + FBE) a systématiquement surpassé les modèles partiels, la FBE montrant une compatibilité spécifiquement avec le CRK basé sur le classement.

Signification et Revendications

L'article affirme que NeuroGuard isole l'effet du contrôle de mise à jour des autres variables comme la capacité du modèle ou les termes de perte supplémentaires. La principale signification réside dans la démonstration que :

1. Adaptation spécifique à la frontière : Adapter la force de mise à jour aux conditions spécifiques de chaque frontière de tâche (via l'incertitude et la fragilité de la mémoire) est plus efficace qu'une stratégie de suppression de gradient uniforme appliquée tout au long de l'apprentissage.
2. Efficacité des paramètres : Des gains de performance significatifs en LT-CIL peuvent être obtenus sans introduire de nouveaux paramètres apprenables, sans agrandir le réseau et sans modifier les mécanismes de rejeu et de perte de base.
3. Équilibre Stabilité-Plasticité : En modulant les mises à jour en fonction de la « surprise » et de la fragilité de la mémoire, la méthode équilibre mieux la rétention des connaissances anciennes et l'adaptation aux nouveaux flux de classes déséquilibrés.

Les auteurs notent des limites, reconnaissant que la formulation actuelle utilise un signal de frontière de tâche unique et qu'une régulation temporelle ou par couche plus riche reste un travail futur. L'évaluation suppose des frontières de tâches connues et un budget de rejeu fixe.