Attention Retention for Continual Learning with Vision Transformers

Résumé Technique : Rétention de l'Attention pour l'Apprentissage Continu avec les Vision Transformers

Énoncé du Problème

L'apprentissage continu (CL - Continual Learning) vise à permettre aux systèmes d'IA d'acquérir des connaissances progressivement à partir de flux de données non stationnaires. Cependant, l'oubli catastrophique demeure un obstacle critique, où l'apprentissage de nouvelles tâches dégrade les performances sur les tâches précédemment apprises. Bien que diverses stratégies existent (rejeu, expansion, régularisation), cet article identifie un mécanisme spécifique d'oubli dans les Vision Transformers (ViTs) : la dérive de l'attention (attention drift).

Les auteurs observent qu'à mesure que les ViTs apprennent de nouvelles tâches, leurs mécanismes d'attention s'éloignent significativement des caractéristiques discriminantes des concepts visuels précédemment appris. Contrairement aux systèmes visuels humains, qui maintiennent une attention sélective sur les caractéristiques clés même lors de l'acquisition de nouveaux concepts, les ViTs perdent cette stabilité, entraînant l'érosion des connaissances acquises. Les méthodes existantes échouent souvent à traiter ce type spécifique de dérive dans le mécanisme d'attention des ViTs, particulièrement dans les contextes sans rejeu (replay-free) où le stockage des données des tâches précédentes est interdit.

Méthodologie : ARCL-ViT

Le cadre proposé, ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers), traite la dérive de l'attention en contraignant explicitement les mises à jour de gradients lors de l'apprentissage de nouvelles tâches. La méthode fonctionne sans stocker de données des tâches précédentes et se compose de deux étapes principales :

1. Génération de Masque Adaptatif

Après avoir terminé une tâche $T_{t-1}$, le modèle génère un masque binaire pour identifier les régions d'attention critiques.

• Rollout par Couche (Layer-wise Rollout) : Au lieu d'utiliser les cartes d'attention brutes d'une seule couche, la méthode emploie un mécanisme de rollout par couche. Elle agrège les matrices d'attention activées à travers toutes les couches ($L$) pour calculer une carte d'attention complète $\hat{S}^l_{t-1}$. Cela implique de multiplier les matrices d'attention transformées ($\tilde{S} = I + S$) pour capturer le flux d'information de l'entrée vers le jeton de classe (class token).
• Seuillage Adaptatif par Instance : Pour gérer les tailles variables des régions discriminantes selon les images, un seuil fixe est évité. La méthode trie les valeurs d'attention et identifie un point d'inflexion (via la dérivée du second ordre) où les valeurs passent de l'arrière-plan aux régions saillantes. Cela détermine un seuil adaptatif $\tau$, générant un masque binaire $M$ où les régions à haute attention sont marquées comme 0 (à préserver) et les régions à faible attention comme 1.

2. Masquage de Gradient et Adaptation de l'Optimiseur

Pendant l'entraînement de la tâche actuelle $T_t$, le masque généré est utilisé pour supprimer les mises à jour qui modifieraient les motifs d'attention des tâches précédentes.

• Mise à Zéro des Gradients (Gradient Zeroing) : Le masque est appliqué élément par élément aux gradients des poids de projection de la Requête ($Q$), de la Clé ($K$) et de la Valeur ($V$) ($W_q, W_k, W_v$). Plus précisément, les gradients correspondant aux régions de haute attention de la tâche précédente sont mis à zéro. Cela empêche le processus d'optimisation de déplacer le focus du modèle loin des concepts visuels appris précédemment.
• Compatibilité de l'Optimiseur : Le simple fait de mettre les gradients à zéro peut perturber les optimiseurs modernes (ex: Adam) qui reposent sur des statistiques de moment et de variance, provoquant potentiellement des mises à jour instables. Pour atténuer cela, les auteurs proposent un mécanisme de mise à l'échelle (scaling). La mise à jour du paramètre $\Delta W'$ est mise à l'échelle proportionnellement au ratio du gradient masqué par rapport au gradient original. Cela garantit que la magnitude relative des mises à jour est maintenue, permettant à l'optimiseur de fonctionner correctement tout en respectant les contraintes d'attention.

Contributions Clés

1. Identification de la Dérive de l'Attention : L'article établit la dérive de l'attention dans les ViTs comme une source primaire d'oubli catastrophique dans l'apprentissage continu, soulignant la nécessité de préserver l'attention sélective sur les concepts visuels antérieurs.
2. Cadre Novateur (ARCL-ViT) : Un cadre basé sur le gradient est introduit pour contraindre la dérive de l'attention sans nécessiter de rejeu de données. Il utilise un rollout par couche pour une extraction robuste des cartes d'attention et une stratégie de seuillage adaptatif pour une génération de masque précise.
3. Masquage de Gradient Compatible avec l'Optimiseur : La méthode introduit une technique de mise à l'échelle pour assurer la compatibilité du masquage de gradient avec les optimiseurs adaptatifs, évitant l'instabilité de l'optimisation tout en préservant efficacement les motifs d'attention appris.
4. Performances de l'État de l'Art (SOTA) : L'approche atteint des résultats supérieurs sur divers benchmarks et schémas de pré-entraînement, démontrant une robustesse de généralisation.

Résultats Expérimentaux

La méthode a été évaluée sur quatre benchmarks d'apprentissage incrémental de classes : ImageNet-R (10-split et 20-split), CIFAR-100 (10-split) et DomainNet (10-split).

• Performance : ARCL-ViT a atteint des performances de l'état de l'art (SOTA), surpassant les méthodes récentes (ex: VPT-CPG, SD-LoRA, BiLoRA) avec une augmentation moyenne de précision de 1,8 % à 3,7 % à travers les benchmarks.
• Réduction de l'Oubli : La méthode a considérablement réduit l'oubli catastrophique. Par exemple, sur ImageNet-R 10-split, elle a atteint 81,17 % de précision avec 4,84 % d'oubli, contre une base de référence de fine-tuning séquentiel (Seq-FT) qui a subi 44,31 % d'oubli et seulement 49,43 % de précision.
• Études d'Ablation :
  • Construction du Masque : La combinaison du rollout par couche et du seuillage adaptatif a produit les meilleurs résultats, surpassant l'attention brute ou les seuils fixes.
  • Régions Masquées : Le masquage des régions d'attention spécifiques des tâches précédentes s'est avéré essentiel ; le masquage de régions aléatoires ou de non-zones d'attention entraînait un oubli nettement plus élevé.
• Généralisation :
  • Poids de Pré-entraînement : La méthode s'est bien généralisée à travers différents poids pré-entraînés (DINO-1k et iBOT-1k), surpassant systématiquement les bases de référence avec un gain de précision d'environ 37 % par rapport à Seq-FT.
  • CL à Longue Séquence : Dans des contextes de séquences longues exigeants (50 et 100 splits), ARCL-ViT a maintenu une précision supérieure et a obtenu un meilleur compromis entre plasticité et stabilité par rapport aux méthodes SOTA existantes.
• Visualisation : L'analyse quantitative de la dérive de l'attention a montré qu'ARCL-ViT maintenait la dérive la plus faible (6,0 %) par rapport à Seq-FT (25,9 %), confirmant visuellement la préservation de l'attention sur les concepts visuels clés.

Signification et Revendications

L'article affirme qu'en alignant le mécanisme d'attention des ViT sur les principes biologiques de l'attention sélective, il est possible d'atténuer efficacement l'oubli catastrophique sans la surcharge de stockage des méthodes basées sur le rejeu. Les auteurs positionnent leur travail comme une étape significative vers la construction de systèmes d'apprentissage continu qui ressemblent à l'intelligence biologique, spécifiquement en stabilisant les "ressources neuronales" (l'attention) dédiées aux concepts visuels appris précédemment. La méthode est présentée comme une solution robuste, sans données (data-free), compatible avec les techniques d'optimisation modernes et capable de se généraliser à travers diverses stratégies de pré-entraînement et des scénarios d'apprentissage à long terme.