💻 computer science

Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning

Cet article propose l'Adaptive Hebbian Routing pour les Vision Transformers, une méthode qui utilise un MLP léger pour contrôler dynamiquement la contribution de la mémoire, la force de mise à jour et la rétention, surpassant ainsi les approches Hebbiennes fixes en termes de précision d'apprentissage à partir de peu d'exemples (few-shot learning) et d'efficacité d'inférence à travers divers backbones et jeux de données.

Auteurs originaux : Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre une nouvelle langue, mais que vous n'avez qu'une seule phrase à étudier avant de devoir passer un examen. C'est ce que les informaticiens appellent l'« apprentissage à partir de peu d'exemples » (Few-Shot Learning). C'est comme demander à un élève d'apprendre un tout nouveau sujet après n'avoir vu qu'un seul exemple.

Pendant longtemps, les modèles de vision par ordinateur (les « cerveaux » qui permettent aux ordinateurs de voir) étaient comme des étudiants dotés de cerveaux très rigides. Une fois entraînés, leur connaissance était « gelée ». Si on leur montrait un nouveau type de chat qu'ils n'avaient jamais vu auparavant, ils ne pouvaient pas s'adapter facilement car leurs règles internes ne changeaient pas pendant l'examen.

Ce document présente une nouvelle façon d'aider ces cerveaux informatiques à s'adapter rapidement. Voici la décomposition de leur idée, en utilisant des analogies simples.

Le Problème : Le Cerveau « Gelé »

Les modèles informatiques standards possèdent deux types de « poids » (des règles pour traiter l'information) :

Poids Lents : Ce sont les règles permanentes apprises durant des années d'entraînement. Elles sont comme le programme scolaire de base qu'un étudiant a mémorisé à l'école. Elles ne changent pas pendant un examen.
Le Défi : Lorsqu'un étudiant est confronté à un nouveau type de problème (une nouvelle classe d'images) pour la première fois, il doit utiliser les quelques exemples qu'il a sous la main pour comprendre. Les modèles standards ont du mal car ils ne peuvent pas « se souvenir » temporairement des nouveaux exemples pendant qu'ils répondent aux questions de l'examen.

L'Ancienne Solution : Le « Post-it » (Mémoire Hebbienne)

Les scientifiques ont précédemment tenté de corriger cela en ajoutant un système de « Poids Rapides », basé sur un concept appelé apprentissage Hebbien.

L'Analogie : Imaginez un étudiant qui, pendant un examen, est autorisé à écrire un « post-it » sur son bureau. Chaque fois qu'il voit un nouvel exemple (l'ensemble de support), il écrit une note rapide dessus. Lorsqu'il voit une question d'examen (la requête), il regarde la note pour l'aider à répondre.
La Faille : Dans l'ancienne méthode, l'étudiant écrivait la note avec la même force à chaque fois, peu importe si la note était utile ou déroutante. Parfois, la note était si collante qu'elle encombrait le bureau et rendait la réflexion plus difficile. Parfois, la note s'effaçait trop vite. C'était une approche « taille unique » qui ne fonctionnait pas bien pour tous les types d'examens.

La Nouvelle Solution : Le « Bibliothécaire Intelligent » (Routage Hebbien Adaptatif)

Les auteurs de ce document proposent un nouveau système appelé Routage Hebbien Adaptatif. Au lieu d'un étudiant écrivant aveuglément des notes, ils ajoutent un Bibliothécaire Intelligent (un petit programme informatique léger appelé routeur MLP) sur le bureau.

Voici comment le Bibliothécaire aide :

Décide S'IL FAUT utiliser la note : Le Bibliothécaire examine les nouveaux exemples. Si les exemples sont déroutants, le Bibliothécaire peut dire : « N'utilise pas encore le post-it ; cela pourrait te perturber. » Si les exemples sont clairs, le Bibliothécaire dit : « Vas-y, utilise la note ! »
Décide de la FORCE de l'écriture : Le Bibliothécaire contrôle le stylo. Si la nouvelle information est très importante, le Bibliothécaire appuie fort pour rendre la note permanente pour l'examen. S'il s'agit d'un détail mineur, la note est écrite légèrement.
Décide de la DURÉE de conservation de la note : Le Bibliothéchière décide si la note doit rester sur le bureau pendant tout l'examen ou s'effacer rapidement.

En permettant au système de décider comment utiliser sa mémoire temporaire en fonction de la situation spécifique, l'ordinateur devient bien meilleur pour apprendre à partir d'un seul ou de quelques exemples.

Ce Qu'Ils Ont Testé

Les chercheurs ont testé ce « Bibliothécaire Intelligent » sur trois types différents de modèles de vision par ordinateur (appelés ViT, DeiT et Swin) en utilisant deux « livres d'examen » différents :

Omniglot : Un ensemble de données de caractères manuscrits provenant de nombreuses langues différentes (comme apprendre à reconnaître de nouveaux alphabets).
CIFAR-FS : Un ensemble de données d'objets courants comme des voitures, des chats et des avions.

Les Résultats

De Meilleures Notes : Dans presque tous les tests, les modèles avec le « Bibliothécaire Intelligent » ont obtenu des scores plus élevés que les modèles avec l'ancienne méthode du « post-it fixe ».
- Par exemple, sur le modèle Swin, la méthode fixe a obtenu un score de 96,74 %, mais la nouvelle méthode adaptative a obtenu 96,94 %.
Une Pensée Plus Rapide : Étonnamment, la nouvelle méthode était aussi plus rapide. Parce que le Bibliothécaire sait quand ne pas utiliser le post-it, l'ordinateur ne perd pas de temps à traiter des informations inutiles. Sur le modèle Swin, le temps de test est passé de 16,51 millisecondes à 14,05 millisecondes.
Réparer les Systèmes Défaillants : Pour certains modèles (ViT et DeiT), l'ancienne méthode du « post-it fixe » a en fait rendu leurs performances moins bonnes que s'ils n'avaient eu aucune note. Le « Bibliothécaire Intelligent » a corrigé cela, ramenant leurs performances à des niveaux élevés.

L'Essentiel

Ce document montre que donner une mémoire temporaire à un ordinateur est une excellente idée, mais que la manière dont cette mémoire est utilisée importe plus que le simple fait de l'avoir. En ajoutant un petit contrôleur intelligent qui décide quand se souvenir, avec quelle force se souvenir et combien de temps conserver la mémoire, les ordinateurs peuvent apprendre de nouvelles tâches visuelles beaucoup plus rapidement et plus précisément qu'auparavant.

Les auteurs concluent que ce « Routage Hebbien Adaptatif » est une façon plus efficace et plus puissante d'enseigner aux ordinateurs à apprendre à partir de très peu d'exemples.

Résumé Technique : Routage de Mémoire Hebbienne Adaptatif dans les Vision Transformers pour l'Apprentissage à Faible Échantillonnage (Few-Shot Learning)

Problématique

La reconnaissance d'images à faible échantillonnage nécessite que les modèles s'adaptent à de nouvelles classes en utilisant seulement un petit ensemble de support étiqueté. Les réseaux profonds standards reposent sur des « poids lents » qui restent fixes pendant l'inférence, ce qui rend difficile la formation de représentations spécifiques à la tâche pour chaque nouvel épisode. Bien que les Vision Transformers (ViT, DeiT, Swin) offrent une forte extraction de caractéristiques, ils sont largement statiques lors de l'inférence.

La mémoire à poids rapides de type Hebbien offre un mécanisme pour stocker des associations temporaires et spécifiques à la tâche dérivées de l'ensemble de support. Cependant, des travaux antérieurs ont démontré qu'un comportement de mémoire Hebbienne fixe (activation constante, force de mise à jour et rétention constantes) produit des résultats incohérents selon les architectures : cela améliore les Swin Transformers mais dégrade les performances de ViT et DeiT lorsqu'il est inséré de manière dense. De plus, il n'est pas clair si un comportement de mémoire unique et fixe est optimal pour chaque épisode de faible échantillonnage, ou si le chemin de la mémoire doit adapter son activation et sa plasticité en fonction de l'ensemble de support spécifique.

Méthodologie

Les auteurs proposent le Routage Hebbien Adaptatif, une approche légère qui rend le chemin de la mémoire Hebbienne « conditionné par l'épisode ». Au lieu d'appliquer des règles Hebbiennes fixes, la méthode utilise un routeur MLP (Perceptron Multicouche) léger pour contrôler dynamiquement trois aspects du mécanisme de mémoire en fonction des caractéristiques de l'ensemble de support actuel.

Composants Clés

Module de Mémoire à Poids Rapides Hebbien :
- Reçoit les représentations de jetons $X$ et les projette en clés ( $K$ ), valeurs ( $V$ ) et requêtes ( $Q$ ).
- Forme une mise à jour associative $A$ via le produit extérieur de $K$ et $V$ .
- Met à jour une matrice de mémoire à poids rapides $M$ en utilisant un facteur de décroissance $\lambda$ et un taux de plasticité $\eta$ : $M \leftarrow \lambda M + \eta A$ .
- La mémoire est lue via la représentation de la requête et ajoutée aux caractéristiques du backbone via une connexion résiduelle.
- La matrice de mémoire est réinitialisée au début de chaque épisode, garantissant qu'elle ne stocke que des associations temporaires.
Routeur MLP Adaptatif :
- Un routeur distinct et léger est attaché à des emplacements sélectionnés du backbone.
- Il ingère les caractéristiques de jetons de support moyennées par pooling ( $z_l$ ) d'une couche spécifique.
- Le routeur prédit trois valeurs de contrôle pour l'épisode :
  - Porte d'Activation Extérieure ( $g_l$ ) : Contrôle la contribution de la sortie de la mémoire à la représentation actuelle.
  - Taux de Plasticité ( $\eta_l$ ) : Contrôle la force d'écriture des nouvelles associations de l'ensemble de support.
  - Décroissance de la Mémoire ( $\lambda_l$ ) : Contrôle la rétention de la mémoire précédente pendant l'épisode.

Variantes Adaptatives Étudiées

L'article évalue trois configurations spécifiques pour isoler les effets de ces contrôles :

Placement Adaptatif : Seule la porte d'activation extérieure ( $g_l$ ) est apprise ; la plasticité et la décroissance restent des paramètres appris standards.
Plasticité Adaptative : Le chemin de la mémoire est pleinement actif, mais le routeur prédit le taux de plasticité ( $\eta_l$ ) et la décroissance ( $\lambda_l$ ) spécifiques à l'épisode.
Routage Hebbien Entièrement Adaptatif : Le routeur prédit les trois variables ( $g_l, \eta_l, \lambda_l$ ), permettant au modèle d'apprendre à la fois la force de contribution et la dynamique de mise à jour pour l'épisode spécifique.

Intégration au Backbone

ViT-Small & DeiT-Small : Les modules adaptatifs sont insérés de manière éparse après les blocs 3, 6, 9 et 12 (par opposition à l'insertion dense dans les baselines fixes).
Swin-Tiny : Une comparaison directe est effectuée où les variantes fixes et adaptatives utilisent le même emplacement de mémoire. Cela isole l'effet du contrôle adaptatif de celui de l'emplacement de la mémoire.

Contributions Clés

Proposition du Routage Hebbien Adaptatif : Une méthode utilisant un MLP léger pour contrôler l'activation de la mémoire, la force de plasticité et la rétention en fonction des caractéristiques de l'ensemble de support.
Analyse Désengagée : L'étude sépare les effets de l'activation de la mémoire (Placement Adaptatif) de la mise à jour de la mémoire spécifique à l'épisode (Plasticité Adaptative).
Comparaison d'Architecture Contrôlée : Une comparaison directe avec Swin où les variantes fixes et adaptatives partagent le même emplacement de mémoire, prouvant que les améliorations proviennent du contrôle adaptatif plutôt que du changement de localisation.
Gains d'Efficacité : Démonstration que le routage adaptatif peut réduire le temps d'inférence et le nombre de paramètres tout en améliorant la précision, notamment en évitant l'insertion dense fixe dans ViT/DeiT.

Résultats Expérimentaux

Datasets et Protocoles

Les expériences ont été menées sur Omniglot (entraîné à partir de zéro) et CIFAR-FS (affiné à partir de backbones pré-entraînés sur ImageNet). L'évaluation inclut des tâches de 5-way 1-shot, des évaluations multi-shot (1–10) et un transfert de domaine (CIFAR-FS $\to$ Omniglot).

Résultats de Performance

Omniglot (ViT/DeiT) : L'insertion Hebbienne fixe dense a considérablement dégradé les performances (chute de ~95,4 % à ~90 %). Les variantes adaptatives ont récupéré cette perte, le Routage Entièrement Adaptatif atteignant une précision légèrement supérieure (95,48 %) au modèle de base.
Omniglot (Swin) : Dans la comparaison contrôlée (même emplacement), l'Hebbien Fixe a amélioré le Swin de base de 96,14 % à 96,74 %. La Plasticité Adaptative a encore amélioré ce résultat à 96,92 %, et le Routage Entièrement Adaptatif a obtenu le meilleur résultat à 96,94 %. Cela confirme que la plasticité et la rétention adaptatives sont critiques même lorsque l'emplacement de la mémoire est optimal.
CIFAR-FS : Les variantes adaptatives ont surpassé les modèles de base et les baselines Hebbiennes fixes sur les trois backbones. Le ViT Entièrement Adaptatif a amélioré le modèle de plus de 16,01 points de pourcentage (88,59 % contre 72,58 %) par rapport à l'Hebbien Fixe.
Multi-Shot : Les bénéfices du routage adaptatif ont persisté à mesure que le nombre d'exemples de support passait de 1 à 10.
Transfert de Domaine : Les modèles Swin et DeiT adaptatifs ont montré une meilleure performance de transfert de CIFAR-FS vers Omniglot par rapport aux baselines fixes, bien que les résultats varient selon le backbone.

Efficacité

Paramètres : En utilisant une insertion éparse (4 emplacements) au lieu d'une insertion dense, les modèles ViT/DeiT adaptatifs ont réduit le nombre de paramètres de ~28,7M à ~24,0M.
Temps d'Inférence : Les variantes adaptatives étaient nettement plus rapides. Sur Omniglot, le Swin Entièrement Adaptatif a réduit le temps d'inférence de 16,51 ms (Fixe) à 14,05 ms. Sur CIFAR-FS, le ViT Entièrement Adaptatif a réduit le temps de 24,51 ms à 11,50 ms.

Signification et Revendications

L'article affirme que l'utilité de la mémoire Hebbienne dans l'apprentissage à faible échantillonnage n'est pas uniquement déterminée par où elle est insérée, mais de manière significative par la façon dont elle est contrôlée durant un épisode.

La Plasticité Adaptative est la Clé : La comparaison directe avec Swin démontre que même avec un emplacement de mémoire optimal connu, les règles de mise à jour fixes sont sous-optimales. Adapter le taux de plasticité et la décroissance de la mémoire à l'épisode spécifique produit des gains de précision mesurables.
Robustesse à travers les Architectures : Alors que la mémoire Hebbienne fixe dense nuit aux backbones de type Transformer plats (ViT/DeiT), le routage adaptatif récupère et dépasse la performance de base, suggérant que le contrôle de la mémoire conditionné par l'épisode est une stratégie plus robuste que l'insertion statique.
Efficacité : La méthode fournit un moyen sélectif et efficace d'utiliser la mémoire associative temporaire, atteignant des résultats de pointe en faible échantillonnage avec une surcharge de calcul réduite par rapport aux implémentations fixes denses.

Les auteurs concluent que la plasticité adaptative et l'activation adaptative de la mémoire permettent aux Vision Transformers de mieux représenter les tâches à faible échantillonnage que le comportement Hebbien fixe, sans encourir le coût d'un réentraînement complet du backbone.