Résumé Technique : ComMem – Systèmes de Mémoire Complémentaires pour l'Adaptation au Moment de l'Inférence des Modèles Vision-Langage

Énoncé du Problème

Les modèles vision-langage (VLM), tels que CLIP, font preuve d'une forte capacité de généralisation zero-shot mais souffrent souvent d'une dégradation significative des performances lors de leur déploiement dans des environnements réels où les distributions de données au moment de l'inférence divergent des distributions d'entraînement. Les méthodes existantes d'adaptation au moment de l'inférence (Test-Time Adaptation ou TTA) font face à deux limitations principales :

1. Manque d'accumulation temporelle : De nombreuses méthodes (par exemple, TPT) fonctionnent de manière « amnésique », s'adaptant à chaque échantillon indépendamment sans conserver l'expérience au fil du temps.
2. Restriction à une seule modalité : Les approches avancées basées sur la mémoire s'adaptent souvent au sein d'une seule modalité (soit par le réglage de prompts textuels, soit par la mise en cache de caractéristiques visuelles) sans exploiter la nature intrinsèquement multimodale des VLM. Cela échoue à équilibrer la dynamique complémentaire de l'apprentissage rapide (plastique) et lent (stable), limitant la capacité à s'adapter aux nouveaux indices tout en préservant la robustesse pré-entraînée.

Méthodologie : ComMem

Inspiré par la théorie des systèmes de mémoire complémentaire en neurosciences (McClelland et al., 1995 ; Tonegawa et al., 2018), qui postule une synergie fonctionnelle entre l'hippocampe (HPC) pour l'apprentissage épisodique rapide et le néocortex (NC) pour l'intégration sémantique lente, les auteurs proposent ComMem. Ce cadre opérationnalise ces distinctes dynamiques d'apprentissage pour les VLM à travers deux composants clés :

1. Architecture à Double Mémoire

• Mémoire Détaillée à Adaptation Rapide (type HPC) :
  • Fonction : Stocker et mettre à jour rapidement les caractéristiques visuelles à haute confiance provenant du flux de données de test pour permettre une adaptation rapide à des instances spécifiques.
  • Mécanisme : Maintient un cache épisodique d'instances visuelles conditionnelles aux classes (paires caractéristiques-entropie). Il utilise un processus d'encodage guidé par l'entropie pour sélectionner des vues augmentées fiables.
  • Règle de Mise à Jour : Emploie une stratégie de mise à jour « rapide » où les nouvelles caractéristiques à haute confiance remplacent les entrées à faible confiance. Avant le remplacement, la nouvelle caractéristique est fusionnée avec le prototype de classe pour former une représentation robuste.
• Mémoire Abstraite à Intégration Lente (type NC) :
  • Fonction : Représenter des connaissances sémantiques stables et généralisées (prototypes textuels globaux) qui évoluent graduellement.
  • Mécanisme : Composée de prototypes textuels globaux ($P_t$) dérivés des connaissances pré-entraînées.
  • Règle de Mise à Jour : Emploie une stratégie de mise à jour « lente » (fusion pondérée avec un faible taux $\lambda_{nc}$) déclenchée uniquement lorsque la prédiction finale est suffisamment confiante. Cela imite la consolidation des systèmes, assurant la stabilité et empêvant l'oubli catastrophique.

2. Optimisation Conjointe via la Reconsolidation

Pour chaque échantillon de test entrant, ComMem simule une reconsolidation de la mémoire en optimisant conjointement les deux systèmes de mémoire pour imposer une cohérence cross-modale :

• Paramètres Apprenables :
  • Résidus Visuels ($\delta_v$) : Ajoutés aux prototypes visuels (système HPC) pour une adaptation rapide et spécifique à l'instance.
  • Résidus Textuels ($\delta_t$) : Ajoutés aux prototypes textuels globaux (système NC) pour une classification locale adaptée au contexte.
  • Couches de Normalisation ($\theta_n$) : Affinées au sein de l'encodeur visuel pour l'adaptation des caractéristiques de bas niveau (système NC).
• Intégration de la Prédiction : La prédiction finale combine les sorties des deux systèmes, pondérées par une fonction d'affinité qui équilibre de manière adaptative la contribution de la mémoire détaillée.
• Fonction de Perte : Les paramètres sont optimisés en une seule étape de gradient à l'aide d'une perte composite :
  • Minimisation de l'Entropie ($L_{ent}$) : Réduit l'incertitude de la prédiction.
  • Cohérence Inter-Mémoire ($L_{align}$) : Aligne les prototypes visuels et textuels en utilisant une perte InfoNCE symétrique pour assurer la cohérence entre les représentations HPC et NC.
  • Codage Sparse Intra-Mémoire ($L_{sparse}$) : Pénalise la redondance des prototypes au sein de chaque système de mémoire pour minimiser le chevauchement représentationnel.

Principales Contributions

1. Cadre Inspiré du Cerveau : Introduit ComMem, la première approche qui opérationnalise les distinctes dynamiques d'apprentissage rapide (HPC) et lent (NC) des systèmes de mémoire complémentaire pour la TTA des VLM.
2. Mécanisme Synergique : Conçoit un système à double mémoire où un cache détaillé à mise à jour rapide et une mémoire abstraite à consolidation lente sont optimisés conjointement via un processus de reconsolidation pour assurer la cohérence cross-modale.
3. Performance de l'État de l'Art : Démontre des améliorations significatives par rapport aux méthodes existantes sur 15 jeux de données de référence sous des changements de distribution naturelle et des scénarios de généralisation cross-dataset.

Résultats Expérimentaux

Les auteurs ont évalué ComMem sur 15 jeux de données, incluant des variantes d'ImageNet (ImageNet-A, R, S, OOD) et 10 benchmarks diversifiés de type cross-dataset (ex: Aircraft, Cars, DTD, Flowers).

• Changements de Distribution Naturelle (ImageNet-OOD) :
  • En utilisant ResNet-50, ComMem a atteint un nouvel état de l'art de précision OOD moyenne de 48,84 %, surpassant le précédent meilleur (DPE) de 1,18 %.
  • En utilisant ViT-B/16, ComMem a atteint 65,36 % de précision OOD moyenne, surpassant toutes les méthodes concurrentes.
• Généralisation Cross-Dataset :
  • ComMem a obtenu la précision moyenne la plus élevée sur 10 jeux de données divers : 64,60 % (ResNet-50) et 70,74 % (ViT-B/16), surpassant de solides bases comme DMN-ZS et DPE.
• Efficacité :
  • ComMem a traité 50 000 échantillons ImageNet en environ 1,5 heure, ce qui est nettement plus rapide que les méthodes de prompt-tuning comme TPT (>15 heures) tout en offrant des gains de précision substantiellement plus élevés (+4,24 % par rapport à CLIP zero-shot contre +0,93 % pour TPT).
• Études d'Ablation :
  • A confirmé que la combinaison synergique des deux systèmes de mémoire, de l'alignement de cohérence et du codage sparse est critique.
  • A validé que des taux d'apprentissage distincts sont optimaux : les couches de normalisation (NC) nécessitent de faibles taux d'apprentissage ($10^{-6} \sim 10^{-5}$) pour la stabilité, tandis que les couches résiduelles (HPC) nécessitent des taux plus élevés ($10^{-4}$) pour une adaptation rapide.
  • A montré qu'une capacité de cache HPC modérée (K=3 à 5) équilibre flexibilité et stabilité.

Signification et Revendications

L'article affirme que ComMem offre une direction prometteuse pour améliorer l'adaptabilité pratique des VLM dans des environnements dynamiques. En imitant les mécanismes biologiques de consolidation et de reconsolidation des systèmes, la méthode parvient à équilibrer le compromis entre l'adaptation rapide aux variations spécifiques au domaine et la stabilité contre l'oubli catastrophique. Les auteurs soutiennent que leur approche non seulement établit de nouveaux records en matière de robustesse et de généralisation, mais y parvient également avec un profil d'efficacité computationnelle favorable par rapport aux méthodes de prompt-tuning existantes. Le travail souligne le potentiel des analogues neuro-computationnels pour résoudre le défi de l'adaptation au moment de l'inférence pour les modèles multimodaux.