🤖 AI

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN est un nouveau cadre d'apprentissage incrémental de classes pour CLIP qui exploite les LLM pour générer des descripteurs textuels hiérarchiques et les associe de manière adaptative à des représentations visuelles multi-niveaux, atteignant ainsi des performances de pointe en capturant mieux les distinctions fines et en atténuant l'oubli catastrophique.

Auteurs originaux : Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un bibliothécaire très intelligent et grand voyageur (l'IA) comment reconnaître de nouveaux animaux. Vous commencez par un Chat et un Chien. Le bibliothécaire apprend à les distinguer facilement.

Ensuite, vous introduisez un Loup. C'est délicat car un loup ressemble beaucoup à un chien. Si vous dites simplement au bibliothécaire : « Hé, souviens-toi qu'un loup a des oreilles pointues », et que vous le forcez à mettre à jour toute sa bibliothèque mentale d'un seul coup, il pourrait accidentellement fausser sa définition du « Chien ». Soudain, il pourrait commencer à penser qu'un Golden Retriever est un loup parce qu'il a ces oreilles pointues, et il pourrait oublier comment distinguer un chat d'un chien. C'est ce qu'on appelle l'Oubli Catastrophique — apprendre quelque chose de nouveau ruine ce que vous saviez déjà.

Ce document présente un nouveau système appelé HERMAN pour résoudre ce problème. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : L'erreur du « Taille Unique »

Les méthodes actuelles d'IA sont comme un bibliothécaire qui ne possède qu'une seule immense étagère désordonnée. Ils essaient de faire tenir la différence large entre « Chat » et « Chien » sur la même étagère que la minuscule différence entre « Chien » et « Loup ». Lorsqu'ils essaient d'ajouter les détails du « Loup », ils font accidentellement tomber les livres sur « Chat vs Chien ». Le système devient confus car il essaie de tout faire au même niveau de détail.

2. La Solution : Une Bibliothèque à Plusieurs Niveaux (Représentation Hiérarchique)

HERMAN change la structure de la bibliothèque. Au lieu d'une seule étagère désordonnée, il construit une hiérarchie à plusieurs niveaux :

L'Étagère du Haut (Niveau Grossier) : Elle contient les catégories larges et générales comme « Animal », « Véhicule » ou « Fruit ». Elle est très stable.
L'Étagère du Milieu : Elle contient des détails moyens comme « A des poils », « A des roues » ou « Est rouge ».
L'Étagère du Bas (Niveau Fin) : Elle contient des détails minuscules et spécifiques comme « Oreilles pointues », « Enjoliveurs rouillés » ou « Une petite tige ».

Comment HERMAN construit cela :
Au lieu de simplement demander au bibliothécaire : « Qu'est-ce qu'un Loup ? », HERMAN utilise un assistant très intelligent (un LLM) pour rédiger une liste complète de descriptions pour chaque animal, allant du plus général au plus spécifique.

Général : « C'est un canidé. »
Spécifique : « Il a un museau allongé et une fourrure épaisse. »

L'IA fait ensuite correspondre ces descriptions écrites à différentes couches de son propre « cerveau » (les couches visuelles). Les couches supérieures du cerveau regardent l'image globale, et les couches inférieures regardent les détails infimes. Cela permet de garder les règles « Chat vs Chien » en sécurité sur l'étagère du haut, tandis que les règles « Chien vs Loup » obtiennent leur propre espace spécifique sur l'étagère du bas.

3. Le Gestionnaire Intelligent : Le Routeur Adaptatif

Maintenant, comment l'IA sait-elle quelle étagère regarder ?

Si vous lui montrez une Voiture vs un Vélo, elle n'a besoin que de l'« Étagère du Haut » (roues vs pas de roues).
Si vous lui montrez un Moineau vs un Pinson, elle a besoin de l'« Étagère du Bas » (minuscules motifs de couleur).

HERMAN utilise un Gestionnaire Intelligent (Routeur). Ce gestionnaire regarde l'image et décide : « D'accord, pour cette photo spécifique, j'ai besoin d'écouter l'Étagère du Haut à 80 % et l'Étagère du Bas à 20 %. » Il ajuste dynamiquement le volume de chaque niveau de détail en fonction de ce qu'il regarde.

4. Le Filet de Sécurité : Mises à jour basées sur la Projection

Voici la partie délicate : lorsqu'un nouveau gestionnaire apprend une nouvelle règle pour une nouvelle tâche, comment s'assurer qu'il n'oublie pas les anciennes règles ?

Imaginez que le cerveau du Gestionnaire est une pièce remplie de meubles (connaissances).

Ancienne Méthode : Quand vous apportez de nouveaux meubles (nouvelles connaissances), vous les enfoncez simplement à l'intérieur, renversant les vieilles chaises.
La Méthode HERMAN : Avant d'apporter de nouveaux meubles, le Gestionnaire prend une « capture d'écran » de l'espace vide où se trouvent les vieilles chaises. Lors de l'ajout de nouvelles connaissances, il est contraint de faire entrer les nouveaux objets dans les espaces vides ou de les empiler de manière à ne pas toucher les vieilles chaises.

Techniquement, il s'agit d'une stratégie basée sur la projection. Elle garantit que le nouvel apprentissage se fait dans une direction qui est « orthogonale » (à angle droit) par rapport aux anciennes connaissances, de sorte que les anciennes connaissances restent parfaitement intactes.

Le Résultat

En organisant les connaissances en couches (hiérarchie), en utilisant un gestionnaire intelligent pour choisir le bon niveau de détail et en utilisant un filet de sécurité pour protéger les anciens souvenirs, HERMAN permet à l'IA d'apprendre de nouvelles classes (comme ajouter 100 nouveaux types de voitures ou d'oiseaux) sans oublier les anciennes.

Le papier affirme que cette méthode surpasse toutes les méthodes précédentes lors de tests standards, atteignant les meilleurs résultats (SOTA) pour maintenir l'IA intelligente et exempte d'oubli. Elle y parvient sans avoir besoin de stocker d'anciennes photos, simplement grâce à ces astuces mathématiques ingénieuses pour organiser la mémoire de l'IA.

Résumé Technique : HERMAN pour l'Apprentissage Incrémental de Classes

Énoncé du Problème

L'apprentissage incrémental de classes (Class-Incremental Learning - CIL) vise à acquérir continuellement de nouvelles classes tout en préservant les connaissances des catégories apprises précédemment. Un défi majeur dans ce contexte est l'oubli catastrophique, où l'apprentissage de nouvelles informations dégrade les performances sur les anciennes tâches. Bien que les approches récentes exploitent des modèles pré-entraînés comme CLIP pour fournir un alignement cross-modal et un savoir préalable solides, les méthodes existantes basées sur CLIP souffrent de deux limitations critiques :

Représentation de la connaissance fragile : La plupart des méthodes reposent sur un alignement grossier à un seul niveau entre la couche visuelle finale et des modèles textuels fixes (par exemple, « une photo de [CLASSE] »). Cela force les mises à jour fines (par exemple, distinguer un « loup » d'un « chien ») à s'insérer dans le même espace sémantique utilisé pour les séparations grossières (par exemple, « canidé » vs « félin »). Par conséquent, les mises à jour de nouveaux détails peuvent involontairement déplacer les frontières de décision, dégradant les performances sur les anciennes classes.
Sous-utilisation de la sémantique hiérarchique : Les encodeurs de vision et de texte de CLIP capturent intrinsèquement des caractéristiques et des descripteurs à plusieurs niveaux, allant des concepts grossiers aux attributs fins. Cependant, les méthodes existantes ignorent généralement ces représentations intermédiaires, se concentrant uniquement sur la couche finale.

Méthodologie : HERMAN

Les auteurs proposent HERMAN (HiErarchical Representation MAtchiNg), un cadre conçu pour structurer, aligner et router de manière adaptative la sémantique hiérarchique au sein du CIL basé sur CLIP. La méthode se compose de trois composantes clés :

1. Appariement de Représentation Hiérarchique

Au lieu d'utiliser un seul prompt fixe, HERMAN exploite des Grands Modèles de Langage (LLM) pour générer un ensemble de $M$ descripteurs textuels pour chaque classe, couvrant des indices d'identité grossiers aux détails visuels fins.

Génération Textuelle : Pour une classe $i$ , un LLM génère de manière récursive des descripteurs $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ . Par exemple, pour « Aston Martin Virage », les descripteurs vont de « voiture de sport » (grossier) à « panneaux latéraux sculptés » (fin).
Alignement Multi-niveaux : Ces descripteurs sont encodés via l'encodeur de texte de CLIP pour former un espace textuel hiérarchique. Le modèle aligne explicitement ces plongements (embeddings) textuels avec les couches visuelles intermédiaires de l'encodeur de vision de CLIP (et pas seulement la couche finale).
Agrégation Top-K : Pour réduire le bruit, le modèle sélectionne les $K$ descripteurs les plus alignés pour chaque couche visuelle et les agrège en un plongement textuel compact $h_i^b$ pour la couche $b$ .

2. Routage Hiérarchique Adaptatif

Reconnaissant que l'importance des différents niveaux hiérarchiques varie selon l'entrée et la tâche, HERMAN introduit un routeur adaptatif conditionné par l'entrée.

Pondération Dynamique : Une couche linéaire légère génère des poids non négatifs $\beta_i$ basés sur la représentation visuelle finale. Ces poids équilibrent dynamiquement les contributions des plongements textuels hiérarchiques agrégés provenant de différentes couches pour former la représentation finale $\tilde{h}_i$ .
Mise à jour par Projection (Anti-Oubli) : Pour empêcher le routeur d'oublier les politiques apprises pour les tâches précédentes, les poids du routeur sont mis à jour à l'aide d'une stratégie basée sur la projection.
- La matrice de poids $W_r$ est décomposée via la Décomposition en Valeurs Singulières (SVD).
- Une matrice de projection $P_{old}$ est construite pour préserver le sous-espace contenant les schémas de routage des tâches précédentes.
- Les nouvelles mises à jour sont décomposées en composantes au sein de ce sous-espace préservé (stabilité) et en directions orthogonales (plasticité). La mise à jour finale combine ces éléments pour s'adapter aux nouvelles tâches sans perturber les connaissances établies.

3. Appariement Cross-Modal et Entraînement

Le cadre utilise un adaptateur visuel léger et un objectif contrastif.

Plongements Mixtes : La prédiction finale utilise une interpolation convexe du plongement hiérarchique agrégé $\tilde{h}_i$ et du plongement du modèle standard $e_i$ , contrôlée par un facteur $\lambda$ .
Rejeu Génératif : Pour atténuer davantage l'oubli sans stocker d'images brutes, la méthode utilise un rejeu génératif au niveau des caractéristiques. Elle modélise la distribution du jeton visuel final ( $x_{cls}^B$ ) pour chaque classe comme une distribution gaussienne, échantillonnant des pseudo-caractéristiques lors de l'entraînement incrémental pour stabiliser les connaissances passées.

Contributions Clés

Structuration Sémantique Hiérarchique : Le papier introduit une méthode pour générer et aligner des descripteurs textuels multi-niveaux avec des caractéristiques visuelles intermédiaires, allant au-delà de l'alignement à couche unique pour créer un espace sémantique structuré.
Mécanisme de Routage Adaptatif : Un nouveau routeur équilibre dynamiquement les contributions hiérarchiques par instance, permettant au modèle de prioriser les indices grossiers ou fins selon les besoins.
Adaptation Continue par Projection : Une stratégie de mise à jour basée sur la projection pour le routeur garantit que l'apprentissage de nouvelles tâches n'écrase pas les politiques de routage essentielles pour les anciennes tâches, atténuant efficacement l'oubli catastrophique.
Performance de l'État de l'Art : L'intégration de ces composantes aboutit à un cadre qui améliore la discrimination et la robustesse dans les scénarios d'apprentissage continu.

Résultats Expérimentaux

Les auteurs ont évalué HERMAN sur neuf ensembles de données de référence (incluant CIFAR100, ImageNet-R, CUB200, StanfordCars et SUN397) sous diverses configurations incrémentales (ex: Base0 Inc10, Base50 Inc10).

Performance : HERMAN surpasse systématiquement les méthodes de l'état de l'art (notamment L2P, DualPrompt, CODA-Prompt, RAPF et PROOF) de 1 % à 5 % en termes de précision moyenne ( $\bar{A}$ ) et de précision finale ( $A_B$ ).
Robustesse : La méthode démontre une stabilité à travers différentes graines aléatoires pour le partitionnement des classes et reste robuste aux variations des hyperparamètres (ex: nombre de descripteurs Top-K, facteur de mélange $\lambda$ , et paramètres de projection $\delta, \rho$ ).
Efficacité : HERMAN nécessite moins de temps d'entraînement que les méthodes concurrentes tout en maintenant une performance supérieure, ce qui le rend efficace sur le plan computationnel pour les tâches à grande échelle.
Études d'Ablation : Les expériences confirment que chaque composante (descripteurs LLM, routeur adaptatif et mises à jour par projection) contribue positivement à la performance finale. Le mécanisme de projection montre spécifiquement qu'il maintient une similitude cosinus élevée entre les plongements visuels et textuels des anciennes classes au fil du temps, contrairement aux méthodes sans projection qui souffrent d'une dégradation rapide.

Signification et Revendications

Le papier affirme que HERMAN traite la fragilité fondamentale des méthodes CIL basées sur CLIP existantes en découplant l'apprentissage à travers les granularités sémantiques. En isolant les mises à jour fines à des niveaux spécifiques de la hiérarchie tout en ancrant les séparations grossières, la méthode empêche les déplacements destructeurs des frontières. Les auteurs soutiennent que leur approche exploite efficacement la capacité hiérarchique inhérente des modèles pré-entraînés, les transformant en apprenants continus plus robustes capables de s'adapter à de nouvelles catégories sans oublier les connaissances antérieures. Ce travail souligne le potentiel de combiner la richesse sémantique générée par les LLM avec un alignement structuré et adaptatif dans les modèles de vision-langage.