From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning

Cet article propose le SAEF, une méthode qui organise des adaptateurs pré-entraînés en une forêt d'experts hiérarchisée et sémantiquement guidée pour améliorer le partage des connaissances et atteindre des performances de pointe en apprentissage incrémental de classes.

L'essentiel

Imaginez que vous apprenez de nouvelles choses tout au long de votre vie, mais que votre cerveau a une capacité de stockage limitée et qu'il oublie facilement le passé quand il apprend le présent. C'est le défi de l'apprentissage incrémentiel de classes (CIL).

Le Problème : Une bibliothèque en désordre

Jusqu'à présent, la méthode la plus populaire pour résoudre ce problème avec les intelligences artificielles (IA) fonctionnait comme ceci :

• On prend un cerveau d'IA très intelligent (un modèle pré-entraîné).
• Chaque fois qu'on lui apprend une nouvelle chose (par exemple, reconnaître des "chiens"), on lui accroche un petit module spécial, comme un post-it ou une étiquette (appelé "adaptateur").
• Pour reconnaître un "chat", on accroche un autre post-it.

Le souci ? Imaginez une bibliothèque où vous empilez des milliers de post-it les uns sur les autres sans aucun classement. Si vous voulez trouver l'information sur les "animaux", vous devez lire tous les post-it un par un, du premier au dernier, pour voir lequel s'applique. C'est lent, inefficace, et cela ne permet pas de voir les liens entre les choses (par exemple, que le "chien" et le "chat" sont tous deux des animaux).

La Solution : La Forêt d'Experts (SAEF)

Les auteurs de cet article proposent une méthode géniale appelée SAEF. Au lieu de laisser les post-it en vrac, ils les organisent en une forêt intelligente.

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. Le Tri par Catégories (Le Clustering Conceptuel)

Imaginez que vous avez reçu 100 nouveaux livres à ranger. Au lieu de les empiler au hasard, vous commencez par les trier par grands thèmes : "Animaux", "Véhicules", "Histoire", etc.

• Dans la méthode SAEF : L'IA regarde les nouvelles tâches et les regroupe automatiquement par "famille" sémantique. Elle sait que les tâches "chien" et "chat" vont ensemble dans le groupe "Animaux", tandis que "voiture" et "camion" vont dans "Véhicules".

2. La Construction de l'Arbre (La Hiérarchie)

Une fois les livres triés par famille, on ne les laisse pas en vrac. On crée des arbres à l'intérieur de chaque famille.

• L'analogie : Dans le groupe "Animaux", on prend le livre sur le "chien" et celui sur le "chat". On les fusionne pour créer un "Expert Animalier" qui connaît les deux. Ensuite, on fusionne cet expert avec un expert "Oiseau" pour créer un "Expert Mammifère/Oiseau" plus général.
• Le résultat : On obtient une structure en arbre (comme un arbre généalogique). En bas, il y a des experts très précis (pour un seul animal). En haut, il y a des experts plus généraux (pour tous les animaux).

3. La Recherche Adaptative (L'Inference)

C'est ici que la magie opère. Quand l'IA reçoit une nouvelle image (par exemple, un chien), elle ne lit pas tous les post-it.

• L'analogie : C'est comme un jeu de "Qui veut gagner des millions ?" ou un labyrinthe.
  1. L'IA commence tout en haut de l'arbre (l'expert général "Animaux").
  2. Elle se demande : "Est-ce que je suis sûr que c'est un animal ?" Si oui, elle descend vers la branche "Mammifères".
  3. Elle se demande : "Est-ce que c'est un chien ou un chat ?" Si elle est très sûre, elle s'arrête là. Si elle hésite, elle descend un peu plus bas vers l'expert "Chien".
• Le gain : Elle ne consulte que les experts nécessaires. C'est comme chercher un livre dans une bibliothèque bien rangée : vous ne parcourez pas tout le bâtiment, vous allez directement au rayon "Animaux", puis à la section "Chiens".

Pourquoi c'est génial ?

1. C'est plus rapide : Comme l'IA ne consulte que quelques experts (ceux sur le chemin qu'elle a choisi), elle est beaucoup plus rapide que les anciennes méthodes qui devaient tout vérifier.
2. C'est plus intelligent : En fusionnant les connaissances (par exemple, en créant un expert "Animaux" qui combine le chien et le chat), l'IA comprend mieux les liens entre les choses. Elle ne voit pas le chien et le chat comme deux mondes séparés, mais comme des cousins.
3. Elle n'oublie rien : En gardant cette structure organisée, l'IA peut apprendre de nouvelles choses sans effacer les anciennes, car chaque nouvelle connaissance a sa propre place dans la forêt.

En résumé

Au lieu de jeter des milliers de notes en vrac dans un tiroir (la méthode ancienne), les auteurs ont construit une bibliothèque vivante et hiérarchisée.

• Ils classement les connaissances par familles.
• Ils fusionnent les connaissances similaires pour créer des experts de plus en plus généraux.
• Ils parcourent intelligemment cette forêt pour trouver la réponse la plus rapide et la plus précise.

C'est une façon élégante de dire à l'IA : "Ne sois pas un simple accumulateur de données, sois un organisateur qui comprend les liens entre les choses !"

Résumé technique

1. Problématique : L'Apprentissage Incrémental de Classes (CIL)

L'objectif de l'Apprentissage Incrémental de Classes (CIL) est de permettre à un modèle d'apprendre continuellement de nouvelles classes de données sans oublier les connaissances acquises sur les tâches précédentes (un phénomène connu sous le nom d'oubli catastrophique).

Dans le contexte moderne, les méthodes basées sur les Modèles Pré-entraînés (PTM) et le Fine-Tuning Efficace en Paramètres (PEFT), comme l'utilisation d'adapters (petits modules insérés dans le réseau), sont devenues dominantes. La stratégie courante consiste à entraîner un adapter léger et isolé pour chaque nouvelle tâche tout en gelant le backbone du modèle pré-entraîné.

Limites de l'approche actuelle :
Bien que cette méthode préserve les connaissances anciennes, elle traite l'ensemble des adapters appris comme une collection non structurée et plate.

• Manque de structure : Les relations sémantiques entre les tâches (par exemple, la similarité entre "chien" et "chat") sont ignorées.
• Inférence inefficace : Lors de la prédiction, les méthodes existantes doivent souvent consulter l'ensemble des adapters (ou en sélectionner un de manière aléatoire/naïve), ce qui est coûteux en calcul et ne permet pas un transfert de connaissances ciblé.
• Bruit : Traiter toutes les connaissances passées comme également pertinentes pour une nouvelle entrée introduit du bruit et réduit la précision.

2. Méthodologie : SAEF (Semantic-guided Adaptive Expert Forest)

Les auteurs proposent SAEF, une méthode qui transforme la collection d'adapters isolés en une forêt d'experts hiérarchisée et sémantique. Cette approche organise les connaissances de manière structurée pour faciliter un partage sélectif et efficace.

Le processus se déroule en trois étapes principales :

A. Regroupement Conceptuel (Conceptual Clustering)

Avant de construire la hiérarchie, SAEF regroupe les tâches en clusters conceptuels cohérents.

• Prototypes Sémantiques : Pour chaque tâche, un prototype sémantique est généré en utilisant un encodeur de texte gelé (CLIP) sur les noms des classes (ex: "une photo de [CLASSE]").
• Prototypes Visuels : Des prototypes visuels sont extraits du modèle pré-entraîné (ViT) en utilisant l'adapter de la première tâche pour combler l'écart de domaine.
• Clustering : Un algorithme K-Means est appliqué sur les prototypes sémantiques pour partitionner les tâches en $K$ clusters (ex: un cluster "Animaux", un cluster "Véhicules"). Le nombre optimal de clusters est déterminé automatiquement via le score de silhouette.

B. Construction Hiérarchique (Hierarchical Construction)

Au sein de chaque cluster, une arbre d'experts équilibré est construit de manière ascendante (bottom-up) :

1. Fusion d'adapters : Les deux adapters (ou nœuds) les plus similaires visuellement (mesurée par la similarité cosinus de leurs prototypes) sont fusionnés pour créer un nouveau nœud parent.
2. Opération de fusion : Les paramètres des adapters enfants sont fusionnés via une opération vectorielle qui préserve le signal dominant :
   $$\theta_p \leftarrow \text{sign}(\theta_i + \theta_j) \odot \max(|\theta_i|, |\theta_j|)$$
3. Itération : Ce processus se répète jusqu'à ce qu'un seul nœud racine subsiste pour chaque cluster.
4. Expert Global : Les racines de tous les arbres de clusters sont finalement fusionnées pour former un Expert Global, servant de point d'entrée unique.

C. Inférence Adaptative (Adaptive Inference)

Lors de la prédiction sur une nouvelle image, SAEF n'active pas tous les adapters.

• Recherche de chemin : Pour chaque arbre de la forêt, le modèle effectue une recherche parallèle depuis la racine vers les feuilles. À chaque nœud, il choisit l'enfant qui présente la plus faible entropie (plus grande confiance) pour l'entrée donnée.
• Fusion guidée par l'entropie : L'ensemble des experts activés (la racine globale + les chemins trouvés dans chaque arbre) est utilisé pour la prédiction finale.
• Pondération : Les prédictions sont fusionnées en pondérant la sortie de chaque expert par sa confiance (inverse de l'entropie), normalisée par une température $\tau$.

3. Contributions Clés

1. SAEF : Une nouvelle méthode qui organise automatiquement des adapters de tâches isolés en une hiérarchie sémantique structurée, passant d'une approche "isolée" à une approche "intégrée".
2. Stratégie d'inférence dynamique : Un mécanisme de recherche multi-chemins et de fusion guidée par l'entropie qui permet d'activer uniquement les experts les plus pertinents, garantissant des prédictions robustes tout en réduisant la complexité computationnelle.
3. Performance SOTA : Des résultats expérimentaux démontrant que SAEF surpasse les méthodes de l'état de l'art (SOTA) sur plusieurs benchmarks, avec des gains d'exactitude significatifs, tout en restant efficace en termes de temps d'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks majeurs : CIFAR-100, ImageNet-R, ImageNet-A et ObjectNet, dans un cadre sans exemples (exemplar-free).

• Performance Globale : SAEF obtient les meilleures performances sur tous les benchmarks. Sur ImageNet-R, il atteint une exactitude moyenne de 84,54 %, surpassant le meilleur concurrent (SSIAT) de 1,34 %.
• Comparaison avec les méthodes à base de répétition (Rehearsal) : Bien que SAEF n'utilise aucun exemple ancien (contrairement aux méthodes comme iCaRL ou FOSTER qui stockent des échantillons), il surpasse ces méthodes. Par exemple, sur ObjectNet, SAEF dépasse FOSTER de 7,3 %.
• Efficacité d'inférence : Grâce à la structure arborescente et au mécanisme de sortie précoce (early exit), SAEF réduit considérablement le temps d'inférence. Par rapport à une méthode "plate" qui interroge tous les adapters, SAEF offre un accélération théorique d'environ 6x avec une perte de précision négligeable (< 0,3 %).
• Robustesse : Des analyses de sensibilité montrent que la méthode est stable face aux variations de l'ordre des tâches et aux hyperparamètres (comme la température de fusion).

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'apprentissage incrémental basé sur les modèles pré-entraînés :

• De l'Isolation à l'Intégration : Il démontre que les connaissances apprises ne doivent pas être stockées comme des blocs isolés, mais doivent être organisées selon une hiérarchie sémantique pour un transfert de connaissances optimal.
• Évolutivité : La structure de forêt permet une évolutivité supérieure pour les séquences d'apprentissage longues, évitant la dégradation des performances observée dans les méthodes plates.
• Déploiement Pratique : En combinant une haute précision avec une inférence rapide et une faible consommation de mémoire (pas de stockage d'exemples), SAEF est particulièrement adapté aux applications réelles contraintes par les ressources (appareils embarqués, robots).

En résumé, SAEF résout le compromis entre la rétention des connaissances, la précision et l'efficacité computationnelle en introduisant une architecture d'experts adaptatifs et hiérarchisés, prouvant que la structure sémantique est aussi importante que la capacité d'apprentissage elle-même.