CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

1. Problématique : L'Oubli Catastrophique et l'Interprétabilité

Le papier aborde un défi majeur en apprentissage automatique : l'Apprentissage Continu (Continual Learning), et plus spécifiquement le Apprentissage Incrémental de Classes (Class Incremental Learning - CIL).

• Le Défi CIL : Le modèle doit apprendre de nouvelles classes de données séquentiellement sans avoir accès aux données des phases précédentes (Exemplar-Free). Le problème central est l'oubli catastrophique, où l'apprentissage de nouvelles tâches dégrade les performances sur les tâches anciennes.
• Le Dilemme Interprétabilité-Performance : Les méthodes actuelles pour résoudre l'oubli catastrophique (comme la distillation de connaissances ou les méthodes de réentraînement) sacrifient souvent l'interprétabilité du modèle, le rendant une "boîte noire". À l'inverse, les modèles interprétables (comme les Concept Bottleneck Models ou CBM) souffrent généralement d'une baisse de performance significative en CIL par rapport aux modèles non interprétables.
• Objectif : Développer un modèle qui soit à la fois hautement performant (compétitif avec les modèles "boîte noire") et intrinsèquement interprétable (basé sur des concepts humains compréhensibles) dans un scénario d'apprentissage incrémental sans stockage de données passées.

2. Méthodologie : CI-CBM

Les auteurs proposent CI-CBM (Class-Incremental Concept Bottleneck Model), une extension du modèle CBM standard adaptée au CIL. L'architecture repose sur trois modules clés pour gérer l'expansion des concepts et prévenir l'oubli :

A. Expansion Curatée de l'Ensemble de Concepts

• À chaque nouvelle phase, de nouveaux concepts sont générés automatiquement pour les nouvelles classes en utilisant un LLM (GPT-3).
• Un processus de filtrage rigoureux (similitude cosinus avec les noms de classes existantes et les concepts déjà appris) assure que seuls des concepts uniques sont ajoutés, évitant la redondance et la fragmentation des explications.

B. Apprentissage du Goulot d'Étranglement de Concepts avec Distillation (Prévention du Drift)

• Le cœur du problème en CIL est que l'ajustement des poids pour les nouveaux concepts peut altérer la fonctionnalité des concepts appris précédemment (drift conceptuel).
• Solution : CI-CBM utilise une fonction de perte de distillation. Lors de l'entraînement de la couche de goulot d'étranglement ($W_C^t$) sur les nouvelles données, le modèle est régularisé pour que les activations des concepts anciens restent proches de celles produites par le modèle de la phase précédente ($W_C^{t-1}$).
• Cela permet d'adapter le modèle aux nouvelles classes tout en préservant la sémantique des concepts appris antérieurement.

C. Génération de Pseudo-Concepts et Adaptation Dynamique de la Couche de Prédiction

• Pour entraîner la couche de prédiction finale (sparse predictor) sans accès aux données des anciennes classes, CI-CBM génère des pseudo-features et des pseudo-concepts.
• Mécanisme :
  1. On identifie la nouvelle classe la plus proche (en termes de similarité cosinus des centroïdes dans l'espace de caractéristiques) pour chaque ancienne classe.
  2. On génère des pseudo-features pour les anciennes classes en déplaçant la distribution de la nouvelle classe vers le centroïde de l'ancienne classe : $\hat{f}(c_{old}) = f(c_{new}) - \mu(c_{new}) + \mu(c_{old})$.
  3. Ces pseudo-features sont projetées dans l'espace des concepts via la couche de goulot d'étranglement mise à jour pour obtenir des pseudo-concepts.
• Entraînement : La couche de prédiction est entraînée en utilisant les concepts réels pour les nouvelles classes et les pseudo-concepts pour les anciennes classes. Cela permet au classifieur de maintenir une séparation globale entre toutes les classes vues, même sans données réelles passées.

3. Contributions Clés

1. Premier modèle interprétable robuste en CIL : CI-CBM est présenté comme le premier modèle CIL interprétable démontrant une robustesse à la fois dans des scénarios avec pré-entraînement (backbone ImageNet) et sans pré-entraînement (entraînement de zéro).
2. Performances supérieures : Le modèle comble l'écart de performance entre les approches interprétables et les modèles "boîte noire". Il surpasse les méthodes interprétables précédentes (ICICLE, IN2, CONCIL) avec un gain moyen de 36 % en précision.
3. Techniques innovantes :
   • Régularisation des concepts : Pour empêcher la perte de fonctionnalité des concepts appris.
   • Génération de pseudo-concepts : Pour permettre l'entraînement du classifieur sur les anciennes classes sans stockage de données (Exemplar-Free).
4. Analyse de l'interprétabilité : Le papier démontre que le modèle maintient des règles de décision globales compréhensibles et fournit des explications locales cohérentes à travers les phases, en adaptant dynamiquement les concepts positifs et négatifs (ex: "NOT a red crest").

4. Résultats Expérimentaux

Les auteurs ont évalué CI-CBM sur sept jeux de données (CIFAR-10/100, CUB, TinyImageNet, ImageNet-Subset, Places365) avec différents backbones (ResNet-18, DeiT, ViT).

• Comparaison avec d'autres modèles interprétables : CI-CBM surpasse largement les méthodes de l'état de l'art (ICICLE, IN2, CONCIL, CLG-CBM). Par exemple, sur CIFAR-100, il atteint ~68 % de précision contre ~17-44 % pour les autres méthodes interprétables.
• Comparaison avec les modèles "Boîte Noire" (Non-Interprétables) :
  • Dans un scénario sans pré-entraînement (entraînement du backbone sur la première phase uniquement), CI-CBM atteint des performances comparables aux meilleurs modèles non interprétables (comme FeTrIL, PASS, SSRE), avec un écart de précision minime (environ 7,5 %).
  • Sur des backbones pré-entraînés (ViT), il rivalise avec les méthodes SOTA (SAFE, SimpleCIL) tout en restant interprétable.
• Robustesse : Le modèle maintient sa précision même lorsque le nombre de phases augmente (jusqu'à 20 phases), là où d'autres méthodes interprétables s'effondrent.
• Études d'ablation : Elles confirment que la combinaison de la régularisation des concepts et de la génération de pseudo-concepts est essentielle. Sans pseudo-concepts, la précision des anciennes classes chute à zéro.

5. Signification et Impact

Ce travail est significatif car il résout le compromis traditionnel entre interprétabilité et performance dans l'apprentissage continu.

• Pratique : Il rend possible le déploiement de modèles IA interprétables dans des environnements réels où les données arrivent en flux continu et où la confidentialité (interdiction de stocker les anciennes données) est cruciale.
• Scientifique : Il prouve que l'apprentissage de concepts humains compréhensibles n'est pas incompatible avec l'acquisition de nouvelles connaissances complexes, à condition d'utiliser des mécanismes de régularisation et de reconstruction de données (pseudo-concepts) adaptés.
• Transparence : En fournissant des explications basées sur des concepts (ex: "a blue head", "NOT a red breast"), CI-CBM permet de détecter les biais et de comprendre les erreurs du modèle à chaque étape de son apprentissage, ce qui est vital pour des domaines sensibles comme la santé ou la robotique.

En résumé, CI-CBM établit une nouvelle référence pour l'apprentissage incrémental interprétable, démontrant qu'il est possible d'apprendre continuellement sans oublier, tout en restant transparent pour l'humain.