CLIP-Free, Label Free, Unsupervised Concept Bottleneck Models

Cette présentation propose U-F²-CBM, une méthode novatrice qui transforme n'importe quel classificateur visuel figé en un Modèle à Bouteille de Concepts sans nécessiter de CLIP, d'annotations d'images ou de labels, surpassant ainsi les méthodes supervisées existantes tout en préservant les performances et la capacité d'interprétation du modèle.

L'essentiel

Imaginez que vous avez un chef cuisinier génial (un modèle d'intelligence artificielle) qui peut identifier n'importe quel plat sur une photo avec une précision incroyable. Le problème ? Ce chef est un mystique. Il vous dit : "C'est un curry", mais il ne peut pas vous expliquer pourquoi. Il ne voit pas "curry", "poulet" ou "épices". Il voit juste une masse de nombres incompréhensibles. C'est comme s'il cuisinait les yeux bandés.

Les chercheurs de ce papier veulent enlever les bandeaux de ce chef pour le rendre transparent, sans le forcer à apprendre de nouvelles recettes ni à utiliser les outils d'un concurrent célèbre (CLIP).

Voici comment ils y arrivent, étape par étape :

1. Le Problème : Le Chef est "Muet"

Les modèles d'IA actuels sont très forts, mais ils sont des "boîtes noires". Pour les rendre intelligibles, on a créé des modèles appelés CBM (Concept Bottleneck Models). L'idée est de forcer le modèle à dire : "Je vois un poulet, je vois des épices, donc c'est un curry".

Mais jusqu'à présent, pour faire ça, il fallait deux choses difficiles :

• Soit demander à des humains de passer des mois à annoter des milliers de photos ("ici il y a du poulet", "ici il y a du curry"). C'est long et cher.
• Soit utiliser un outil très puissant appelé CLIP (un modèle qui a "lu" tout internet) pour deviner les concepts. Mais cela pose problème : si votre modèle spécial (votre chef) est différent de CLIP, vous le forcez à penser comme CLIP, ce qui gâche sa propre logique.

2. La Solution : "TextUnlock" (La Clé de Traduction)

Les auteurs proposent une méthode magique appelée TextUnlock. Imaginez que votre chef parle une langue de "chiffres" (les images) et que nous voulons qu'il parle une langue de "mots" (les concepts).

Au lieu de lui apprendre à parler en lui montrant des dictionnaires (annotations) ou en le forçant à copier un autre chef (CLIP), ils utilisent une astuce géniale : la distribution.

• L'analogie du traducteur silencieux :
  Imaginez que votre chef a un "style" de réponse. Quand il voit un chat, il pense à "chat" à 90%, "chien" à 5%, etc.
  Les chercheurs ont créé un petit traducteur (un petit réseau de neurones, le MLP) qui apprend à traduire les "chiffres" du chef en "mots", sans jamais lui montrer la réponse correcte.

  Comment ? Ils disent au traducteur : "Regarde ce que ton chef pense (sa distribution de probabilités). Maintenant, essaie de faire en sorte que tes mots traduits donnent exactement le même résultat."

  C'est comme si on entraînait un interprète à imiter le rythme et l'intonation d'un orateur, sans lui dire ce qu'il dit exactement. L'interprète finit par comprendre le sens par la structure même de la pensée.

3. Le Résultat : Un Modèle "Double Gratuit" (U-F2-CBM)

Grâce à cette astuce, ils obtiennent un modèle qui est :

1. Sans étiquettes (Label-Free) : Pas besoin d'humains pour annoter les images.
2. Sans CLIP (CLIP-Free) : Ils n'utilisent pas le modèle concurrent. Ils gardent la logique originale de votre chef.
3. Non supervisé (Unsupervised) : Ils n'ont pas besoin d'entraîner un nouveau classifieur pour relier les concepts aux résultats. Tout se déduit automatiquement.

C'est comme si on prenait un chef qui cuisinait parfaitement, et on lui donnait un micro pour qu'il explique ses ingrédients en temps réel, sans changer sa façon de cuisiner.

4. Pourquoi c'est une révolution ?

• Efficacité : Ils ont testé ça sur 40 modèles différents (des petits aux très gros). Dans tous les cas, le modèle reste aussi performant qu'avant (il ne perd presque pas en précision), mais il devient compréhensible.
• Supérieur aux autres : Même un petit modèle simple (ResNet50) entraîné seulement sur des images classiques bat des modèles géants basés sur CLIP qui ont vu des centaines de millions de photos. C'est comme si un petit cuisinier local battait un chef étoilé qui a lu tous les livres de cuisine du monde, simplement parce qu'il comprend mieux ses propres ingrédients.
• Nouvelles capacités : Une fois ce traducteur en place, on peut faire autre chose ! Par exemple, demander au modèle de décrire une image (comme un sous-titre) sans jamais lui avoir appris à écrire. Il peut dire : "C'est un chien qui joue avec un ballon" simplement parce qu'il a appris à associer ses "chiffres" à des "mots".

En résumé

Les auteurs ont inventé une clé universelle qui permet de rendre n'importe quel modèle d'IA "intelligible" (capable d'expliquer ses choix) sans le rééduquer, sans utiliser d'outils externes coûteux, et sans avoir besoin de données annotées par des humains.

C'est comme si on avait trouvé un moyen de traduire la pensée d'une machine en langage humain simplement en écoutant comment elle "pense", sans jamais lui demander de parler.

Résumé technique

1. Problématique et Contexte

Les Modèles à Goulot de Concepts (Concept Bottleneck Models - CBM) sont conçus pour rendre l'intelligence artificielle interprétable en passant par une étape intermédiaire de concepts humains (ex: "ailes", "rouge", "poils") avant de prédire une classe finale. Cependant, les approches modernes de CBM souffrent de trois limitations majeures :

1. Dépendance à CLIP : La plupart des méthodes "sans étiquettes" (label-free) actuelles reposent sur le modèle CLIP pour générer des annotations image-concept. Cela ancre le modèle dans l'espace d'embedding de CLIP, transférant ses biais et limitant l'interprétation aux notions de CLIP plutôt qu'à celles du modèle legacy (spécialisé).
2. Besoin d'annotations manuelles : Les méthodes qui ne utilisent pas CLIP nécessitent souvent un travail humain intensif pour associer les représentations de caractéristiques aux concepts.
3. Entraînement supervisé du classifieur : Tous les CBM existants nécessitent l'entraînement d'un classifieur linéaire (sonde) supervisé pour mapper les activations de concepts vers les étiquettes de classe.

L'objectif de ce travail est de surmonter simultanément ces trois limitations en proposant une méthode capable de convertir n'importe quel classifieur visuel figé (frozen) en un CBM sans CLIP, sans étiquettes (label-free) et de manière non supervisée.

2. Méthodologie

L'approche proposée, nommée U-F2-CBM (Unsupervised, CLIP-Free, Label-Free), repose sur deux étapes principales : l'alignement de la distribution via TextUnlock et la construction du CBM.

A. TextUnlock : Alignement de la distribution

Le cœur de la méthode est un module appelé TextUnlock. Son but est d'aligner la distribution de sortie d'un classifieur visuel figé avec sa contrepartie vision-langage, sans utiliser CLIP ni étiquettes de vérité terrain.

• Principe : Un classifieur visuel $F$ produit une distribution de probabilité $o$ sur $K$ classes. Les noms de ces classes (textuels) sont encodés par un encodeur de texte figé $T$ pour former des vecteurs $U$.
• Apprentissage : Un perceptron multicouche (MLP) léger et entraînable projette les caractéristiques visuelles $f$ dans l'espace d'embedding du texte, produisant $\tilde{f}$.
• Objectif de perte : Au lieu d'utiliser des étiquettes, le MLP est entraîné pour que la distribution de prédiction basée sur la similarité cosinus entre $\tilde{f}$ et les vecteurs de texte $U$ corresponde à la distribution originale $o$ du classifieur. La fonction de perte est une divergence de Kullback-Leibler (KL) (ou entropie croisée) entre la distribution originale et la nouvelle distribution.
• Résultat : Cela permet de transférer la logique de décision du classifieur visuel vers l'espace sémantique du texte, préservant la performance originale (avec une chute moyenne de seulement 0,2 point de précision) tout en rendant le modèle compatible avec des requêtes textuelles arbitraires.

B. Construction du CBM (U-F2-CBM)

Une fois le classifieur aligné via TextUnlock, le CBM est construit en deux étapes, entièrement de manière non supervisée :

1. Découverte de concepts (Concept Discovery) :
   • Un ensemble de concepts textuels (ex: 20 000 mots courants en anglais) est encodé par le même encodeur de texte $T$ pour former une matrice $C$.
   • Les caractéristiques visuelles projetées $\tilde{f}$ sont comparées à $C$ par similarité cosinus pour obtenir les activations de concepts.
2. Prédiction Concept-vers-Classe (Concept-to-Class) :
   • Contrairement aux méthodes précédentes, aucun classifieur linéaire n'est entraîné.
   • Les poids du classifieur final $W_{con}$ sont dérivés directement de la similarité entre les concepts ($C$) et les noms de classes ($U$) : $W_{con} = C \cdot U^T$.
   • La prédiction finale est obtenue par : $S_{cn} = (\tilde{f} \cdot C^T) \cdot (C \cdot U^T)$.
   • Mathématiquement, cela équivaut à appliquer une matrice de Gram ($C^T C$) sur le classifieur linéaire original, transformant ainsi le classifieur en un modèle interprétable sans altérer son raisonnement fondamental.

3. Contributions Clés

1. Premier CBM entièrement "Triple-Free" : C'est la première méthode capable de convertir un classifieur en CBM sans CLIP, sans données annotées (image-concept) et sans entraînement supervisé du classifieur de concepts.
2. Préservation du raisonnement : La méthode préserve la distribution de décision et la performance du modèle legacy (CNN, ViT, etc.), évitant les biais introduits par CLIP.
3. Flexibilité et Efficacité : Le processus est très efficace en données et en calcul. Il permet de changer l'ensemble de concepts à la volée (au moment de l'inférence) sans réentraînement.
4. Application au Captioning Zero-Shot : La méthode permet également de générer des légendes d'images zero-shot pour n'importe quel classifieur pré-entraîné, dépassant les méthodes basées sur CLIP.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur 40 architectures visuelles différentes (ResNet, ViT, ConvNeXt, DINOv2, etc.) et plusieurs jeux de données.

• Précision de Classification (ImageNet-1K) :
  • Les U-F2-CBM surpassent tous les CBM supervisés basés sur CLIP (y compris LF-CBM, LaBo, CDM, DCLIP).
  • Exemple : Un simple ResNet-50 entraîné uniquement sur ImageNet (1,2M d'images) avec U-F2-CBM obtient de meilleurs résultats qu'un CBM basé sur CLIP ResNet-50 entraîné sur 400M d'images.
  • Le meilleur modèle, ConvNeXtv2, atteint une précision Top-1 de 86,4%, surpassant le modèle CLIP ViT-L/14 (428M de paramètres) de +5,1 points, alors que ConvNeXtv2 est 20 fois plus petit.
• Robustesse et Généralisation :
  • La méthode fonctionne bien sur des datasets spécifiques (Places365, EuroSAT, DTD) et des classes fines, surpassant les baselines CLIP.
  • Les interventions sur les concepts (Concept Interventions) montrent que le modèle peut corriger des biais (ex: biais fond/objet sur le dataset Waterbirds) en manipulant les activations de concepts, confirmant la qualité de l'interprétabilité.
• Captioning Zero-Shot :
  • Sur le dataset COCO, la méthode génère des légendes qui surpassent les méthodes ZeroCap et ConZIC (basées sur CLIP) sur les métriques CIDEr et SPICE, qui sont cruciales pour la qualité sémantique.

5. Signification et Impact

Ce travail représente une avancée significative pour l'interprétabilité de l'IA :

• Démocratisation de l'interprétabilité : Il permet d'ajouter une couche d'interprétabilité à n'importe quel modèle existant (legacy) sans avoir besoin de réentraîner le modèle sur des données massives ou d'utiliser des modèles multimodaux lourds comme CLIP.
• Indépendance vis-à-vis de CLIP : Il brise la dépendance actuelle envers CLIP, permettant d'exploiter les connaissances spécifiques et les biais (ou l'absence de biais) des modèles spécialisés.
• Efficacité des données : En démontrant qu'un modèle entraîné sur 1,2M d'images peut surpasser des modèles entraînés sur 400M d'images dans un cadre CBM, l'article remet en question la nécessité de données massives pour l'interprétabilité de pointe.

En résumé, U-F2-CBM offre une voie nouvelle, efficace et purement non supervisée pour transformer des classificateurs visuels "boîte noire" en modèles transparents et interprétables, tout en établissant de nouveaux états de l'art (SOTA) en matière de performance.