🤖 AI

ProtoQuant: Quantization of Prototypical Parts For General and Fine-Grained Image Classification

ProtoQuant introduit une nouvelle architecture qui exploite la quantification de vecteurs latents pour créer un codebook discret et stable de parties prototypiques, permettant une tête de classification efficace et interprétable qui atteint une précision compétitive sur des ensembles de données à grande échelle et à grain fin sans nécessiter de réglage fin coûteux en calcul du backbone.

Auteurs originaux : Mikołaj Janusz, Adam Wróbel, Bartosz Zieliński, Dawid Rymarczyk

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mikołaj Janusz, Adam Wróbel, Bartosz Zieliński, Dawid Rymarczyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une IA super intelligente capable d'identifier des milliers de types différents d'oiseaux, de voitures ou de fleurs. Mais il y a un problème : l'IA est une « boîte noire ». Elle donne la bonne réponse, mais si vous lui demandez pourquoi, elle se contente de dire : « Je le sais parce que je le sais ». Elle ne peut pas pointer du doigt l'aile spécifique, la roue ou le pétale qui l'a amenée à décider.

C'est là qu'intervient ProtoQuant. Voyez cela comme un traducteur qui transforme le code secret de l'IA en un langage compréhensible pour les humains, sans casser le cerveau de l'IA.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La Lampe Torche « Dérivante »

Les méthodes précédentes tentaient de rendre l'IA explicable en lui apprenant à chercher des « prototypes » (comme une forme spécifique d'aile d'oiseau). Mais ces méthodes présentaient deux défauts majeurs :

La Lampe Torche Dérivante : Si vous modifiez légèrement l'image (comme en ajoutant une ombre ou en déplaçant une feuille), l'IA cesse soudainement de regarder l'aile pour commencer à regarder l'arrière-plan, changeant complètement d'avis. C'était instable.
Le Travail de Force : Pour correr cela, les anciennes méthodes devaient réentraîner l'IA entière de zéro, ce qui revient à reconstruire tout le moteur d'une voiture juste pour changer la radio. C'est lent, coûteux, et cela échoue souvent sur des ensembles de données gigantesques comme ImageNet (qui contient 1,4 million d'images).

2. La Solution : Le « Album de Stickers » (ProtoQuant)

ProtoQuant est une nouvelle « tête » (une couche supérieure) que vous pouvez clipser sur une IA pré-entraînée existante sans toucher à son cerveau. Il utilise une technique appelée Quantification Vectorielle, que l'on peut mieux comprendre comme un Album de Stickers.

Le Désordre Continu : Imaginez que l'IA voit une image et la transforme en un flux de données continu et fluide (comme une rivière d'eau). Il est difficile de déterminer exactement quelle partie de la rivière représente une « aile ».
Le Livre Discret : ProtoQuant prend cette rivière et la force à entrer dans un album de stickers fini. Chaque sticker est un « concept » spécifique et appris (comme « aile d'oiseau », « pneu de voiture » ou « pétale de fleur »).
L'Emboîtement : Quand l'IA voit une nouvelle image, elle ne flotte pas dans la rivière ; elle s'emboîte sur le sticker le plus proche dans l'album.

3. Pourquoi est-ce un Changement de Paradigme ?

Parce que l'IA est forcée d'utiliser ces « stickers » spécifiques (concepts) provenant d'un livre fixe, deux choses magiques se produisent :

Stabilité (Plus de Dérive) : Si vous modifiez légèrement l'image, les caractéristiques s'emboîtent toujours sur le même sticker. L'IA ne se laisse pas troubler. C'est comme si vous aviez un livre de 50 formes spécifiques ; peu importe comment vous faites pivoter un triangle, il reste un triangle, et non un carré. La décision reste stable.
Vérité Fondée : Les stickers ne sont pas inventés. Ils sont tirés directement des données d'entraînement. Ainsi, quand l'IA dit : « C'est un rouge-gorge parce qu'il ressemble à ce poitrail rouge spécifique », elle pointe vers une véritable photo d'un poitrail rouge issue de son entraînement, et non vers une idée hallucinée.

4. Le Processus d'Entraînement en « Deux Étapes »

Les auteurs ont construit cela en deux étapes simples :

Étape 1 (Le Bibliothécaire) : Ils figent le cerveau de l'IA. Ils construisent simplement l'« Album de Stickers » en observant toutes les images d'entraînement et en les organisant en le meilleur ensemble de concepts possible. L'IA ne change pas ; le livre est simplement créé.
Étape 2 (Le Traducteur) : Ils remplacent le décideur final de l'IA par un système simple qui dit : « Si l'image correspond au Sticker A et au Sticker B, alors c'est un Rouge-gorge ».

5. Les Résultats : Rapide, Stable et Précis

L'article a testé cela sur :

Des tâches de précision fine : Distinguer entre 200 types d'oiseaux ou 196 types de voitures.
Des tâches massives : Le gigantesque ensemble de données ImageNet.

Les conclusions ont été :

C'est Stable : Lorsqu'ils ont perturbé les images (ajout de bruit ou déplacement de parties), ProtoQuant a gardé son calme. Les autres méthodes devenaient folles et changeaient leurs réponses.
C'est Rapide : Comme ils n'ont pas eu besoin de réentraîner toute l'IA, cela a pris environ la moitié du temps d'entraînement par rapport aux autres méthodes.
C'est Précis : Cela a égalé ou battu les autres modèles d'IA « explicables », même sur l'immense ensemble de données ImageNet où les autres échouaient.
C'est Éditable : Parce que l'« Album de Stickers » est séparé, si vous voulez supprimer un mauvais concept (comme un type spécifique de bruit), vous pouvez simplement supprimer ce sticker de l'album sans réentraîner l'ensemble du système.

Résumé

ProtoQuant est comme donner à une IA super intelligente un dictionnaire de concepts visuels. Au lieu de deviner dans l'obscurité, l'IA cherche l'image dans son dictionnaire, trouve le « mot » (concept) le plus proche, et vous dit exactement quels mots elle a utilisés pour prendre sa décision. C'est stable, c'est rapide, et cela ne nécessite pas de reconstruire l'IA de zéro.

Résumé Technique : ProtoQuant

1. Énoncé du Problème

Les modèles d'apprentissage profond, particulièrement dans les domaines à enjeux élevés comme le diagnostic médical et la conduite autonome, souffrent d'une opacité inhérente. Bien que l'IA explicable (XAI) ait introduit des méthodes post-hoc (ex. : Grad-CAM) et ante-hoc (auto-explicables), ces dernières — spécifiquement les réseaux de parties prototypiques (PPN) — font face à des limitations critiques :

Dérive des Prototypes et Manque d'Ancrage : Les méthodes existantes apprennent souvent des vecteurs latents qui ne correspondent pas à des patchs tangibles et réalisables dans la distribution d'entraînement. Ces prototypes peuvent dériver, échouant à représenter de véritables concepts visuels.
Instabilité Représentationnelle : De petites perturbations des images d'entrée peuvent provoquer des changements drastiques dans les prototypes à plus forte activation, entraînant des décisions de modèle instables qui contredisent la perception humaine.
Scalabilité et Coût Computationnel : La plupart des architectures prototypiques peinent à se généraliser à des jeux de données à grande échelle comme ImageNet. De plus, elles nécessitent fréquemment un ajustement fin (fine-tuning) coûteux de l'ensemble du réseau de base (backbone) pour atteindre une précision acceptable, ce qui limite leur applicabilité aux modèles de fondation modernes et gelés.

2. Méthodologie : ProtoQuant

ProtoQuant est un cadre interprétable conçu pour fonctionner comme une « tête » pour les classificateurs d'images pré-entraînés et gelés. Il traite les problèmes d'ancrage et de stabilité grâce à la Quantification Vectorielle.

Architecture Centrale

Le modèle remplace la tête de classification standard d'un backbone gelé $\phi$ par un module basé sur des concepts. Le processus implique :

Backbone Gelé : Un backbone pré-entraîné (CNN ou ViT) extrait une carte de caractéristiques $\phi(x)$ . Les paramètres du backbone restent fixes tout au long de l'entraînement.
Apprentissage du Codebook de Concepts (Étape 1) :
- Un codebook discret $C = \{c_1, ..., c_m\}$ est appris en utilisant un mécanisme d'Auto-encodeur Variationnel à Quantification Vectorielle (VQ-VAE).
- Les vecteurs de caractéristiques $z_{ij}$ du backbone sont assignés à l'entrée de codebook la plus proche basée sur la similitude cosinus.
- Seuls les vecteurs du codebook sont mis à jour via une perte de codebook ( $L_{codebook}$ ), tandis que les plongements (embeddings) du backbone sont empêchés de recevoir des gradients. Cela discrétise l'espace latent continu en un vocabulaire fini de primitives visuelles.
Tête de Prédiction Basée sur les Concepts (Étape 2) :
- Appariement (Matching) : Les vecteurs de caractéristiques sont appariés au codebook en utilisant un softmax accentué avec un paramètre de température $\alpha$ , générant des cartes d'activation de concepts.
- Agrégation : Un max-pooling spatial est appliqué pour obtenir des scores de présence de concepts ( $s$ ).
- Classification : Une matrice de classification non négative $W$ projette les scores de concepts vers les logits de classe ( $\hat{y} = Ws$ ).

Régime d'Entraînement

La méthode emploie un processus d'entraînement en deux étapes :

Étape 1 (Ancrage Non Supervisé) : Le codebook est entraîné de manière non supervisée pour capturer la distribution des caractéristiques du backbone gelé.
Étape 2 (Raisonnement Supervisé) : La tête originale est remplacée par la tête interprétable. Le codebook est gelé, et la matrice de classification $W$ est entraînée à l'aide d'une perte d'entropie croisée standard. Cette étape permet l'élagage (sélection des top-K prototypes par classe) pour améliorer l'interprétabilité sans réentraîner le backbone.

3. Contributions Clés

Ancrage par Quantification : Introduit un mécanisme qui discrétise l'espace de caractéristiques en un codebook de concepts à haute stabilité, garantissant que les prototypes sont des représentations fidèles des données d'entraînement sans nécessiter de mise à jour du backbone.
Agnosticisme du Backbone : Conçu pour fonctionner comme une tête interprétable et efficace pour des backbones gelés (tant CNN que ViT), permettant une intégration fluide avec les architectures modernes sans ajustement fin de tous les paramètres.
Scalabilité : Démontre que le raisonnement prototypique peut passer à l'échelle sur des jeux de données de grande taille (ImageNet) avec une grande fidélité, comblant le fossé entre l'interprétabilité et la performance prédictive.
Éditabilité Structurelle : L'utilisation d'un codebook discret permet des éditions structurelles instantanées, telles que l'élagage de concepts ou la neutralisation d'entrées spécifiques, facilitant le débogage du modèle sans réentraînement coûteux.

4. Résultats Expérimentaux

Les auteurs ont évalué ProtoQuant sur ImageNet-1K et sur des benchmarks de granularité fine (CUB-200, Cars-196, Dogs, Flowers).

Stabilité Représentationnelle : Sur le benchmark de désalignement spatial, ProtoQuant surpasse significativement les autres PPN. Il atteint des scores de Changement d'Exactitude (AC) quasi parfaits (0,35 pour ViT, 1,73 pour ConvNeXt) et réduit considérablement le Changement d'Activation de Prototype (PAC), indiquant une robustesse contre les perturbations d'entrée.
Exactitude de Classification :
- Granularité Fine : ProtoQuant atteint une exactitude Top-1 compétitive ou supérieure aux méthodes interprétables de pointe (ex. : PIP-Net, InfoDisent) sur CUB-200, Cars, Dogs et Flowers, surpassant souvent les méthodes qui ajustent le backbone.
- ImageNet : ProtoQuant atteint 77,86 % d'exactitude sur ResNet-50 et 82,87 % sur ConvNeXt-Large. Cela réduit considérablement l'écart de performance entre les méthodes ante-hoc et les bases de référence non interprétables (black-box) par rapport à des concurrents comme InfoDisent.
Pureté Sémantique : ProtoQuant démontre une pureté de prototype compétitive (0,47) par rapport à d'autres méthodes sous des contraintes de backbone gelé, validant que les concepts quantifiés s'alignent bien avec les parties annotées par l'humain.
Efficacité : L'entraînement de ProtoQuant sur un backbone gelé réduit le temps par époque d'environ 47,6 % par rapport à l'entraînement complet avec ajustement fin du backbone.

5. Signification et Revendications

Le papier positionne ProtoQuant comme une solution aux défis de la « dérive des prototypes » et de la scalabilité inhérents aux réseaux de parties prototypiques actuels. Sa principale importance réside dans :

Interprétabilité Ancrée : En ancrant les décisions à un vocabulaire vérifiable de concepts visuels dérivés directement de la distribution d'entraînement, il garantit que les explications sont basées sur des données réelles plutôt que sur des artefacts latents abstraits.
Déploiement Pratique : La capacité de fixer une tête interprétable à des modèles de fondation gelés rend l'approche efficace sur le plan computationnel et applicable à des architectures à haute capacité où l'ajustement fin complet est prohibitif.
Confiance dans les Domaines à Enjeux Élevés : Le raisonnement de type « ceci ressemble à cela », combiné à des activations stables, permet aux praticiens dans des domaines tels que l'imagerie médicale de vérifier que les modèles prêtent attention à des caractéristiques cliniquement pertinentes, soutenant ainsi le déploiement de systèmes d'IA plus transparents et responsables.

Les auteurs reconnaissent que le recours à un codebook discret peut limiter la flexibilité de représentation par rapport aux espaces continus et suggèrent que les travaux futurs porteront sur l'automatisation de la sélection de la taille du codebook et l'élagage avancé.