Exploring Interpretability for Visual Prompt Tuning with Cross-layer Concepts

Cet article propose IVPT, le premier cadre d'ajustement de prompts visuels interprétables qui associe les prompts à des concepts sémantiques humains via des prototypes inter-couches, permettant ainsi d'expliquer les décisions du modèle à différentes profondeurs tout en améliorant les performances sur des tâches de classification fine.

L'essentiel

Imaginez que vous avez un super-cerveau artificiel (un modèle d'IA) qui a déjà lu des millions de livres et vu des millions de photos. Il est très intelligent, mais il est un peu comme un génie qui parle une langue incompréhensible : il sait reconnaître un oiseau ou une voiture, mais si vous lui demandez "Pourquoi as-tu dit que c'est un moineau ?", il vous répond par un code binaire incompréhensible.

C'est là que le Visual Prompt Tuning (l'ajustement visuel) intervient. C'est une technique pour "enseigner" à ce génie des tâches spécifiques (comme distinguer 200 espèces d'oiseaux) sans avoir à le rééduquer entièrement. On lui donne de petits "post-it" numériques (des prompts) pour l'aider.

Le problème ? Ces "post-it" sont des abstractions mathématiques. Personne ne sait ce qu'ils signifient vraiment. C'est une boîte noire.

La Solution : IVPT (Le Traducteur de Concepts)

Les auteurs de cette paper proposent une nouvelle méthode appelée IVPT (Visual Prompt Tuning Interprétable). Voici comment cela fonctionne, avec des analogies simples :

1. Remplacer les "Post-it" mystérieux par des "Étiquettes de Musée"

Au lieu de laisser l'IA créer des concepts abstraits, IVPT force l'IA à créer des prototypes de concepts que nous, humains, pouvons comprendre.

• L'analogie : Imaginez que vous regardez un tableau. Au lieu de dire "c'est une forme bleue", l'IA dit : "C'est une aile d'oiseau" ou "C'est un bec pointu".
• Comment ? L'IA apprend à associer ses "post-it" numériques à de vraies zones de l'image. Si elle doit reconnaître un oiseau, elle va dire : "J'ai trouvé un concept 'aile' ici, et un concept 'œil' là-bas".

2. L'Effet "Poupée Russe" (La Structure Multi-Couches)

C'est la partie la plus brillante de l'article. L'IA regarde l'image à plusieurs niveaux de détail, comme une poupée russe ou une loupe qui zoome.

• Les couches superficielles (l'extérieur de la poupée) : Elles voient les détails fins. C'est comme regarder la texture des plumes d'un oiseau, la courbure d'une aile, ou la couleur d'un œil. C'est très précis mais un peu confus si on ne voit que ça.
• Les couches profondes (l'intérieur de la poupée) : Elles voient le gros plan. Elles regroupent les détails pour comprendre le "tout". C'est comme dire : "Ah, toutes ces plumes forment une aile, et cette aile fait partie d'un oiseau".
• Le génie de IVPT : La méthode relie ces deux niveaux. Elle explique comment les petits détails (les plumes) s'assemblent pour former les grandes idées (l'aile). C'est comme si l'IA vous expliquait son raisonnement étape par étape : "Je vois des plumes (détail), donc je pense à une aile (concept), donc c'est un oiseau (résultat)."

3. Le "Chef d'Orchestre" (Fusion Croisée)

L'IA a besoin de coordonner ces différentes couches. IVPT agit comme un chef d'orchestre qui prend les notes des musiciens (les détails fins) et les assemble pour créer une mélodie cohérente (le concept global).

• Cela permet à l'IA de dire : "Même si je ne vois pas tout l'oiseau, la partie 'aile' que j'ai identifiée est assez forte pour confirmer ma décision."

Pourquoi est-ce important ?

Imaginez un médecin qui utilise une IA pour diagnostiquer un cancer.

• Sans IVPT : L'IA dit "C'est un cancer". Le médecin ne sait pas pourquoi. Il ne peut pas vérifier si l'IA a raison ou si elle a juste deviné.
• Avec IVPT : L'IA dit : "C'est un cancer parce que j'ai repéré une zone spécifique de tissu (concept) qui ressemble à un 'vésicule glandulaire' anormale."
  • Le médecin peut alors regarder l'image, voir la zone pointée par l'IA, et confirmer : "Ah oui, effectivement, c'est bien ça !"

En résumé

Cette paper propose de transformer l'IA d'un oracle mystérieux en un collègue transparent.

• Au lieu de dire "Je sais que c'est ça", l'IA dit : "Je sais que c'est ça parce que je vois ceci et cela."
• Elle utilise des "prototypes" (des exemples types de concepts comme "aile", "roue", "tissu malade") qui sont réutilisables pour n'importe quel objet, pas juste pour une seule catégorie.
• Elle montre comment les petits détails se transforment en grandes idées, rendant le processus de décision de l'IA aussi clair qu'un dessin animé expliquant un raisonnement.

C'est une avancée majeure pour rendre l'IA plus fiable, surtout dans des domaines sensibles comme la santé ou la conduite autonome, où comprendre le "pourquoi" est aussi important que le "quoi".

Résumé technique

1. Problématique

L'ajustement de prompts visuels (Visual Prompt Tuning ou VPT) est devenu une méthode efficace pour adapter des modèles de fondation visuels pré-entraînés à des tâches spécifiques sans réentraîner l'intégralité du modèle. Cependant, cette approche souffre d'un manque crucial d'interprétabilité.

• Le défi : Les méthodes VPT actuelles apprennent des embeddings de prompts abstraits (vecteurs noirs) qui guident le modèle de manière implicite. Ces vecteurs ne sont pas ancrés dans des régions spécifiques de l'image ni liés à des concepts sémantiques compréhensibles par l'humain.
• Les limites des solutions existantes :
  • Les méthodes basées sur les concepts (ex: ProtoPNet) se concentrent souvent sur une seule couche finale et ne capturent pas les interactions entre les couches.
  • Elles apprennent souvent des prototypes spécifiques à chaque classe, ce qui empêche l'analyse de concepts partagés entre différentes catégories.
  • Elles ne parviennent pas à relier les embeddings de prompts abstraits à des régions d'image concrètes de manière non supervisée.

2. Méthodologie : IVPT (Interpretable Visual Prompt Tuning)

Les auteurs proposent IVPT, un cadre novateur qui remplace les embeddings de prompts abstraits par des prototypes de concepts inter-couches (cross-layer concept prototypes). L'objectif est de lier les prompts apprenables à des concepts visuels humains, ancrés dans des régions d'image spécifiques.

Architecture et Composants Clés

Le cadre IVPT fonctionne en trois étapes principales au sein d'un Transformer (ViT) :

1. Découverte de Régions de Concepts (Concept Region Discovery - CRD) :

   • Au lieu d'apprendre des vecteurs abstraits, le modèle associe chaque prompt à un prototype de concept $q_k$.
   • Un module CRD utilise ces prototypes pour générer des cartes d'attention au niveau des concepts, identifiant les régions de l'image ($R_k$) les plus pertinentes pour chaque concept.
   • Des pertes de mise en forme de parties (part-shaping losses) sont utilisées pour garantir que les régions découvertes soient non chevauchantes, invariantes aux transformations et ancrées dans le premier plan ou l'arrière-plan.

2. Agrégation de Caractéristiques Intra-Région (Intra-region Feature Aggregation - IFA) :

   • Une fois la région $R_k$ identifiée, le module IFA agrège les embeddings de patchs ($E$) à l'intérieur de cette région pour générer le prompt interprétable $p_k$.
   • Ainsi, le prompt $p_k$ n'est plus un vecteur arbitraire, mais une représentation sémantique directe de la région $R_k$ (ex: "aile d'oiseau").

3. Fusion de Prompts Inter-Couches (Cross-Layer Prompt Fusion) :

   • Granularité hiérarchique : IVPT utilise un nombre décroissant de prototypes à mesure que l'on s'enfonce dans le réseau (plus de prototypes fins dans les couches peu profondes, moins de concepts abstraits dans les couches profondes).
   • Fusion : Les prompts fins des couches inférieures sont regroupés et fusionnés pour former des prompts grossiers (coarse-grained) dans les couches supérieures.
   • Alignement : Une perte de cohérence de région de concept ($L_{con}$) assure que les régions fines regroupées correspondent spatialement aux régions grossières de la couche finale, créant un lien logique entre les détails et les concepts abstraits.

4. Classification :

   • Les scores de classe sont calculés en agrégeant les scores conditionnés par chaque concept interprétable, permettant d'expliquer la décision finale par l'importance de chaque concept.

3. Contributions Principales

1. Cadre IVPT : Première architecture reliant explicitement les prompts visuels apprenables à des concepts humains via des prototypes de concepts, rendant le processus de décision transparent.
2. Prototypes Inter-Couches : Introduction d'une structure hiérarchique qui modélise les relations entre les concepts fins (couches basses) et grossiers (couches hautes), comblant le fossé entre l'analyse locale et globale.
3. Prototypes Indépendants des Classes : Contrairement aux méthodes précédentes, IVPT apprend des concepts partagés entre différentes catégories, permettant une analyse plus cohérente et une meilleure généralisation.
4. Validation Rigoureuse : Démonstration que l'interprétabilité n'est pas obtenue au détriment de la performance, mais l'améliore dans certains cas.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plusieurs benchmarks de classification fine (fine-grained), notamment CUB-200-2011 (oiseaux), Stanford Cars, FGVCAircraft, et des images pathologiques (Gleason-2019).

• Performance Quantitative :

  • IVPT surpasse les méthodes VPT classiques (VPT-Shallow, VPT-Deep) et les réseaux de prototypes de parties existants (ProtoPNet, TesNet) en termes de précision (Accuracy).
  • Sur CUB-200-2011 avec DinoV2-L, IVPT atteint 91.1% de précision, surpassant les méthodes de référence.
  • Scores d'Interprétabilité : IVPT obtient les meilleurs scores de cohérence (Con.) et de stabilité (Sta.), indiquant une meilleure alignement sémantique et une robustesse aux variations d'entrée.

• Analyse Qualitative :

  • Les visualisations montrent que IVPT identifie correctement des parties discriminantes (ex: "bec crochu", "aile", "lumen glandulaire" en pathologie) et attribue des scores d'importance cohérents.
  • La fusion inter-couche permet de visualiser comment les détails fins se combinent pour former des concepts abstraits.
  • Étude Humaine : Une évaluation avec 20 participants a confirmé un taux de correspondance de 97.5% entre les concepts appris par le modèle et les descriptions humaines, avec des notes élevées pour la préservation des détails et l'abstraction sémantique.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'IA explicable (XAI) appliquée aux modèles de vision par ordinateur :

• Confiance et Débogage : En rendant les prompts interprétables, IVPT permet aux utilisateurs de vérifier si le modèle se base sur des caractéristiques pertinentes (ex: la forme d'un oiseau) plutôt que sur des biais contextuels (ex: l'arrière-plan), ce qui est crucial pour des domaines sensibles comme la santé.
• Efficacité : Le cadre maintient l'efficacité paramétrique du VPT (seuls les prompts sont ajustés) tout en ajoutant une couche d'interprétabilité avec un surcoût computationnel négligeable (< 5%).
• Généralisation : La capacité à découvrir des concepts partagés entre classes suggère que le modèle apprend une représentation du monde plus riche et transférable, dépassant la simple mémorisation de classes spécifiques.

En résumé, IVPT transforme l'ajustement de prompts visuels d'une boîte noire en un processus transparent et sémantiquement ancré, ouvrant la voie à des systèmes d'IA plus fiables et auditable.