MIMIC: Multimodal Inversion for Model Interpretation and Conceptualization

1. Problématique

Les modèles Vision-Language (VLM) ont démontré des capacités impressionnantes, mais leur architecture complexe et multimodale rend leur interprétation difficile. Il est souvent impossible de déterminer si les décisions d'un modèle sont fondées sur un raisonnement interne ou simplement sur l'interpolation d'exemples mémorisés.

Les méthodes d'interprétation existantes souffrent de plusieurs limitations :

• Elles sont principalement unimodales (conçues pour la vision seule).
• Elles reposent souvent sur l'accès aux gradients, des décodeurs auxiliaires ou des modifications spécifiques à l'architecture.
• Elles ne parviennent pas à inverser efficacement les encodages visuels associés aux tokens spécifiques dans les modèles VLM autoregressifs (qui génèrent du texte token par token).

L'objectif est donc de combler ce fossé d'interprétabilité en visualisant les concepts visuels appris par les VLM à partir de leurs représentations internes.

2. Méthodologie : Le cadre MIMIC

Les auteurs proposent MIMIC (Multimodal Inversion for Model Interpretation and Conceptualization), un cadre qui inverse les encodages internes des VLM pour synthétiser des entrées visuelles correspondant à des tokens spécifiques.

Le processus repose sur l'optimisation itérative d'une image d'entrée modifiable ($b_v$) initialement aléatoire, guidée par un prompt textuel.

A. Objectifs d'Optimisation

Le cadre combine trois composantes principales pour minimiser une fonction de perte globale :

1. Perte d'Inversion VLM (Adaptée CE) :

   • Utilise les logits du VLM comme cible d'optimisation.
   • Compte tenu de la nature autoregressive des VLM, la perte est adaptée pour maximiser la probabilité du token cible (ou de la séquence de tokens) tout en stoppant le gradient sur les tokens précédents.
   • Cela force l'image générée à correspondre sémantiquement au token visé.

2. Perte d'Alignement des Caractéristiques (Base Feature Loss - $L_{base}$) :

   • La perte de classification seule ne garantit pas que l'image générée se situe dans la variété (manifold) exacte des caractéristiques visuelles du modèle.
   • MIMIC aligne les statistiques (moyenne et variance) des couches de l'encodeur visuel de l'image générée avec celles estimées à partir d'images réelles du concept cible.
   • Cela assure que l'image générée respecte la distribution interne des caractéristiques du modèle.

3. Régularisateurs ($R$) :
   Pour améliorer la qualité perceptuelle et la cohérence spatiale, trois régularisateurs sont ajoutés :

   • Alignement spatial ($R_{patch}$) : Lisse la variance du signal couleur entre les patches (tokens) du ViT.
   • Priors d'image ($R_{prior}$) : Combine la variance totale des caractéristiques ($L_{1/2}$) et la douceur spatiale ($RTV$) pour éviter le bruit.
   • Contrainte de fréquence ($R_V$) : Limite le bruit haute fréquence à l'intérieur de chaque patch pour améliorer le réalisme.

B. Formulation Globale

L'objectif final minimise une combinaison pondérée de la perte de vraisemblance ($L_{SCE}$), de la perte d'alignement des caractéristiques ($L_{base}$) et des régularisateurs ($R$) pour mettre à jour l'image $b_v$ à chaque itération.

3. Contributions Clés

1. Objectif d'inversion de modèle : Une nouvelle fonction de perte capable d'optimiser des entrées visuelles directement à partir des logits des VLM.
2. Première approche d'inversion VLM : À notre connaissance, c'est la première tentative d'inverser les caractéristiques visuelles apprises par les VLM correspondant à des tokens spécifiques, étendant ainsi les méthodes d'inversion unimodales aux modèles multimodaux autoregressifs.
3. Fidélité multi-longueur : Démonstration que MIMIC peut inverser des sémantiques textuelles de différentes longueurs (de 1 à plusieurs tokens) pour générer des images haute fidélité.

4. Résultats et Évaluation

L'évaluation a été menée sur plusieurs modèles (LLaMA3-8B, Mistral-7B, Vicuna-7/13B) avec des métriques quantitatives et qualitatives.

• Métriques Quantitatives :

  • Qualité visuelle : Réduction significative du FID (Fréchet Inception Distance) et du LPIPS (Similarité de Patch d'Image Perceptuelle) par rapport aux méthodes de base. MIMIC produit des images plus proches de la distribution des images réelles.
  • Alignement sémantique : Amélioration notable des scores IS (Inception Score) et CLIPScore, indiquant une meilleure correspondance entre l'image générée et le concept textuel cible.
  • Robustesse : Les résultats restent stables quelle que soit la longueur du texte cible (mesuré par BLEU, METEOR, ROUGE-L).

• Résultats Qualitatifs :

  • Les images synthétisées capturent des caractéristiques visuelles apprises précises (ex: plumes vertes-rouges et bec noir pour "macaw", étagères pour "library", reflets de verre pour "hourglass").
  • Le modèle permet d'explorer des corrélations apprises (ex: association de maillots de sport et de shorts avec "rugby ball").
  • La méthode fonctionne avec différents prompts et permet même une exploration par "Chain-of-Thought" (ex: inférer "roues" et "pare-brise" à partir de "minivan").

5. Signification et Conclusion

MIMIC représente une avancée significative dans l'interprétabilité des modèles d'intelligence artificielle générative multimodale. En permettant de visualiser directement ce que le modèle "voit" et "comprend" à l'intérieur de ses couches cachées pour un token donné, cette méthode :

• Renforce la transparence et la confiance dans les VLM.
• Offre un outil pour détecter si un modèle se base sur un raisonnement réel ou sur des biais de mémorisation.
• Ouvre la voie à une meilleure compréhension des encodages multimodaux complexes.

C'est une première étape prometteuse vers la démystification des mécanismes internes des modèles VLM, dépassant les limites des méthodes d'attribution de caractéristiques traditionnelles.