UNBOX: Unveiling Black-box visual models with Natural-language

1. Problématique et Contexte

L'essor des systèmes de vision par ordinateur déployés via des API propriétaires (boîtes noires) pose un défi majeur pour la confiance et l'auditabilité de l'IA. Dans ces scénarios, les utilisateurs n'ont accès qu'aux probabilités de sortie des modèles, sans visibilité sur l'architecture, les paramètres, les gradients, les données d'entraînement ou les activations internes.

Cette opacité empêche :

• L'audit significatif des modèles.
• La détection des biais et des corrélations fallacieuses (spurious correlations).
• L'analyse des échecs et la compréhension du raisonnement interne.

Les méthodes d'explication existantes (comme les cartes de saillance, les méthodes basées sur les concepts ou les explications par langage naturel) nécessitent généralement un accès "boîte blanche" (poids, gradients) ou "boîte grise" (données d'entraînement, activations), ce qui les rend inapplicables aux modèles strictement fermés. Il existe donc un besoin critique d'une méthode capable de réaliser une dissection globale du modèle (comprendre les concepts appris par classe) en utilisant uniquement les probabilités de sortie.

2. Méthodologie : Le Framework UNBOX

UNBOX propose un cadre innovant pour la dissection de modèles par classe, fonctionnant dans des contraintes strictes : sans données, sans gradients et sans rétropropagation. L'idée centrale est de reformuler l'maximisation d'activation (généralement un problème d'optimisation dans l'espace des pixels ou des caractéristiques) comme un problème de recherche sémantique dans l'espace du langage naturel.

Le processus repose sur trois composantes principales :

A. Optimisation Sémantique (Boucle d'Optimisation)

Au lieu d'optimiser des pixels via des gradients, UNBOX itère sur des descripteurs textuels ($p_t$) pour maximiser la probabilité d'une classe cible ($j$) dans le classificateur noir ($\phi$).

1. Génération d'image : Un modèle de diffusion texte-à-image ($G$) transforme le descripteur textuel $p_t$ en une image synthétique $x_t$.
2. Évaluation : L'image est soumise au classificateur noir pour obtenir le score de confiance $s_t = \phi(x_t)_j$.
3. Signal Sémantique : Puisqu'il n'y a pas de gradient, le système analyse l'évolution temporelle du score $s_t$ via deux métriques continues :
   • Tendance (Trend) : Indique si le descripteur s'améliore ou se détériore par rapport à une moyenne mobile des scores passés.
   • Intensité (Intensity) : Mesure la distance par rapport à un score de saturation, déterminant la "force" de la mise à jour nécessaire.
     Ces métriques sont discrétisées en états symboliques (ex: "up", "down", "strong", "micro") pour guider le processus.

B. Agents LLM Coopérants

Le signal sémantique guide deux agents basés sur des Grands Modèles de Langage (LLM) :

• Agent de Feedback ($A_f$) : Analyse le descripteur actuel, le signal sémantique et le contexte pour générer un feedback structuré (critique) indiquant comment modifier le texte.
• Agent de Mise à Jour ($A_u$) : Applique ce feedback pour générer le nouveau descripteur $p_{t+1}$, en respectant des contraintes de fluidité et de cohérence.

C. Contexte d'Optimisation Global et Local

Pour éviter les oscillations, les convergences prématurées sur des concepts étroits ou l'oubli de concepts pertinents, UNBOX maintient deux structures de mémoire :

• Contexte Global : Accumule les prompts ayant obtenu les scores les plus élevés ($P_{best}$) et extrait les unités lexicales (mots-clés) les plus persistants et discriminants ($D_{best}$). Cela permet de capturer la richesse sémantique d'une classe (ex: pour "chien de traîneau", garder à la fois "husky", "neige", "traîneau").
• Contexte Local : Garde une trace des interactions récentes (paires prompt-feedback) pour stabiliser la trajectoire d'optimisation et éviter de rejeter des améliorations prometteuses.

3. Contributions Clés

1. Cadre entièrement "Data-free" et "Gradient-free" : UNBOX est la première méthode capable de réaliser une dissection globale de modèles de vision en n'utilisant que les probabilités de sortie, sans accès aux poids ni aux données d'entraînement.
2. Optimisation Textuelle Principée : Transformation de la maximisation d'activation en un problème d'optimisation sémantique guidé par des agents LLM et des signaux de tendance/intensité, remplaçant les gradients par un feedback linguistique structuré.
3. Découverte de Biais et "Slice Discovery" : La méthode permet d'identifier non seulement les concepts principaux, mais aussi les corrélations fallacieuses (biais) en découvrant des descripteurs contextuels (ex: "fond d'eau" pour des oiseaux aquatiques) qui influencent les prédictions.
4. Validation Humaine et Technique : Démonstration que les descripteurs récupérés sont précis, significatifs et compétitifs par rapport aux méthodes boîte blanche.

4. Résultats Expérimentaux

Les évaluations ont été menées sur ImageNet-1K, Waterbirds et CelebA, en comparant UNBOX à des méthodes de l'état de l'art (CLIPDissect, WWW, DEXTER) qui nécessitent un accès aux poids ou aux données.

• Fidélité Sémantique : UNBOX atteint une forte similarité entre les descripteurs générés et les étiquettes de classes réelles (ex: 0.64 sur ResNet50, 0.49 sur ViT), surpassant souvent les méthodes boîte grise et se rapprochant des méthodes boîte blanche, malgré l'absence d'accès interne.
• Récupération des Sémantiques Latentes : Les descripteurs d'UNBOX reflètent fidèlement la distribution d'entraînement et les indices visuels réels utilisés par le modèle, même pour des architectures complexes comme les Vision Transformers (ViT), là où les méthodes basées sur les neurones échouent souvent.
• Découverte de Biais (Slice Discovery) : Sur les benchmarks Waterbirds et CelebA, UNBOX identifie efficacement les sous-ensembles de données biaisés. En utilisant ses descripteurs pour créer des pseudo-étiquettes et appliquer une optimisation robuste (DRO), il obtient des précisions sur le groupe le plus défavorisé (worst-group accuracy) compétitives avec les méthodes nécessitant un accès complet aux données (ex: 88.6% sur Waterbirds vs 89.9% pour DRO Oracle).
• Ablation : L'étude montre que le contexte d'optimisation global et l'état d'intensité sont essentiels pour une convergence stable et une haute fidélité sémantique.

5. Signification et Conclusion

UNBOX démontre qu'il est possible de retrouver le raisonnement interne d'un modèle de vision moderne et de l'auditer de manière fiable, même lorsque ce modèle est totalement opaque et accessible uniquement via une API d'inférence.

• Impact sur la confiance : Cela ouvre la voie à des systèmes de reconnaissance visuelle plus transparents et responsables, permettant de détecter les biais et les échecs sans nécessiter de rétro-ingénierie complexe.
• Généralité : La méthode est agnostique à l'architecture (CNN, Transformer) et au domaine d'application.
• Limites : La méthode peut avoir du mal avec des indices visuels de bas niveau difficiles à décrire en langage naturel (textures subtiles) et nécessite un coût computationnel élevé dû à l'itération avec des LLM et des modèles de diffusion.

En résumé, UNBOX transforme l'interprétabilité des boîtes noires d'un problème impossible en une tâche de recherche sémantique viable, offrant un outil puissant pour l'audit éthique et technique de l'IA en production.