💻 computer science

OCCAM: Open-set Causal Concept explAnation and Ontology induction for black-box vision Models

OCCAM est un cadre novateur qui interprète les modèles de vision boîte noire en découvrant des concepts visuels ensemblistes, en quantifiant leur impact causal par le biais d'interventions au niveau des objets, et en agrégeant ces preuves pour induire une ontologie structurée qui révèle le raisonnement global et les biais du modèle.

Auteurs originaux : Chiara Maria Russo, Simone Carnemolla, Simone Palazzo, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chiara Maria Russo, Simone Carnemolla, Simone Palazzo, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super-intelligent, mais totalement secret, qui regarde des photos et vous dit ce qu'elles contiennent. Vous pouvez lui montrer une photo d'un chien, et il dit « Chien ». Mais si vous demandez : « Pourquoi as-tu dit cela ? », le robot refuse de répondre. Il ne vous montrera ni ses engrenages internes, ni son code, ni son processus de pensée. C'est une « boîte noire ».

C'est le problème que l'article OCCAM tente de résoudre. Les auteurs ont créé une nouvelle façon de jeter un coup d'œil dans cette boîte noire sans l'ouvrir de force. Ils le font en agissant comme un éditeur très prudent qui coupe des éléments d'une photo pour voir ce qui arrive à la réponse du robot.

Voici comment fonctionne OCCAM, expliqué à travers des analogies simples :

1. Le jeu du « Et si ? » (Découverte en ensemble ouvert)

La plupart des méthodes précédentes tentaient de deviner ce que le robot pensait en utilisant une liste fixe de mots (comme un dictionnaire). Si le robot voyait un « golden retriever », mais que le dictionnaire ne contenait que « chien », il pouvait manquer la nuance.

OCCAM est différent. Il utilise un assistant IA intelligent (un grand modèle de langage multimodal) pour regarder la photo et dire : « Hé, je vois une queue touffue, un parc ensoleillé et une balle rouge ». Il n'a pas besoin d'une liste préétablie ; il invente simplement les concepts qu'il voit sur le moment. C'est la partie « ensemble ouvert » : il peut parler de tout ce qu'il trouve.

2. La « Gomme magique » (Intervention causale)

Une fois qu'OCCAM a identifié ces concepts (comme la « queue touffue »), il ne se contente pas de les pointer. Il effectue un test causal.

Imaginez que vous avez une photo d'un chien dans un parc. OCCAM utilise une « Gomme magique » pour retirer délicatement uniquement la queue, en remplissant l'arrière-plan pour que cela semble naturel. Ensuite, il montre cette photo modifiée au robot à nouveau.

Si le robot dit toujours « Chien » : La queue n'était pas très importante pour la décision.
Si le robot dit soudainement « Je ne sais pas » ou change d'avis : La queue était un indice crucial.

En faisant cela pour chaque concept qu'il trouve, OCCAM apprend exactement quelles parties de l'image sont réellement à l'origine de la décision du robot. C'est comme un détective qui retire des indices un par un pour voir lequel était la preuve accablante.

3. Construire un « Arbre généalogique » d'idées (Induction d'ontologie)

Jusqu'ici, OCCAM a expliqué une seule photo. Mais les auteurs voulaient comprendre la personnalité entière du robot, pas seulement sa réaction à une image.

Ils prennent les résultats de milliers de photos et construisent une carte structurée géante appelée Ontologie. Imaginez cela comme un arbre généalogique ou une carte complexe de métro pour le cerveau du robot.

Elle relie les concepts aux classes (par exemple : « Queue touffue » $\rightarrow$ « Chien »).
Elle relie les concepts à d'autres concepts (par exemple : « Visage souriant » apparaît souvent avec « Chien heureux »).

Cette carte n'est pas dessinée par un humain ; elle émerge du comportement même du robot. Elle révèle des motifs cachés, comme « Ce robot a toujours besoin de voir un « sourire » pour classer un « joueur de volley-ball » comme heureux », ou « Ce robot est biaisé à penser que « l'herbe » signifie « extérieur » même si l'herbe est fausse ».

4. Pourquoi cela compte

L'article montre que cette méthode fonctionne mieux que les anciennes astuces de deux manières principales :

Elle fonctionne sur des robots secrets : Vous n'avez pas besoin de voir le code du robot (ce que vous ne pouvez généralement pas faire). Vous avez juste besoin de pouvoir lui montrer des images et obtenir des réponses.
Elle trouve les vraies raisons : En retirant réellement les preuves visuelles, elle prouve la causalité. Elle ne devine pas ; elle teste.

Les auteurs ont testé cela sur des ensembles de données d'images célèbres (comme Broden et ImageNet) et ont constaté que OCCAM pouvait expliquer les décisions du robot plus précisément que les méthodes qui reposent sur l'accès au code interne. Ils ont également montré que lorsqu'ils alimentaient cette carte structurée « Arbre généalogique » à une autre IA pour résumer le comportement du robot, les résumés étaient beaucoup plus profonds et précis que de simples listes de faits aléatoires.

En bref : OCCAM est un outil qui traite une IA boîte noire comme un mystère à résoudre en effaçant systématiquement des parties de l'image pour voir ce qui intéresse réellement l'IA, puis en organisant ces découvertes dans une carte claire de la façon dont l'IA pense.

Résumé technique : OCCAM – Explication causale de concepts en ensemble ouvert et induction d'ontologie pour les modèles de vision boîte noire

Énoncé du problème

Les classifieurs d'images profonds ont atteint des performances proches de l'humain, mais leurs processus de prise de décision restent opaques, en particulier dans les contextes boîte noire où les gradients internes, les activations et les détails architecturaux sont inaccessibles (par exemple, les systèmes déployés et les API tierces). Les méthodes d'explication existantes rencontrent deux limitations principales dans ce régime :

Les méthodes basées sur l'attribution (par exemple, cartes de saillance, LIME, SHAP) opèrent sur des unités spatiales (pixels/patchs) plutôt que sur des concepts sémantiques, produisant des cartes de pertinence continues qui manquent de structure sémantique explicite et nécessitent une interprétation manuelle.
Les méthodes basées sur les concepts reposent généralement sur des vocabulaires prédéfinis en ensemble fermé ou sur des banques de concepts curatés, limitant leur capacité à expliquer des entités nouvelles ou fines trouvées dans des scénarios réels en ensemble ouvert. De plus, la plupart des techniques opèrent localement, expliquant des prédictions individuelles sans fournir de mécanisme principiel pour dériver des insights globaux cohérents ou révéler des biais systématiques du modèle.

Il existe un besoin critique de cadres d'explication qui soient simultanément boîte noire, ensemble ouvert et causal.

Méthodologie

OCCAM (Open-set Causal Concept explAnation and ontology induction for black-box vision Models) reformule l'interprétation du modèle comme un processus de élagage interventionnel structuré. Le cadre opère strictement sous un accès par requête uniquement, ne nécessitant aucun poids interne du modèle. Il se compose de trois étapes principales :

1. Analyse interventionnelle locale des concepts

Pour une image d'entrée donnée $x$ et un classifieur pré-entraîné $f$ :

Proposition de concepts en ensemble ouvert ( $\Phi$ ) : Un Grand Modèle de Langage Multimodal (MLLM) propose un ensemble de concepts sémantiques spécifiques à l'instance $\{k_1, ..., k_N\}$ à partir d'un univers ouvert, plutôt que d'un vocabulaire fixe.
Ancrage des concepts ( $\Psi$ ) : Un modèle de segmentation conditionné par le texte (par exemple, SAM) mappe chaque concept proposé vers un masque de segmentation binaire $m_i$ , identifiant son support spatial. Les concepts échouant à produire des masques valides sont rejetés.
Élagage causal ( $R$ ) : Un modèle de complétion d'image (par exemple, LaMa) supprime le support visuel de chaque concept ancré indépendamment, créant une image intervenue $\tilde{x}_i$ .
Estimation de la contribution causale : Le cadre mesure le changement de la confiance du classifieur pour la classe initialement prédite $\hat{y}$ :
$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$
Un score plus élevé indique que le concept fournit un soutien causal positif plus fort pour la décision.

2. Induction d'ontologie globale

Au-delà des explications locales, OCCAM agrège les preuves interventionnelles à travers l'ensemble du jeu de données pour induire une ontologie conceptuelle structurée.

Structure : L'ontologie est formalisée comme un graphe de connaissances (RDF/OWL) où les nœuds représentent des classes, des images, des concepts et des entités de preuve causale (contenant des scores et des artefacts).
Émergence : Les dépendances globales concept-classe et inter-concept ne sont pas imposées de haut en bas mais émergent de l'agrégation des attributs interventionnels stockés.
Raisonnement : Cette ontologie permet des requêtes structurées et un raisonnement sur le comportement global du modèle, révélant des dépendances stables, des motifs compositionnels et des relations causales latentes que les explications isolées par image pourraient manquer.

3. Métriques d'évaluation

Le cadre est évalué en utilisant :

Métriques d'élagage causal : Pourcentage de chute moyen (ADP), Pourcentage de chute maximal (MDP) et Chute absolue maximale du logit (MAD) pour quantifier l'impact de la suppression de concepts sur la confiance du modèle.
Métriques d'ancrage : Jeu de pointage basé sur l'énergie (EPG), Précision de région normalisée (NRA) et Taux de réussite pour évaluer l'alignement spatial avec les masques de vérité terrain.
Qualité du raisonnement : Les rapports générés par des LLM utilisant des résumés non structurés, du JSON plat et un raisonnement ancré sur l'ontologie sont notés par des LLM indépendants et des évaluateurs humains pour la cohérence et la fidélité.

Contributions clés

Cadre OCCAM : Un cadre strictement boîte noire pour l'explication causale en ensemble ouvert via des interventions structurées au niveau des objets, ne nécessitant qu'un accès par requête au classifieur visuel.
Construction d'ontologie principielle : Une procédure qui agrège les effets causaux au niveau des concepts à travers les images pour construire une ontologie conceptuelle globale émergente sans dépendre de vocabulaires prédéfinis ou de représentations internes.
Raisonnement piloté par l'ontologie : Démonstration que le raisonnement sur l'ontologie induite permet des explications plus profondes, révélant des dépendances conceptuelles stables et des relations causales latentes non détectées par des analyses par image isolées.
Performances de l'état de l'art : Obtention de résultats compétitifs ou supérieurs sur les jeux de données Broden et ImageNet-S dans des conditions strictes d'ensemble ouvert et de boîte noire, surpassant les concurrents en ensemble fermé et boîte blanche en efficacité d'élagage causal.
Extensibilité multimodale : Validation que le cadre s'étend naturellement aux classifieurs vision-langage (par exemple, CLIP, SigLIP), fournissant un mécanisme d'explication unifié à travers les architectures unimodales et multimodales.

Résultats expérimentaux

Les expériences ont été menées sur ResNet18, ResNet50, ViT-B/16 et diverses variantes CLIP/SigLIP en utilisant les jeux de données Broden et ImageNet-S.

Élagage causal : OCCAM a induit de manière constante des réductions de confiance plus fortes que la méthode en ensemble fermé de l'état de l'art CE-FAM. Par exemple, sur ResNet50, OCCAM a atteint un Pourcentage de chute moyen (ADP) de 47,19 % contre 44,18 % pour CE-FAM, et un Pourcentage de chute maximal (MDP) de 93,89 % contre 84,14 %. Cela indique qu'OCCAM identifie des preuves plus critiques pour la décision.
Validité de l'ancrage : Malgré son fonctionnement dans un régime boîte noire et ensemble ouvert, OCCAM a obtenu des scores de localisation compétitifs (par exemple, un EPG de 0,65 sur ResNet50 pour ImageNet-S) par rapport aux méthodes boîte blanche, démontrant que l'ancrage interventionnel au niveau des objets produit des régions spatialement alignées et sémantiquement significatives.
Raisonnement sur l'ontologie : Dans les évaluations d'explication globale, le raisonnement ancré sur l'ontologie a obtenu les scores les plus élevés (moyenne de 4,78/5) par rapport aux résumés non structurés (4,31) et au JSON plat (4,23). Cela suggère que la structuration formelle des preuves causales améliore considérablement la cohérence et la fidélité des explications globales du modèle.
Robustesse multimodale : Lorsqu'il est appliqué à CLIP et SigLIP, la suppression progressive des trois concepts les plus influents a provoqué une diminution monotone de la précision en zéro-shot. Notamment, SigLIP s'est révélé plus robuste que les variantes CLIP, suggérant que ses décisions reposent sur des preuves plus distribuées plutôt que sur un petit ensemble de régions à fort impact.

Signification et revendications

L'article revendique qu'OCCAM offre un changement de paradigme dans l'interprétation des modèles en la reformulant comme un élagage interventionnel structuré. Sa signification principale réside dans :

Combler le fossé : Il adresse avec succès le trilemme « boîte noire, ensemble ouvert, causal », un régime où les méthodes existantes peinent.
Insight global : En allant au-delà de l'attribution par image, il fournit un mécanisme pour dériver des insights globaux cohérents et révéler des biais systématiques du modèle grâce à une ontologie émergente.
Connaissance ancrée dans le comportement : L'ontologie induite n'est pas imposée de l'extérieur mais dérivée directement des effets causaux mesurés, offrant une représentation interrogable de la manière dont les classifieurs organisent les preuves visuelles.
Mécanisme unifié : Il démontre que les interventions au niveau de l'entrée fournissent un mécanisme d'explication unifié applicable à la fois aux modèles de vision traditionnels et aux architectures multimodales modernes, sans nécessiter l'accès aux représentations internes.

Les auteurs concluent que cette perspective encourage les travaux futurs sur l'induction de connaissances ancrées dans le comportement et le raisonnement structuré pour l'IA explicable.