Résumé Technique : Neural Concept Verifier (NCV)

Énoncé du Problème

Les modèles d'apprentissage profond atteignent des performances prédictives élevées mais manquent souvent d'interprétabilité et de vérifiabilité, particulièrement dans les applications à enjeux élevés. Deux approches existantes tentent de remédier à cela mais font face à des limitations significatives :

1. Jeux de Prouveur-Vérificateur (PVG) : Des cadres comme le classificateur Merlin-Arthur (MAC) offrent des garanties d'interprétabilité formelle en faisant en sorte qu'un « prouveur » sélectionne des caractéristiques pour convaincre un « vérificateur ». Cependant, lorsqu'ils sont appliqués à des entrées de haute dimension (ex. : images brutes), ces modèles peinent à passer à l'échelle. L'optimisation des masques au niveau des pixels est numériquement difficile, et les explications résultantes (masques de pixels) sont souvent inintelligibles pour les humains.
2. Modèles à Goulot d'Étranglement de Concepts (CBM) : Ces modèles structurent les prédictions via des concepts intermédiaires interprétables par l'humain. Bien qu'ils offrent une meilleure explicabilité, les CBM standards reposent généralement sur des classificateurs linéaires sur des encodages de concepts. Cela restreint l'expressivité, échouant à capturer les interactions non linéaires complexes entre les concepts (ex. : problèmes XOR, comptage), ce qui conduit à un « écart interprétabilité-précision ».

Le défi central est de combiner la vérifiabilité formelle des PVG avec l'évolutivité et l'interprétabilité des modèles basés sur les concepts sans sacrifier le pouvoir prédictif.

Méthodologie : Neural Concept Verifier (NCV)

Les auteurs introduisent le Neural Concept Verifier (NCV), un cadre unifié qui déplace l'interaction prouveur-vérificateur de l'espace des pixels bruts vers un espace de concepts symboliques structuré.

Architecture du Cadre

Le NCV se compose de trois composantes principales entraînées conjointement :

1. Extracteur de Concepts ($g$) : Un modèle supervisé faiblement ou non supervisé (ex. : Neural Concept Binder ou SpLiCE basé sur CLIP) qui transforme l'entrée brute $x$ en un encodage de concept de haute dimension $c \in \mathbb{R}^C$. Ce module est maintenu gelé pendant l'entraînement du NCV.
2. Prouveurs ($M, \bar{M}$) : Deux agents compétiteurs opérant sur l'encodage de concept :
   • Merlin (Prouveur Coopératif) : Sélectionne un sous-ensemble épars de concepts $S$ destiné à soutenir la classification correcte.
   • Morgana (Prouveur Adversaire) : Sélectionne un sous-ensemble épars de concepts $\bar{S}$ destiné à induire le vérificateur en erreur.
     Les deux produisent des masques binaires épars de taille $m$.
3. Vérificateur ($A$) : Un classificateur non linéaire (Arthur) qui effectue des prédictions basées exclusivement sur les sous-ensembles de concepts masqués fournis par les prouveurs. Il opère dans un espace de prédiction étendu $\{1, \dots, K, \perp\}$, lui permettant de s'abstenir (rejeter) en cas d'incertitude, ce qui est crucial pour la validité.

Objectif d'Entraînement

Le système est entraîné via un jeu min-max pour optimiser trois fonctions de perte :

• Perte de Merlin ($L_M$) : Encourage le vérificateur à classer correctement sur la base des concepts sélectionnés par Merlin (Complétude).
• Perte de Morgana ($L_{\bar{M}}$) : Encourage le vérificateur à ne pas être induit en erreur par les concepts de Morgana (Validité). Le vérificateur est pénalisé s'il prédit un mauvais label sur le sous-ensemble de Morgana ; cependant, il est récompensé pour son abstention ($\perp$) plutôt que pour une erreur confiante.
• Perte du Vérificateur ($L_A$) : Une combinaison pondérée : $L_A = (1-\gamma)L_M + \gamma L_{\bar{M}}$. L'hyperparamètre $\gamma$ équilibre le compromis entre la performance prédictive (complétude) et la robustesse contre les concepts adverses (validité).

Garanties Théoriques

Le NCV hérite des garanties d'information théorique du cadre Merlin-Arthur. En opérant dans l'espace des concepts, le cadre définit la Complétude (la probabilité que le vérificateur récupère le vrai label à partir du sous-ensemble de Merlin) et la Validité (la probabilité que le vérificateur évite un mauvais label sous le sous-ensemble de Morgana). Sous des hypothèses spécifiques concernant la corrélation des caractéristiques et le déséquilibre des classes, une complétude et une validité élevées impliquent que la sélection éparse de concepts par Merlin porte une information mutuelle élevée avec le label de vérité terrain, fournissant un certificat de fidélité.

Contributions Clés

1. Intégration de Cadre : Propose le NCV, le premier cadre intégrant des représentations basées sur les concepts dans les jeux de Prouveur-Vérificateur, ce qui permet de passer à l'échelle les PVG aux données d'images de haute dimension.
2. Évolutivité : Démontre qu'opérer sur des encodages de concepts compacts surmonte les goulots d'étranglement de calcul et d'évolutivité des PVG basés sur les pixels.
3. Expressivité : Permet un raisonnement non linéaire expressif sur les concepts, réduisant ainsi l'écart interprétabilité-précision inhérent aux modèles Concept Bottleneck linéaires.
4. Robustesse : Montre que la configuration d'entraînement adversaire aide à atténuer l'apprentissage de raccourcis (shortcut learning), encourageant les modèles à s'appuyer sur des caractéristiques robustes et pertinentes pour la tâche plutôt que sur des corrélations spécieuses.

Résultats Expérimentaux

Les auteurs ont évalué le NCV sur des jeux de données synthétiques (CLEVR-Hans3, CLEVR-Hans7) et réels (CIFAR-100, ImageNet-1k, COCOLogic).

• Performance vs Baselines : Le NCV a systématiquement atteint une complétude (précision) élevée et une validité quasi parfaite. Sur CLEVR-Hans3, il a surpassé à la fois les CBM linéaires et les baselines opaques ResNet-18. Sur les jeux de données réels comme CIFAR-100 et COCOLogic, le NCV a surpassé les CBM linéaires et non linéaires et a même égalé ou dépassé la précision de ResNet-50 tout en maintenant l'interprétabilité.
• Comparaison avec le PVG basé sur les Pixels : Le Pixel-MAC (un PVG basé sur les pixels) a échoué ou a mal performé sur les jeux de données réels de haute dimension, tandis que le NCV a réussi son passage à l'échelle.
• Interprétabilité : L'analyse qualitative a montré que le NCV produit des explications de concepts éparses et sémantiquement significatives (ex. : « petite sphère métallique ») par rapport aux masques de pixels diffus et peu informatifs générés par Pixel-MAC.
• Atténuation des Raccourcis : Dans les expériences avec des corrélations spécieuses (CLEVR-Hans), le NCV a démontré une robustesse supérieure. À mesure que la quantité de données propres augmentait, le NCV réduisait sa dépendance aux raccourcis plus rapidement que les variantes de CBM linéaires et non linéaires, atteignant la précision de test la plus élevée dans les contextes avec une supervision propre limitée.

Signification et Revendications

L'article positionne le NCV comme une étape prometteuse vers une IA de niveau conceptuel et vérifiable. Les auteurs affirment que le NCV réussit à combler le fossé entre les garanties formelles de la vérification de type théorie des jeux et l'évolutivité pratique requise pour les données de haute dimension.

Le travail ne prétend pas résoudre tous les défis d'interprétabilité. Les auteurs reconnaissent des limitations, notamment :

• La dépendance à la qualité de l'extracteur de concepts sous-jacent (des concepts bruités dégradent les performances).
• Une complexité d'entraînement et un coût computationnel accrus par rapport aux CBM linéaires.
• Les biais hérités des modèles de fondation pré-entraînés (ex. : CLIP) utilisés pour la découverte de concepts.
• Les garanties théoriques sont plus directement évaluables dans des espaces de concepts discrets et de dimension modérée ; dans les espaces continus denses, les bornes servent de motivation théorique plutôt que de quantité directement mesurée.

En fin de compte, l'article soutient que le NCV offre une voie pour déployer des modèles dignes de confiance où les justifications vérifiables et compréhensibles par l'humain sont essentielles, tant en termes de performance prédictive que de justification.