Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Résumé Technique : Au-delà du L2 : Généralisation des Explications Latentes Abductives à Diverses Architectures Basées sur des Prototypes

Énoncé du Problème
Les réseaux de neurones basés sur des prototypes (PBN) sont reconnus comme des architectures « interprétables par conception » qui justifient les prédictions en se référant à des exemples d'entraînement similaires (prototypes). Récemment, les Explications Latentes Abductives (ALE) ont été introduites pour fournir des explications formelles, mathématiquement garanties, pour ces réseaux en calculant des bornes serrées sur les distances dans l'espace latent. Cependant, les formulations ALE existantes sont rigidement confinées aux espaces latents euclidiens utilisant des distances $L_2$. Cela crée une lacune critique : les PBN modernes de pointe utilisent de plus en plus des représentations non euclidiennes, incluant des métriques sphériques (similitude cosinus), des densités gaussiennes et des projections dimensionnelles (softmax). Les méthodes d'explication formelles actuelles sont incompatibles avec ces diverses structures géométriques, empêchant une analyse d'interprétabilité rigoureuse à travers tout le spectre des architectures basées sur des prototypes.

Méthodologie
Les auteurs généralisent le cadre ALE pour supporter des architectures de prototypes non euclidiennes en dérivant des algorithmes de bornage spécifiques pour différentes variantes géométriques. L'objectif central reste le même : calculer des ensembles de prototypes minimaux pour la sous-partie qui garantissent la prédiction d'un modèle en resserrant de manière itérative les bornes sur les valeurs d'activation.

1. Similitude Cosinus (Géométrie Sphérique) : Pour les architectures comme TesNet qui utilisent une similitude de produit scalaire sur une sphère unité, les auteurs adaptent le raisonnement à la géométrie sphérique. Puisque la similitude cosinus ne satisfait pas l'inégalité triangulaire standard, ils utilisent la Distance Angulaire ($d_\angle$) pour dériver des bornes. Ils introduisent une Approximation d'Intersection de Calotte Sphérique, où l'intersection de deux calottes sphériques (définies par un patch et deux prototypes) est bornée par une calotte sphérique d'enveloppe à rayon minimal. Cela permet de dériver des bornes inférieures et supérieures serrées sur la similitude entre un patch latent et des prototypes non observés.
2. Projection Dimensionnelle (Géométrie du Simplex) : Pour les architectures comme PIP-Net qui projettent les activations vers un simplex de probabilité via une fonction softmax, le raisonnement géométrique passe des distances spatiales à la conservation de la masse de probabilité. Les auteurs proposent une Explication de Simplex où l'ajout d'une paire $\langle \text{patch}, \text{prototype} \rangle$ à l'explication « consomme » une partie de la masse de probabilité, limitant strictement la borne supérieure des prototypes restants. Ils introduisent également une Explication de Poids Creux (Sparse-Weight) pour les modèles avec des têtes de classification creuses et non négatives, ce qui permet un calcul exact du score pour la classe prédite et un bornage serré pour les classes concurrentes.
3. Similitude Gaussienne Isotrope : Pour les réseaux probabilistes (ex: ProtoGMM) où les prototypes sont des distributions gaussiennes, les auteurs ramènent le problème à un espace euclidien universel. En supposant une covariance isotrope, ils récupèrent une « vraie » distance euclidienne à partir du score de similitude. Ils appliquent l'Approximation d'Intersection d'Hypersphère (HIA) standard dans cet espace euclidien mappé, puis projettent les bornes géométriques résultantes dans l'espace d'activation spécifique du modèle.
4. Similitude Focal : Pour les architectures comme ProtoPool qui utilisent le pooling focal pour supprimer le bruit de fond, les auteurs démontrent que les bornes ALE spatiales existantes peuvent être agrégées pour borner les statistiques agrégées (valeurs maximales et attendues) requises pour l'opération de pooling focal, sans modifier le solveur géométrique sous-jacent.

Contributions Clés

• Généralisation de l'ALE : Le papier étend le cadre ALE au-delà des espaces euclidiens $L_2$ pour supporter les métriques sphériques, les densités gaussiennes et les projections basées sur le simplex.
• Nouveaux Algorithmes de Bornage : Les auteurs dérivent systématiquement comment mapper diverses architectures vers des bornes existantes ou construire de nouveaux algorithmes de bornage spécifiques à l'architecture (ex: Intersection de Calotte Sphérique, conservation de la masse de Simplex).
• Cadre Unifié : En unifiant ces divers modèles sous un seul cadre formel, ce travail permet la première comparaison rigoureuse de l'interprétabilité entre les architectures.
• Validation Empirique : Les auteurs valident ces constructions théoriques en calculant des explications formelles de sous-ensembles minimaux sur des classificateurs d'images entièrement entraînés sur plusieurs jeux de données (Oxford Flowers 102, Oxford IIIT Pet, CUB200) et diverses architectures (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet).

Résultats
Les expériences révèlent des compromis significatifs entre la taille de l'explication (interprétabilité) et le coût computationnel à travers différents paradigmes :

• PIP-Net : Les modèles avec des têtes linéaires creuses et non négatives (PIP-Net) produisent les tailles d'explication absolues les plus petites et les temps de calcul les plus rapides (environ 0,07s), suggérant qu'ils sont intrinsèquement plus compatibles avec la vérification formelle.
• Paradigme du Simplex : Le paradigme d'explication de Simplex (pour PIP-Net) atteint la plus petite taille d'explication relative (0,1 %–0,2 %), indiquant une excellente extensibilité avec les dimensions de l'espace latent.
• Modèles Gaussiens : Le HIA mis à l'échelle fournit les tailles d'explication relatives les plus petites (4,6 %–6,2 %) mais entraîne la surcharge de calcul la plus élevée (jusqu'à 142s), certaines configurations expirant (timeout) sur des jeux de données plus larges.
• Modèles Cosinus/Sphériques : Bien que le HIA Sphérique atteigne des tailles relatives compétitives, le TI Cosinus et le HIA Sphérique souffrent tous deux d'une variance élevée et de problèmes d'extensibilité, échouant souvent par timeout sur le jeu de données CUB200.
• Métrique : Les auteurs introduisent une métrique de « Taille Relative » pour normaliser les tailles d'explication à travers différents paradigmes, fournissant un indicateur robuste de l'interprétabilité architecturale intrinsèque indépendamment du nombre total de prototypes.

Signification
Le papier affirme fournir la première comparaison quantitative de l'interprétabilité formelle à travers divers réseaux basés sur des prototypes. En étendant l'ALE aux espaces non euclidiens, il comble le fossé entre les garanties théoriques de l'XAI Formelle et la réalité pratique des architectures modernes et diverses basées sur des prototypes. Ce travail met en évidence des principes de conception spécifiques — tels que l'utilisation de têtes creuses et non négatives — qui mènent à une meilleure interprétabilité formelle. Il établit que, bien que la précision géométrique (ex: dans les modèles gaussiens ou sphériques) puisse offrir des bornes serrées, elle s'accompagne souvent d'un coût de calcul important, soulignant la nécessité d'une conception architecturale prudente pour équilibrer les garanties d'interprétabilité et l'extensibilité.