Résumé Technique : Explications Contrefactuelles Robustes Guidées par la Densité sur des Données Tabulaires sous Multiplicité de Modèles

1. Énoncé du Problème

Les explications contrefactuelles (CE - Counterfactual Explanations) sont essentielles pour le recours algorithmique, identifiant les perturbations minimales pour changer la prédiction d'un modèle vers un résultat souhaité. Cependant, leur fiabilité est souvent compromise dans les régions de faible densité de la distribution des données. Dans ces zones éparses, les classifieurs présentent une variance élevée (l'effet Rashomon), entraînant un désaccord significatif entre les modèles plausibles. Par conséquent, les CE standards générées en minimisant la distance tombent souvent dans les « queues longues » de la distribution cible, où la validité ne se généralise pas à travers différentes architectures de modèles.

Cet article traite des Explications Contrefactuelles Robustes (RCE) sous la contrainte de Multiplicité de Modèles (MM). L'objectif est de générer des contrefactuels qui restent valides à travers un ensemble hétérogène de modèles boîtes noires, tout en garantissant que les instances générées résident dans des régions de haute confiance et de haute densité du collecteur (manifold) de la classe cible. Le défi est accentué dans les contextes de boîte noire où l'ensemble cible est inaccessible, et où les méthodes existantes reposant sur les intersections d'ensembles souffrent de coûts de calcul prohibitifs et d'une faible extensibilité.

2. Méthodologie : DensityFlow

Les auteurs proposent DensityFlow, un cadre génératif qui reformule la RCE comme un problème de transport optimal guidé par la densité. Le cadre couple trois composantes principales :

A. Estimation de Densité Conditionnelle basée sur la NCE

Pour éviter les régions de faible densité, la méthode estime explicitement la densité conditionnelle de classe $p(x|y^*)$. Au lieu d'apprendre la densité de manière isolée, les auteurs reformulent le problème à $K$ classes en une tâche de discrimination à $(K+1)$ voies utilisant l'Estimation de Contraste de Bruit (NCE - Noise Contrastive Estimation).

• Un classifieur substitut unifié $f_\phi$ est entraîné pour distinguer les classes sémantiques d'une classe de bruit auxiliaire (bruit uniforme).
• Théoriquement, la différence entre les logits de la classe cible $y^*$ et de la classe de bruit $K+1$ sert de proxy différentiable du rapport de log-densité : $z^*_{y^*}(x) - z^*_{K+1}(x) \approx \log p(x|y^*) + C$.
• Cela fournit un score de densité différentiable $S(x|y^*)$ qui guide le processus de génération loin des valeurs aberrantes incertaines et de faible densité.

B. Neural ODE Guidée par la Densité

La génération de contrefactuels est modélisée comme une dynamique de temps continu paramétrée par une ODE neuronale (Neural ODE).

• Optimisation de Trajectoire : Le générateur $v_\theta$ produit une trajectoire continue $z(t)$ transformant l'entrée $x$ en le contrefactuel $x'$.
• Guidage par la Densité : Les dynamiques de flux sont dirigées par le potentiel de densité appris. Un terme de pénalité de densité (implémenté comme une intégrale de chemin ou de point final d'une fonction ReLU) est ajouté à l'objectif, garantissant que la trajectoire reste dans la région de confiance de haute densité $X_{trust}(y^*)$.
• Minimisation du Coût : Le cadre minimise le coût de transport (énergie cinétique) via une ODE d'espace d'état augmenté, équilibrant le compromis entre robustesse (rester dans les régions de haute densité) et proximité (minimiser le coût de modification).

C. Distillation Locale Efficace en Requêtes

Pour les contextes de boîte noire où l'ensemble cible $\mathcal{M}$ est inaccessible, les auteurs introduisent un mécanisme de distillation de proxy local.

• Plutôt que d'aligner le substitut $f_\phi$ globalement (ce qui est intraitable), la méthode l'aligne strictement sur la trajectoire de génération de la CE.
• Le substitut est affiné sur un ensemble de points visités par le générateur, en utilisant le consensus de l'ensemble comme vérité terrain.
• Cette stratégie minimise les requêtes redondantes à l'ensemble boîte noire, car le guidage par la densité dirige naturellement le générateur vers des régions significatives et de haute confiance, évitant les espaces vides de faible densité où l'alignement serait inutile.

3. Principales Contributions

1. Cadre de Neural ODE Guidé par la Densité : Un cadre génératif qui contraint la génération de contrefactuels au collecteur de données de haute densité en utilisant une Neural ODE dirigée par un potentiel de densité appris, évitant explicitement les régions incertaines.
2. Estimation de Densité Robuste via la NCE : Une formulation à $(K+1)$ voies exploitant l'Estimation de Contraste de Bruit pour apprendre un score de densité différentiable conjointement avec la tâche de classification. Les auteurs prouvent que ce score agit comme un proxy efficace de la densité d'échantillon et démontrent que l'optimisation conjointe empêche le surapprentissage sur les valeurs aberrantes éparses.
3. Distillation Locale Sensible à la Trajectoire : Une stratégie efficace en requêtes pour les contextes de boîte noire qui aligne un substitut léger avec l'ensemble cible uniquement dans les régions visitées lors de la génération, réduisant considérablement les coûts de requête tout en maintenant la fidélité des gradients.

4. Résultats Expérimentaux

Les auteurs ont évalué DensityFlow sur huit jeux de données (quatre synthétiques, quatre réels tabulaires) contre des lignes de base de pointe (Product_mip, CeFlow, Argument, BetaRCE) sous un ensemble de sept classifieurs boîte noire hétérogènes.

• Robustesse et Validité : DensityFlow a systématiquement obtenu une validité supérieure à travers l'ensemble. Par exemple, sur le jeu de données Adult, il a atteint 90,1 % de validité contre 75,2 % pour la ligne de base Argument et 69,1 % pour CeFlow. Sur les jeux de données synthétiques comme Moons et Circles, la validité a dépassé 99 %.
• Efficacité du Coût : La méthode maintient des coûts de transport compétitifs. Sur le jeu de données Adult, DensityFlow a atteint un coût de 1,597, nettement inférieur à celui de CeFlow (3,959) et compétitif avec la ligne de base Argument (1,916), démontrant qu'il ne sacrifie pas la proximité pour la robustesse.
• Efficacité des Requêtes : Dans les scénarios de boîte noire, DensityFlow a nécessité nettement moins de requêtes que les méthodes itératives. La stratégie de distillation locale a permis à la validité des CE de saturer rapidement avec un petit budget de requêtes.
• Études d'Ablation : Le retrait du terme de densité a systématiquement réduit la validité sur tous les jeux de données, confirmant la nécessité du guidage par la densité. De même, le retrait du module de distillation a dégradé les performances, particulièrement sur le jeu de données Blood.
• Analyse de Corrélation : Les expériences ont confirmé une forte corrélation négative entre le score de densité appris et l'incertitude de l'ensemble (mesurée par l'information mutuelle), validant que les régions de haute densité correspondent à un haut consensus des modèles.

5. Signification et Revendications

L'article affirme que DensityFlow redéfinit la génération de contrefactuels robustes en déplaçant l'accent de la simple minimisation de la distance vers un transport optimal contraint par la densité.

• Contribution Théorique : Il fournit un lien théorique entre l'estimation de densité basée sur la NCE et la robustesse, montrant que la maximisation du score de densité minimise implicitement la variance prédictive à travers les ensembles de modèles.
• Impact Pratique : En intégrant la robustesse directement dans la dynamique de génération (via la Neural ODE) plutôt qu'en s'appuyant sur des intersections d'ensembles post-hoc coûteuses, la méthode atteint une robustesse de pointe avec un minimum de coûts de requête.
• Limites : Les auteurs reconnaissent que le passage à l'échelle vers des données de très haute dimension reste difficile en raison de la malédiction de la dimensionnalité. Ils suggèrent la sélection de caractéristiques (ex: LassoNet) comme stratégie d'atténuation, mais notent le risque de couplage causal entre les caractéristiques écartées et conservées. De plus, le cadre repose sur l'apprentissage du support conditionnel de classe, qui peut être affaibli par un déséquilibre extrême des classes ou des étiquettes bruitées.

Ce travail positionne le guidage sensible à la distribution non pas comme un remplacement des contraintes spécifiques aux applications, mais comme un complément crucial pour garantir que les recommandations sont cohérentes et moins susceptibles de reposer sur des configurations de caractéristiques extrêmes ou improbables dans des prises de décision à enjeux élevés.