🤖 machine learning

RECAST: Model Reconstruction via Counterfactual-Aware Wasserstein Geometry under Limited Data

Le papier propose RECAST, une nouvelle méthode pour reconstruire des modèles d'apprentissage automatique de type boîte noire avec une haute fidélité et une efficacité de requête sous des données limitées et un accès restreint en exploitant des explications contrefactuelles au sein d'un cadre d'optimisation barycentrique de Wasserstein afin de permettre un audit d'équité robuste.

Auteurs originaux : Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

Publié 2026-06-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « boîte noire »

Imaginez qu'une banque utilise un système informatique mystérieux et de haute technologie (une « boîte noire ») pour décider qui obtient un prêt. Vous faites une demande, et l'ordinateur répond « Non ». Vous demandez : « Pourquoi ? », et l'ordinateur vous donne une Explication Contrefactuelle (EC) : « Si votre revenu avait été supérieur de 5 000 $, vous auriez été approuvé ».

Cette explication est utile pour vous, mais elle est aussi un indice pour un auditeur tiers (comme un régulateur gouvernemental) qui souhaite vérifier si l'ordinateur de la banque est équitable ou biaisé. L'auditeur veut construire un modèle de substitution — un système copieur qui imite les décisions de la banque afin de pouvoir les étudier sans avoir besoin de demander à la banque son code secret ou un accès illimité à sa base de données.

Le problème : Le copieur « trop sûr de lui »

L'article souligne une faille majeure dans la manière dont les gens essaient habituellement de construire ces copies à l'aide de contrefactuels.

L'analogie :
Imaginez que vous essayiez d'apprendre où se trouve la frontière entre la « Zone Sûre » (Classe 0) et la « Zone de Danger » (Classe 1) sur une carte.

Vous avez une liste de personnes qui étaient en sécurité (Classe 0).
Vous avez également une liste de scénarios « Et si » : « Si cette personne de la Zone Sûre avait un peu plus d'argent, elle serait dans la Zone de Danger ».

L'erreur :
Les anciennes méthodes traitaient ces scénarios « Et si » comme s'il s'agissait de personnes réelles vivant réellement dans la Zone de Danger.

Le résultat : Le modèle copieur s'embrouille. Il se dit : « Oh, ces personnes "Et si" sont certainement dans la Zone de Danger ! ». Il trace donc la ligne de frontière trop loin, réduisant ainsi la Zone Sûre.
La conséquence : Le copieur devient trop sûr de lui. Il commence à étiqueter des personnes sûres comme dangereuses simplement parce qu'elles sont proches des scénarios « Et si ». Il a également tendance au surapprentissage (mémoriser le bruit) lorsqu'il y a peu de données disponibles.

La solution : RECAST (Le « cartographe intelligent »)

Les auteurs proposent une nouvelle méthode appelée RECAST. Au lieu de traiter les scénarios « Et si » comme des faits durs, ils les traitent comme des indices souples qui aident à façonner la carte sans forcer la frontière à un endroit précis.

Voici comment fonctionne RECAST, divisé en trois étapes simples :

1. Le « Nuage » vs le « Point »

L'ancienne méthode : Ils essayaient de fixer les scénarios « Et si » à un point unique sur la carte.
La méthode RECAST : Ils réalisent qu'un scénario « Et si » est flou. Ce n'est pas un point unique ; c'est un nuage de possibilités. RECAST utilise un outil mathématique appelé Géométrie de Wasserstein (pensez à un « calculateur de distance pour nuages de données ») pour comprendre la forme du groupe « Sûr » et du groupe « Danger » comme des nuages entiers, plutôt que comme de simples points individuels.

2. Le « Barycentre » (La moyenne parfaite)

RECAST crée un prototype (un représentant moyen parfait) pour le groupe Sûr et un prototype pour le groupe de Danger.

Il prend les vraies personnes « Sûres » et les scénarios « Et si » et les mélange pour trouver le centre du nuage.
Crucialement, il ne laisse pas les scénarios « Et si » entraîner le centre trop loin. Il les traite comme étant moins certains que les personnes réelles.
Analogie : Imaginez que vous essayiez de trouver le centre d'une foule. Vous avez 100 personnes réelles debout là. Et 10 personnes tenant des pancartes disant « Nous pourrions être ici si nous bougeions ». RECAST place les personnes réelles avec un poids total et les porteurs de pancartes avec un poids réduit de moitié. Cela permet de garder le centre de la foule précis, même si les porteurs de pancartes sont un peu dispersés.

3. La « Lentille » de l'incertitude

Parce que l'auditeur dispose de données limitées (peut-être n'a-t-il reçu que 100 réponses « Et si » de la part de la banque), RECAST admet : « Nous ne sommes pas sûrs à 100 % de l'endroit exact où se trouve la frontière ».

Au lieu de tracer une ligne nette, RECAST trace une zone en forme de lentille où la frontière pourrait se trouver.
Il construit un modèle qui fonctionne bien, peu importe où la frontière se trouve réellement à l'intérieur de cette lentille. Cela rend le modèle robuste (stable) même si les données sont bruitées ou incomplètes.

Pourquoi cela importe (Les résultats)

L'article a testé RECAST sur des données réelles (comme des demandes de prêt et des scores de risque criminel) et a constaté que :

Une meilleure précision avec moins de données : Lorsque l'auditeur ne dispose que d'un petit nombre de requêtes (données limitées), RECAST construit un copieur bien meilleur que les méthodes précédentes. Il ne s'embrouille pas avec les scénarios « Et si ».
Audit de l'équité : Parce que RECAST comprend la « forme » des nuages de données, il peut dire si la banque traite différents groupes (par exemple, hommes vs femmes) de manière injuste. Il peut voir si le « nuage » d'un groupe est poussé plus près de la zone de danger qu'un autre, même sans connaître la formule secrète exacte.
Stabilité : Même si les données sont un peu désordonnées ou bruitées, RECAST ne s'effondre pas. Il reste stable car il repose sur la forme globale des groupes, et non sur des points individuels.

Résumé

RECAST est une nouvelle façon de rétro-concevoir un système d'IA de type boîte noire lorsque vous n'avez que quelques indices (Contrefactuels). Au lieu de faire aveuglément confiance à ces indices comme à des faits durs, il les traite comme des indices souples et flous. En utilisant une approche de « forme de nuage » mathématique, il construit un modèle copieur qui est précis, équitable et qui ne s'embrouille pas lorsque les données sont rares.

Résumé Technique : RECAST

Énoncé du Problème

L'article traite du défi de la reconstruction de modèle (créer un modèle de substitution pour imiter un classifieur boîte noire) dans des conditions d'accès aux données sévèrement limitées et de budgets de requêtes restreints. Ce scénario est courant lors de l'audit des plateformes de Machine Learning-as-a-Service (MLaaS), où les tiers ne peuvent pas interagir de manière interactive avec le modèle cible pendant la reconstruction et doivent s'appuyer sur un ensemble de données fixes et hors ligne.

Plus précisément, les auteurs se concentrent sur les configurations où seuls des explications contrefactuelles (CF) unidirectionnelles sont disponibles. Dans de nombreuses applications réelles (par exemple, les refus de prêt), les utilisateurs reçoivent des explications sur la manière de changer un résultat négatif en un résultat positif, mais pas l'inverse. Les méthodes de reconstruction existantes basées sur les CF font face à trois limitations critiques dans ce régime :

Décalages de la frontière de décision : Traiter les CF comme des échantillons étiquetés de manière stricte (hard-labeled) de la classe cible provoque un excès de confiance du substitut dans les régions proches de la frontière, déplaçant incorrectement la surface de décision (comme illustré dans la Figure 1).
Surapprentissage (Overfitting) : Les approches basées sur les réseaux de neurones peinent face au surapprentissage lorsque les données d'entraînement sont rares et que les budgets de requêtes sont serrés.
Non-identifiabilité : Sous un accès CF unidirectionnel et des requêtes limitées, la véritable frontière de décision est statistiquement non-identifiable ; plusieurs classifieurs distincts peuvent produire des comportements entrée-sortie identiques. Par conséquent, tenter de récupérer une frontière géométrique unique est un problème mal posé.

Méthodologie : RECAST

Les auteurs proposent RECAST (REconstruction via Counterfactual-Aware Wasserstein Step optimization — Note : l'acronyme original semble être une construction spécifique), une approche centrée sur le comportement qui reconstruit des distributions de niveau classe plutôt que des frontières de décision explicites.

1. Ensembles d'incertitude cohérents avec les CF

Au lieu de supposer que les CF se situent exactement sur la frontière de décision, RECAST les traite comme des contraintes de classe croisées douces (soft constraints). Il définit un ensemble réalisable cohérent avec les CF $\mathcal{C}_c$ pour chaque classe $c \in \{0, 1\}$ . Cet ensemble est l'intersection de deux balles de Wasserstein :

Une centrée sur la distribution conditionnelle de classe empirique $P_c$ .
Une centrée sur la distribution contrefactuelle unidirectionnelle $P_{cf}$ .

Cela crée un ensemble d'ambiguïté en forme de "lentille" dans l'espace de Wasserstein, encodant à la fois l'incertitude d'échantillonnage et les contraintes géométriques imposées par les contrefactuels.

2. Barycentres de Wasserstein robustes

Pour trouver un représentant stable pour chaque classe au sein de cet ensemble d'incertitude, RECAST calcule des barycentres de Wasserstein. Le Théorème 3.2 établit que la minimisation du risque de reconstruction distributionnel dans le pire des cas sur l'ensemble réalisable est équivalente à la recherche d'un prototype $Q_c^*$ qui minimise une somme pondérée de distances de Wasserstein au carré :
$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$
Ici, $Q_c^*$ est le barycentre de 2-Wasserstein des données de classe originales et des données contrefactuelles. Le poids de mélange $\lambda_c$ est dérivé canoniquement de la géométrie relative des distributions ( $P_c$ , $P_{cf}$ , et la classe opposée $P_{1-c}$ ), garantissant que la méthode ne nécessite pas de réglage explicite des rayons d'incertitude.

3. Classifieur de prototype barycentrique

Le modèle de substitution final $\hat{m}$ classifie une entrée $x$ en comparant sa distance de Wasserstein aux prototypes de classe appris :
$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$
où $\delta_x$ est la mesure de Dirac en $x$ . Ce classifieur est identifiable par les CF, ce qui signifie que son comportement de décision est invariant aux réalisations spécifiques des distributions sous-jacentes au sein de l'ensemble d'incertitude.

4. Diagnostics d'équité

Le cadre adapte la Parité Démographique Invariante au Seuil (TIDP) et l'Égalité des Chances Invariante au Seuil (TIEO) à la géométrie de Wasserstein. En comparant les distributions des scores basés sur Wasserstein entre les groupes sensibles, la méthode fournit un diagnostic systématique des disparités d'équité qui persiste à travers tous les seuils de décision, indépendamment d'un point de coupure spécifique.

Contributions Clés

Cadre RECAST : Une solution novatrice pour la reconstruction de modèle comportementale utilisant des prototypes barycentriques de Wasserstein conscients des contrefactuels, spécifiquement conçue pour un accès hors ligne et unidirectionnel aux CF.
Fondement Théorique : Preuve que la minimisation des bornes de risque robuste sous une incertitude cohérente avec les CF conduit à des barycentres de Wasserstein, fournissant une représentation géométrique stable des distributions de classe même lorsque la frontière est non-identifiable.
Outil d'Audit d'Équité : Un diagnostic basé sur la géométrie qui quantifie les disparités distributionnelles entre les groupes sensibles par rapport à la géométrie de décision reconstruite.
Validation Empirique : Expérimentations approfondies sur quatre jeux de données réels (Adult, COMPAS, HELOC, California Housing) démontrant que RECAST atteint une fidélité et une efficacité de requête supérieures aux bases de comparaison (SAMPLES, CCA, TRA), particulièrement dans les régimes de faible nombre de requêtes et sous des conditions de bruit.

Résultats Expérimentaux

Fidélité : RECAST surpasse systématiquement les méthodes de base en termes de fidélité (accord avec les prédictions du modèle cible) à travers divers modèles cibles (MLP, Régression Logistique, Arbres de Décision) et jeux de données. Il montre un avantage distinct dans les régimes de faible requête (ex: 100 échantillons), là où les autres méthodes souffrent de surapprentissage ou de décalages de frontière.
Robustesse : La méthode démontre une stabilité supérieure sous l'effet d'un bruit additif et de changements de distribution (ex: évaluation cross-domaine de California vers Michigan). Alors que les méthodes de base se dégradent significativement près du seuil de décision, RECAST se dégrade de manière progressive.
Générateurs de CF : RECAST maintient une haute fidélité quel que soit le générateur de contrefactuels utilisé (MCCF, DiCE, ROAR, etc.), tandis que les méthodes de base sont très sensibles aux propriétés spécifiques et au comportement de "dépassement" (overshooting) des CF.
Équité : Les diagnostics proposés montrent que RECAST préserve plus fidèlement les caractéristiques d'équité du modèle cible que les méthodes concurrentes, même sous perturbation.

Signification et Revendications

L'article positionne RECAST comme un outil pratique pour auditer des systèmes de décision opaques dans des domaines à enjeux élevés (finance, justice pénale, santé) où l'accès aux données est restreint et les budgets de requêtes limités.

Focus Comportemental : Les auteurs soulignent que sous un accès CF unidirectionnel, récupérer une frontière de décision de vérité terrain unique est impossible. Au lieu de cela, RECAST se concentre sur l'équivalence comportementale, reconstruisant la relation entrée-sortie qui est statistiquement identifiable.
Pertinence Réglementaire : Ce travail soutient les objectifs de l'IA Act de l'UE et de réglementations similaires en permettant une investigation indépendante du comportement des modèles, de la transparence et de l'équité sans nécessiter l'accès aux paramètres internes ou aux données d'entraînement du modèle.
Limites : Les auteurs notent modestement que l'approche actuelle est limitée à la classification binaire et repose sur l'hypothèse d'une observation passive (pas d'interaction antagoniste stratégique avec la plateforme). Ils reconnaissent également que bien que la distance de Wasserstein soit coûteuse en calcul, elle reste traitable dans les régimes de faibles données pour lesquels la méthode est conçue.

En résumé, RECAST offre une approche mathématiquement rigoureuse et empiriquement validée pour reconstruire des modèles boîte noire lorsqu'un retour contrefactuel unidirectionnel limité est disponible, privilégiant la stabilité et la fidélité comportementale plutôt que la tâche impossible de la récupération de frontière.