🤖 machine learning

FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents

FairDiffuseVQVAE introduit une architecture novatrice à deux étapes qui découple la fidélité des données de l'équité en utilisant un auto-encodeur vectoriellement quantifié suivi d'un raffineur de diffusion conditionnel, atteignant une parité démographique et une égalité des chances supérieures sur les ensembles de données tabulaires sans compromettre la qualité des échantillons grâce à des pénalités d'équité explicites lors de l'entraînement.

Auteurs originaux : Nitish Nagesh, Mahdi Bagheri, Amir M. Rahmani

Publié 2026-08-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nitish Nagesh, Mahdi Bagheri, Amir M. Rahmani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef tentant de recréer un plat célèbre et complexe pour un banquet massif. Vous avez une recette (la donnée) qui décrit exactement le goût du plat original, mais il y a un piège : la recette originale a été écrite par un cuisinier biaisé qui ajoutait toujours du sel supplémentaire à la soupe si l'invité portait un chapeau rouge, et du poivre supplémentaire s'il portait un chapeau bleu. Si vous suivez simplement la recette à la lettre, votre nouveau banquet aura un goût tout aussi injuste. C'est le monde des données synthétiques : la création de jeux de données factices mais réalistes pour entraîner des ordinateurs sans exposer les informations privées de personnes réelles. L'objectif est que la donnée factice paraisse si réelle qu'un ordinateur puisse apprendre de celle-ci, mais sans copier le biais injuste du « chapeau rouge ».

Pour ce faire, les scientifiques utilisent deux outils principaux. D'abord, il y a les modèles de diffusion, qui sont comme un sculpteur commençant avec un bloc d'argile bruyant et informe, puis qui dégrossit lentement le bruit jusqu'à ce qu'une statue parfaite émerge. Ensuite, les auto-encodeurs vectoriellement quantifiés agissent comme un traducteur qui transforme une phrase longue et désordonnée en un code court et efficace (comme un mot de passe secret), puis la retransforme en phrase. La grande question que se posent les chercheurs est la suivante : comment s'assurer que la statue finale ne favorise pas accidentellement les chapeaux rouges par rapport aux chapeaux bleus, sans pour autant gâcher la forme de la statue ou la rendre artificielle ?

Voici FairDiffuseVQVAE, une nouvelle recette en deux étapes pour créer des données équitables. Les auteurs suggèrent qu'au lieu de tenter d'imposer l'équité dans les mains du sculpteur pendant qu'il est encore en train de dégrossir l'argile (ce qui ruine souvent la forme de la statue), nous devrions laisser le sculpteur se concentrer purement sur la création d'une statue belle et précise d'abord. Ensuite, tout à la fin, nous utilisons un « filtre d'équité » lors de l'étape finale de polissage.

Voici comment leur méthode fonctionne, étape par étape :

Étape 1 : Le Traducteur Honnête
D'abord, le système construit un « traducteur » (un auto-encodeur vectoriellement quantifié). Cette partie examine les données réelles et apprend à les compresser en un code compact et efficace, puis à les reconstruire parfaitement. Crucialement, cette étape est instruite d'ignorer totalement la « couleur du chapeau » (l'attribut protégé). Elle veut simplement faire la meilleure copie possible des données, sans aucune pénalité d'équité. C'est comme un photographe prenant une photo haute résolution d'une foule sans se soucier de qui porte quoi ; il veut simplement que la photo soit nette et fidèle à la réalité.

Étape 2 : Le Raffineur Équitable
Une fois que le traducteur a réalisé un brouillon des données, un second outil intervient : un raffineur de diffusion. C'est ici que la magie opère. Cet outil est entraîné pour prendre le brouillon et le polir, mais il a une instruction spéciale : il doit être capable de générer des données pour n'importe quelle couleur de chapeau, et pas seulement pour celles qui étaient communes dans la photo originale.

Le tour de force réside dans le Guidage sans Classificateur (Classifier-Free Guidance). Imaginez que le raffineur est un artiste capable de peindre une scène basée sur une description. Habituellement, il peint d'après ce qu'il a vu dans le monde réel. Mais ici, l'artiste est entraîné à parfois ignorer la description de la couleur du chapeau (pendant l'entraînement). Ensuite, au moment de créer la donnée factice finale, l'artiste reçoit une instruction spécifique : « Peignez une scène où exactement la moitié des gens portent des chapeaux rouges et l'autre moitié des chapeaux bleus. » Parce que l'artiste a été entraîné à comprendre comment peindre pour n'importe quelle couleur de chapeau, il peut suivre cette nouvelle instruction parfaitement. Il n'a pas besoin d'être puni pour être injuste ; il lui suffit de recevoir l'instruction d'être équitable au moment de la création.

Les Résultats : Un Compromis
L'article a testé cette méthode sur des jeux de données réels tels que des demandes de prêt et des dossiers de justice pénale. Les résultats sont frappants. En utilisant cette approche de « l'équité à la fin », la nouvelle méthode a atteint un Ratio de Parité Démographique de 0,702, soit une amélioration de 47 % par rapport à la meilleure méthode précédente (FairTabDDPM). Elle a également atteint un Ratio d'Égalité des Chances de 0,686, un bond massif de 100 %.

Cependant, l'article est honnête sur le coût. Pour obtenir ce niveau d'équité, le système a dû sacrifier un peu d'« utilité ». La précision d'un classificateur entraîné sur ces nouvelles données a chuté d'environ 15 points d'AUC par rapport aux modèles les plus précis (mais injustes). Les auteurs expliquent que cela est logique : si vous forcez les données à être parfaitement équitables, l'ordinateur ne peut plus utiliser les anciens raccourcis biaisés pour faire des prédictions, donc ses performances sur des tâches du monde réel peuvent légèrement diminuer. C'est un compromis délibéré : vous obtenez un système plus juste, mais vous pourriez perdre un peu de puissance prédictive brute.

Ce qu'il ne fait pas
L'article précise également ce que cette méthode ne fait pas. Elle ne nécessite pas une carte complexe de relations de cause à effet (comme un graphe causal) pour fonctionner, ce qui la rend plus facile à utiliser que d'autres méthodes. Cependant, elle n'offre pas de preuve mathématique qu'elle sera toujours équitable dans tous les scénarios possibles ; elle fonctionne grâce à la manière dont l'échantillonnage est effectué, et non par une garantie théorique. De plus, sur de très petits jeux de données, le système a parfois trop bien « mémorisé » les données d'entraînement, ce qui est un risque pour la confidentialité, bien qu'il ait bien fonctionné sur des jeux de données plus larges.

En bref, FairDiffuseVQVAE montre que nous n'avons pas à choisir entre un modèle réaliste et un modèle équitable en luttant durant le processus d'entraînement. Au lieu de cela, nous pouvons construire un modèle réaliste d'abord, puis simplement « tourner le bouton » à la fin pour garantir que le résultat final traite tout le monde de manière égale. C'est une façon ingénieuse et pratique d'incorporer l'équité dans la recette sans en gâcher le goût.

Résumé technique : FairDiffuseVQVAE

Problématique

Les données tabulaires synthétiques sont cruciales pour le partage respectueux de la vie privée, l'augmentation de données et l'atténuation des biais des classificateurs en aval. Bien que les modèles de diffusion de pointe comme TabDDPM et TabSyn atteignent une haute fidélité distributionnelle, ils héritent des biais statistiques des données d'entraînement sans mécanismes de justice (fairness). À l'inverse, les générateurs existants axés sur la justice (par exemple, DECAF, FairTGAN, FairTabDDPM) imposent généralement des pénalités de justice explicites pendant l'entraînement. Cette approche force souvent le modèle à équilibrer la reconstruction avec des pertes adverses ou auxiliaires, ce qui se traduit par des gains de justice modestes au prix d'une dégradation significative de la qualité des échantillons (erreur d'estimation de densité) ou de l'utilité en aval.

Méthodologie : FairDiffuseVQVAE

Les auteurs proposent FairDiffuseVQVAE, une architecture à deux étapes qui découple la fidélité de la justice. Au lieu de termes de perte concurrents, la justice est imposée comme une propriété de la distribution d'échantillonnage via un raffinement conditionnel.

Étape 1 : Autoencodeur vectorisé équitable (Fair VQ-Autoencoder)

Cette étape se concentre exclusivement sur l'apprentissage d'une représentation fidèle et compacte de données tabulaires de types mixtes, sans aucune contrainte de justice.

Architecture : Un autoencodeur de style VQGAN composé d'un encodeur ( $E_\phi$ ), d'un codebook discret ( $Z$ ), d'un décodeur ( $G_\theta$ ) et d'un discriminateur au niveau de la ligne ( $D_\xi$ ).
Processus : L'encodeur projette une ligne $\bar{x}$ vers des jetons latents $z_e$ , qui sont quantifiés vers l'entrée la plus proche du codebook $z_q$ . Le décodeur reconstruit la ligne conditionnée par l'attribut protégé $s$ , tandis que l'encodeur reste non conditionné.
Pertes : Le modèle minimise la perte de reconstruction (MSE pour le continu, Entropie Croisée pour le catégoriel), la perte d'engagement du codebook et une perte GAN adversaire. Crucialement, aucun terme de justice n'est inclus dans cette étape.

Étape 2 : Raffineur de diffusion conditionnel dans l'espace d'entrée

Cette étape raffine la reconstruction de l'Étape 1 dans l'espace d'entrée pour imposer la justice.

Architecture : Un raffineur de diffusion continu (style DiffuseVAE) utilisant une formulation EDM (Elucidating the Design Space). Il emploie un débruiteur MLP à 5 couches ( $D_\psi$ ).
Conditionnement : Le débruiteur est conditionné par trois entrées :
1. La reconstruction figée de l'Étape 1 ( $\hat{\bar{x}}_{VQ}$ ).
2. Le niveau de bruit $\sigma$ .
3. L'attribut protégé $s$ .
Entraînement : Le modèle est entraîné avec un guidage sans classificateur (Classifier-Free Guidance - CFG). Pendant l'entraînement, le signal de conditionnement $s$ est stochastiquement supprimé (avec une probabilité $p_{cfg}=0.3$ ) pour apprendre à la fois les distributions conditionnelles $p(\bar{x}|s)$ et non conditionnelles $p(\bar{x})$ .
Échantillonnage et imposition de la justice :
1. L'attribut protégé $s$ est tiré d'une distribution uniforme (par exemple, $Bernoulli(0.5)$) plutôt que de la marge biaisée des données.
2. Des indices de codebook aléatoires sont décodés pour former une première estimation.
3. Un échantillonneur Heun EDM en 50 étapes raffine cette estimation, conditionnée par l'attribut $s$ uniforme et la reconstruction de l'Étape 1.
4. L'échelle de guidage $w_{cfg}$ agit comme un bouton de réglage pour contrôler la force de la variété (manifold) conditionnelle.

En échantillonnant $s$ de manière uniforme et en conditionnant le processus de diffusion sur celui-ci, la distribution jointe synthétique $p_{synth}(\bar{x}, s) = Unif(s) \cdot p(\bar{x}|s)$ satisfait la Parité Démographique par construction.

Contributions clés

Architecture novatrice : Introduction d'un cadre à deux étapes combinant un autoencodeur de style VQGAN avec un raffineur de type DiffuseVAE dans l'espace d'entrée, spécifiquement conçu pour la synthèse tabulaire équitable.
Justice au moment de l'échantillonnage : Démonstration que la justice peut être obtenue sans pénalités de perte explicites en exploitant le guidage sans classificateur et l'échantillonnage uniforme de l'attribut protégé lors de l'inférence.
Performance de pointe : La méthode atteint le ratio moyen de Parité Démographique (DPR) et le ratio d'Égalité des Chances (EOR) les plus élevés sur le benchmark de Yang et al. (2025), surpassant nettement les précédents modèles génératifs axés sur la justice.
Haute fidélité : L'architecture atteint l'erreur de corrélation de colonne par paire la plus faible de toutes les méthodes publiées, surpassant même le haut niveau de fidélité de TabSyn.
Reproductibilité : Un pipeline reproductible intégré au dépôt de TabSyn, couvrant huit jeux de données et rapportant une suite complète de métriques (densité, corrélation, AUC, DPR, EOR, DCR).

Résultats expérimentaux

Évalué sur le benchmark de Yang et al. (2025) (Adult, Bank, COMPAS) et le benchmark TabSyn :

Métriques de justice : FairDiffuseVQVAE a atteint un ratio de Parité Démographique (DPR) moyen de 0,702 (une amélioration de +47 % par rapport à FairTabDDPM) et un ratio d'Égalité des Chances (EOR) moyen de 0,686 (une amélioration de +100 %).
Métriques de qualité : Il a obtenu l'erreur de corrélation par paire moyenne la plus faible (0,034), surpassant TabSyn (0,041).
Compromis d'utilité : La méthode échange explicitement l'utilité en aval contre la justice. L'AUC TSTR (Train on Synthetic, Test on Real) moyenne était de 0,708, soit environ 15 points de moins que les modèles génératifs profonds les plus forts (ex: TabSyn à 0,860). Les auteurs attribuent cela au découplage des caractéristiques de l'attribut protégé, empêchant les classificateurs en aval d'exploiter le biais.
Confidentialité : Les scores de Distance au Plus Proche Enregistrement (DCR) étaient proches de l'idéal (0,5) pour Adult et Bank mais élevés (0,81) pour le petit jeu de données COMPAS, indiquant une mémorisation partielle dans les régimes de faibles volumes de données.

Signification et affirmations

L'article affirme que FairDiffuseVQVAE offre une alternative pratique aux méthodes fondées sur la causalité (comme DECAF) qui nécessitent des spécifications explicites de graphes causaux. En découplant la fidélité (Étape 1) de la justice (Étape 2), l'architecture permet au modèle d'optimiser la reconstruction sans entrer en conflit avec les contraintes de justice pendant l'entraînement.

Les auteurs soulignent que le compromis utilité-justice est explicite et quantifiable. Ils soutiennent que pour la synthèse axée sur la justice, il est "correct" qu'un classificateur en aval entraîné sur des données synthétiques perde en précision si cette précision provenait de corrélations biaisées dans les données réelles. La méthode fournit un mécanisme ajustable (via le guidage CFG) pour contrôler ce compromis sans réentraînement.

L'article conclut que bien que l'approche soit empirique et manque de garanties théoriques (contra-irement aux méthodes causales), elle fournit des résultats empiriques solides et un cadre flexible pour le contrôle du comportement génératif lors de l'échantillonnage. Les auteurs mettent en garde contre le fait de traiter les données synthétiques comme une solution de justice autonome et recommandent de combiner leur méthode avec des audits qualitatifs et des interventions côté classificateur.