Nearest-Neighbor Density Estimation for Dependency Suppression

Cet article propose une méthode d'estimation de densité par plus proches voisins intégrée à un autoencodeur variationnel pour supprimer les dépendances indésirables dans les données, surpassant les techniques existantes en équilibrant efficacement l'effacement d'informations sensibles et la préservation de l'utilité des données.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment reconnaître des pommes, mais que toutes les photos de pommes qu'il voit sont prises sur un fond vert, tandis que toutes les photos de poires sont sur un fond rouge.

Si vous ne faites rien, le robot va apprendre une astuce paresseuse : "Si c'est vert, c'est une pomme". Il ne comprendra pas vraiment la pomme, il aura juste mémorisé le fond. C'est ce qu'on appelle une dépendance indésirable ou un biais. Dans le monde réel, ces biais peuvent être dangereux : un système de recrutement qui rejette automatiquement les femmes parce qu'il a appris que les anciens employés étaient majoritairement des hommes, ou un système médical qui ignore les maladies chez les personnes âgées parce que les données d'entraînement étaient biaisées.

Ce papier propose une méthode intelligente pour "nettoyer" ces données et apprendre au robot à se concentrer uniquement sur ce qui compte vraiment (la pomme), en ignorant le bruit de fond (la couleur du fond).

Voici comment ils font, expliqué simplement :

1. Le Problème : Le "Filtre" habituel ne suffit pas

Les méthodes actuelles pour enlever ces biais fonctionnent un peu comme un jeu de chat et de souris. On entraîne le robot à cacher l'information sensible (le genre, l'origine, etc.) tout en essayant de tromper un "détective" (un adversaire) qui essaie de deviner ce qu'on cache.

• Le hic : C'est comme essayer de cacher un secret en parlant très bas. Le détective peut parfois entendre, ou le robot peut trouver un moyen de contourner la règle sans vraiment supprimer le secret. Ce n'est pas très fiable.

2. La Solution : Une "Carte de Densité" précise

Les auteurs proposent une approche plus directe. Au lieu de jouer à cache-cache, ils veulent mesurer et modifier la carte où vivent les données.

Imaginez que vos données sont des points sur une carte.

• Si les points "hommes" sont regroupés dans le nord et les "femmes" dans le sud, il y a un biais.
• L'objectif est de mélanger ces points pour qu'ils soient uniformément répartis, comme des confettis, tout en gardant la forme des objets (les pommes et les poires) intacte.

Pour faire cela, ils utilisent deux outils magiques :

A. Le "Pré-entraînement" (Le VAE Spécialisé)

Avant de faire le grand nettoyage, ils utilisent un outil appelé VAE (Autoencodeur Variationnel).

• L'analogie : Imaginez que vous avez une boîte de Lego en vrac. Le VAE est comme un trieur automatique qui range toutes les pièces par couleur et forme dans des tiroirs bien organisés.
• Ils configurent ce trieur pour mettre toutes les informations "sensibles" (comme le genre) dans un seul tiroir spécifique (disons, le tiroir numéro 1). Les autres tiroirs contiennent le reste de l'information (la forme de la pomme).
• Cela rend la tâche suivante beaucoup plus facile : au lieu de chercher le biais partout, on sait exactement où il se trouve.

B. Le "Nettoyage" (L'Estimation par Voisins)

Une fois que le biais est isolé dans le tiroir numéro 1, ils utilisent une technique appelée estimation de densité par plus proche voisin.

• L'analogie : Imaginez que vous êtes dans une foule. Pour savoir si vous êtes dans une zone "dense" (beaucoup de gens autour) ou "vide", vous regardez simplement la distance jusqu'à votre voisin le plus proche.
• Si vous êtes très proche de votre voisin, la zone est dense. Si vous êtes loin, elle est vide.
• Les auteurs utilisent cette idée pour dire au robot : "Regarde autour de toi. Si tu vois trop de voisins qui ont le même 'tiroir sensible' que toi, c'est qu'il y a un biais. Éloigne-toi !"
• Ils modifient mathématiquement la position des points pour que, peu importe le tiroir sensible, la densité de voisins soit la même partout. C'est comme si on étirait la carte pour que les hommes et les femmes soient parfaitement mélangés, sans casser les pommes ni les poires.

3. Les Résultats : Mieux que les méthodes actuelles

Les auteurs ont testé leur méthode sur plusieurs cas :

• Des chiffres (MNIST) : Enlever le fond carré ou rond pour ne garder que le chiffre.
• Des portraits (FFHQ) : Enlever le genre (homme/femme) pour ne garder que l'expression du visage ou la pose.
• Des radios (CheXpert) : Enlever la présence de dispositifs médicaux (comme un pacemaker) pour ne garder que les maladies pulmonaires.

Le verdict ?
Leur méthode fonctionne mieux que les anciennes techniques non supervisées (celles qui ne connaissent pas la réponse finale) et rivalise même avec les méthodes supervisées (qui connaissent la réponse).

• Avantage clé : Ils n'ont pas besoin de savoir quelle est la bonne réponse (par exemple, ils n'ont pas besoin de savoir si le patient est malade) pour nettoyer le biais. Ils nettoient juste la "dépendance" en général.

En résumé

Imaginez que vous voulez apprendre à un enfant à reconnaître des fruits, mais que toutes les photos de pommes sont prises dans un jardin et toutes les poires dans un verger.

• L'ancienne méthode : Vous lui dites "Ne regarde pas le jardin", mais l'enfant trouve quand même des indices dans l'herbe.
• La nouvelle méthode : Vous prenez toutes les photos, vous recadrez le jardin et le verger pour qu'ils aient exactement le même aspect (même herbe, même ciel), puis vous mélangez les fruits. L'enfant apprendra enfin à reconnaître la pomme pour ce qu'elle est, et non pour l'endroit où elle pousse.

C'est une méthode plus robuste, plus précise et qui évite les tricheries, garantissant que nos intelligences artificielles prennent des décisions plus justes et plus équitables.

Résumé technique

1. Problématique

Le papier aborde le défi crucial de la suppression des dépendances statistiques indésirables dans les données. Ces dépendances, souvent liées à des variables sensibles (comme le genre, l'origine ethnique ou des biais instrumentaux), peuvent entraîner des résultats injustes, une discrimination algorithmique ou une mauvaise généralisation des modèles d'apprentissage automatique.

L'objectif est de concevoir un encodeur capable de générer une représentation latente $Z$ qui :

1. Est statistiquement indépendante d'une variable sensible $S$.
2. Préserve au maximum l'information utile des données d'entrée originales $X$ (utilité pour des tâches de classification ou de reconstruction).

Le problème central réside dans la difficulté d'estimer et de manipuler directement les distributions de probabilité continues pour neutraliser ces dépendances, une tâche où les méthodes existantes (basées sur la décorrélation simple ou l'apprentissage adversaire) montrent des limites de fiabilité.

2. Méthodologie

L'approche proposée combine un Autoencodeur Variationnel (VAE) spécialisé avec une fonction de perte basée sur l'estimation de densité par plus proches voisins (KNN). Le pipeline se déroule en deux étapes principales :

Étape 1 : Pré-entraînement avec un VAE Spécialisé

Un VAE est entraîné pour mapper les données d'entrée vers un espace latent lisse. Contrairement à un VAE standard qui utilise une prior $N(0, I)$, les auteurs modifient la prior pour faciliter le désentanglement (désenchevêtrement) :

• La prior est définie comme $N(\mu, I)$, où le vecteur de moyenne $\mu$ est aligné avec la variable sensible $S$ sur une dimension spécifique ($z_0$) et nul sur les autres.
• Cela force l'encodeur à concentrer l'information sensible dans la dimension $z_0$, tout en rendant les autres dimensions indépendantes de $S$.
• Une fois entraîné, le VAE (encodeur et décodeur) est figé.

Étape 2 : Fine-tuning avec un Encodeur Latent et Perte KNN

Un encodeur latent supplémentaire (un MLP) est inséré entre l'encodeur VAE figé et le décodeur. Son rôle est de transformer la représentation $z_{vae}$ en $z_{enc}$ pour éliminer la dépendance restante, notamment dans $z_0$.

Le cœur de la méthode : La perte d'indépendance par KNN
Au lieu d'utiliser des bornes inférieures de l'information mutuelle (comme dans les VAE standards) ou des réseaux adverses, les auteurs minimisent directement une estimation de l'information mutuelle $I(Z; S)$ via une estimation non-paramétrique de la densité de probabilité :

• Principe : La densité de probabilité $p(z)$ d'un point est estimée en fonction de la distance à ses $M$-èmes plus proches voisins. Plus un point a de voisins proches, plus sa densité est élevée.
• Formulation de la perte : L'objectif est de minimiser la divergence de Kullback-Leibler (KL) entre la distribution conditionnelle $p(z|s)$ et la distribution marginale $p(z)$.
• Estimation : Le rapport de densités est approximé par le rapport des distances aux $M$-èmes voisins dans les ensembles conditionnels et globaux.
  $$I(Z; S) \propto \sum_{z \in Z} p(z|s_z) \log \frac{p(z|s_z)}{p(z)}$$
  Cette somme est estimée en utilisant les distances aux voisins ($\epsilon$) plutôt que des modèles paramétriques.

Optimisations techniques :

• Optimisation dimension par dimension : Pour éviter que le MLP ne réenchevêtre les dimensions, un encodeur séparé est entraîné pour chaque dimension latente.
• Stabilisation : Utilisation de lissage par noyau gaussien sur les distances et d'une formulation de perte basée sur la distance au carré $(p(z|s) - p(z))^2$ au début de l'entraînement pour éviter les explosions de gradient, avant de passer à la formulation logarithmique.

3. Contributions Clés

1. Estimation directe de densité : Introduction d'une fonction de perte différentiable basée sur l'estimation de densité par plus proches voisins pour optimiser directement l'indépendance statistique, évitant les approximations grossières des méthodes adverses.
2. Architecture hybride VAE-KNN : Combinaison innovante d'un VAE pour créer un espace latent structuré et d'un estimateur de densité non-paramétrique pour supprimer les dépendances résiduelles.
3. Méthode non supervisée performante : La méthode ne nécessite pas d'étiquettes de tâche cible ($Y$) pendant l'entraînement de l'encodeur, ce qui la rend applicable à des scénarios où ces étiquettes sont inconnues, tout en rivalisant avec des méthodes supervisées.
4. Robustesse aux biais : Démonstration que la suppression de dépendances améliore la généralisation des modèles, même en présence d'étiquettes bruyantes (noisy labels).

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur trois jeux de données : MNIST (chiffres avec arrière-plans sensibles), FFHQ (portraits humains, suppression du genre) et CheXpert (radiographies thoraciques, suppression des dispositifs médicaux).

• Performance de suppression : Sur MNIST et FFHQ, la méthode proposée surpasse les approches non supervisées existantes (VAE classiques, pertes contrastives, méthodes adverses) en réduisant la précision de l'attaquant tentant de prédire la variable sensible.
• Compromis Utilité/Suppression : La méthode atteint un compromis supérieur entre la suppression de l'information sensible et la préservation de l'utilité (précision de la tâche cible). Sur FFHQ, elle surpasse même certaines méthodes supervisées.
• Comparaison avec l'état de l'art :
  • Sur MNIST, la méthode obtient une précision de 96,8% sur les chiffres (vs 99,7% sur les données brutes) tout en réduisant la précision de détection de l'arrière-plan à ~51,8% (au hasard).
  • Sur CheXpert, elle se positionne comme la meilleure approche non supervisée, préservant la capacité à détecter des pathologies tout en masquant les dispositifs médicaux.
• Visualisation (t-SNE) : Les visualisations montrent que les données sensibles (formes d'arrière-plan) sont mélangées dans l'espace latent final, tandis que les classes utiles (chiffres) restent bien séparées.
• Ablation : L'étude montre que l'ajout de l'encodeur latent avec la perte KNN améliore le compromis de 5,2 points de pourcentage par rapport à l'utilisation du seul VAE masqué.

5. Signification et Impact

Ce travail propose une avancée significative dans le domaine de l'apprentissage équitable (Fair Learning) et de la protection de la vie privée.

• Fiabilité : En évitant l'apprentissage adversaire (qui peut être contourné par un adversaire plus puissant), la méthode garantit une suppression plus robuste des dépendances statistiques.
• Généralité : La capacité à fonctionner sans étiquettes de tâche cible permet de prétraiter des données pour n'importe quelle tâche future, supervisée ou non.
• Déploiement pratique : Puisque le décodeur VAE peut reconstruire les données transformées dans l'espace d'origine, il est possible d'entraîner des modèles sur des données "débiaisées" tout en les déployant sur des données réelles non transformées, assurant ainsi des prédictions équitables et robustes sans altérer le format des données d'entrée en production.

En résumé, cette approche offre une solution mathématiquement fondée et empiriquement robuste pour créer des représentations de données intrinsèquement équitables, dépassant les limitations des méthodes actuelles basées sur la décorrélation ou l'adversité.