Exposing the Illusion of Fairness: Auditing Vulnerabilities to Distributional Manipulation Attacks

Cet article révèle comment un audité malveillant peut manipuler un échantillon de données pour simuler une conformité aux critères d'équité tout en restant statistiquement représentatif, et propose des méthodes pour détecter ces attaques et renforcer les vérifications de supervision.

L'essentiel

Voici une explication de ce papier de recherche, imagée et simplifiée pour un public général.

🎭 Le Titre : "Démasquer l'Illusion de l'Équité"

Imaginez que vous êtes un inspecteur de la sécurité alimentaire (l'Auditeur). Votre travail est de vérifier si une usine de confitures (l'Entreprise ou "l'Audité") respecte les règles d'hygiène. Pour cela, l'usine vous donne un petit échantillon de confiture à goûter.

Le problème ? L'usine a un secret : elle produit en réalité de la confiture pleine de vers (c'est un modèle d'IA discriminatoire). Mais elle veut passer l'inspection. Alors, elle ne vous donne pas n'importe quel échantillon. Elle va chercher dans ses réservoirs les quelques pots qui sont juste parfaits, sans aucun défaut, pour vous les présenter.

Ce papier de recherche explique comment une entreprise malhonnête peut tricher pour faire croire qu'elle est équitable, et comment les régulateurs peuvent déjouer ce tour de passe-passe.

---

🕵️‍♂️ Le Scénario : La "Blanchisserie de l'Équité" (Fairwashing)

Dans le monde de l'Intelligence Artificielle, on utilise des métriques pour mesurer si un algorithme est juste (par exemple : "Est-ce que l'algorithme embauche autant de femmes que d'hommes ?"). C'est ce qu'on appelle le Disparate Impact.

Si le résultat est mauvais, l'algorithme est illégal ou immoral.

La tricherie (l'attaque) :
L'entreprise qui a un algorithme injuste ne va pas le réparer (ce serait trop cher ou trop difficile). Au lieu de cela, elle va jouer à un jeu de "tri" très intelligent :

1. Elle prend sa base de données complète (remplie de biais).
2. Elle sélectionne un sous-ensemble de données (un échantillon) qui semble parfaitement équilibré.
3. Elle vous donne cet échantillon.
4. Le résultat : Vous goûtez la confiture, vous trouvez ça parfait, et vous validez l'usine. Pourtant, dans les réservoirs cachés, les vers sont toujours là !

Les auteurs appellent cela créer une "illusion d'équité".

---

🛠️ Les Outils du Tricheur : Comment ils font ?

Les chercheurs ont étudié deux méthodes mathématiques sophistiquées que les tricheurs pourraient utiliser pour préparer leur "fausse confiture" sans que cela ne se voie trop :

1. La Projection Entropique (Le "Remplacement Doux") :
   Imaginez que vous avez un tas de billes de différentes couleurs. Pour faire un tas équilibré, vous ne jetez rien. Vous changez très légèrement la couleur de certaines billes (comme si vous les passiez dans un filtre) pour qu'elles ressemblent à la couleur désirée, mais en gardant le tas global très proche de l'original. C'est subtil, comme changer le parfum d'un peu de confiture sans en changer le goût.

2. Le Transport Optimal (Le "Déplacement Géométrique") :
   Imaginez que vous avez des gens assis dans une salle. Pour équilibrer les sexes, vous ne les changez pas, vous les faites juste bouger de quelques chaises. Vous déplacez les individus d'un groupe à l'autre de la manière la plus économique possible (le moins de distance parcourue) pour que le résultat final semble juste, tout en restant très proche de la disposition initiale.

Le but du jeu : Modifier le moins possible les données originales pour que l'inspecteur ne se rende compte de rien, tout en obtenant un score d'équité parfait.

---

🚨 Le Contre-Attaque : Comment l'Inspecteur peut-il déjouer le piège ?

Si l'inspecteur se contente de goûter l'échantillon, il se fait avoir. Mais ce papier propose des outils pour vérifier si l'échantillon est représentatif de la vraie production.

L'idée, c'est de comparer l'échantillon donné par l'entreprise avec la "vraie" production (si l'inspecteur a le droit d'y accéder, ou en demandant un échantillon plus grand).

Les détecteurs de mensonge :
Les chercheurs proposent d'utiliser des tests statistiques avancés (comme des "radars" mathématiques) pour voir si l'échantillon a été trafiqué :

• Le test de la distance : Est-ce que l'échantillon est trop "proche" de la perfection ? Si l'échantillon est trop parfait par rapport à la réalité, c'est suspect.
• La taille de l'échantillon : C'est le point clé ! Si l'entreprise ne vous donne que 10% de ses données, elle peut facilement cacher ses défauts. Si elle doit vous donner 50% ou 100% des données, il devient mathématiquement impossible de cacher les vers dans la confiture sans que cela saute aux yeux.

---

💡 Les Leçons à retenir (En résumé)

1. La méfiance est de mise : Juste parce qu'un rapport d'audit dit "Tout va bien", cela ne veut pas dire que le modèle est juste. L'entreprise a peut-être trié les données pour vous montrer le meilleur visage.
2. La taille compte : Pour éviter la triche, les régulateurs (comme l'Union Européenne avec son AI Act) doivent exiger des échantillons très grands. Plus l'échantillon est gros, plus il est difficile de tricher sans se faire prendre.
3. L'audit ne doit pas être un jeu de cache-cache : L'auditeur ne doit pas laisser l'entreprise choisir elle-même les données à montrer. Il doit pouvoir vérifier la source complète ou utiliser des tests statistiques pour détecter les "zones d'ombre".

En conclusion : Ce papier nous dit que l'équité des IA est un champ de bataille. Les entreprises peuvent inventer des illusions de justice, mais avec les bons outils mathématiques et une vigilance accrue (surtout sur la taille des échantillons), on peut briser ces illusions et garantir une vraie équité.

Résumé technique

Voici un résumé technique détaillé de l'article "Exposing the Illusion of Fairness: Auditing Vulnerabilities to Distributional Manipulation Attacks" en français.

1. Problématique et Contexte

L'article aborde la vulnérabilité croissante des processus d'audit de l'intelligence artificielle (IA) face à la manipulation malveillante. Avec l'entrée en vigueur de réglementations strictes comme l'AI Act de l'UE, les systèmes à haut risque doivent prouver leur conformité aux critères d'équité (fairness), souvent mesurés par des métriques globales comme le Disparate Impact (DI) (rapport d'impact disparate).

Le problème central identifié est le suivant : dans un cadre d'audit standard, l'entité auditée (l'audité) fournit un sous-ensemble de données à l'auditeur pour évaluer l'équité. L'auteur démontre qu'un audité malveillant peut sélectionner ou modifier subtilement ce sous-ensemble pour :

1. Satisfaire artificiellement les contraintes d'équité (ex. DI $\ge$ 0.8).
2. Rendre ce sous-ensemble statistiquement indiscernable de la distribution originale (représentatif), trompant ainsi l'auditeur et l'autorité de supervision.

Ce phénomène, appelé "fairwashing" (blanchiment d'équité), crée une "illusion d'équité" où le système semble conforme alors qu'il est discriminatoire sur l'ensemble des données.

2. Méthodologie

Les auteurs formalisent ce problème comme une tâche de projection de distribution contrainte. L'objectif de l'audité malveillant est de trouver une nouvelle distribution $Q_t$ qui satisfait la contrainte d'équité tout en minimisant la distance par rapport à la distribution originale $Q_n$.

A. Stratégies d'Attaque (Fairwashing)

L'article propose et analyse deux grandes familles de méthodes mathématiques pour construire ces distributions falsifiées :

1. Projections Entropiques (Basées sur la divergence KL) :

   • Utilise la divergence de Kullback-Leibler ($D_{KL}$) pour mesurer la distance.
   • Résout un problème d'optimisation pour trouver la distribution la plus proche de l'originale (en termes d'information) tout en modifiant les poids des échantillons pour atteindre le seuil d'équité.
   • Deux variantes sont proposées : Balanced (modification égale des classes) et Proportional (modification proportionnelle à la taille des classes).

2. Projections par Transport Optimal (Basées sur la distance de Wasserstein) :

   • Utilise la distance de Wasserstein ($W_2$) qui capture la géométrie des données.
   • Modifie les caractéristiques des individus (déplacement dans l'espace des features) ou les étiquettes pour satisfaire la contrainte.
   • Méthodes proposées :
     • Grad_balanced / Grad_proportional : Utilisation de la descente de gradient sur les sorties du modèle pour minimiser la distance tout en respectant la contrainte.
     • MW (Matching Wasserstein) : Un algorithme d'appariement qui remplace des individus par d'autres existants dans le dataset pour maximiser le DI avec un coût de transport minimal.
     • Replace : Une méthode simplifiée ne modifiant que les attributs sensibles et les prédictions, sans toucher aux features d'entrée.

B. Détection par l'Autorité de Supervision

Pour contrer ces attaques, l'article propose une méthodologie de vérification basée sur des tests statistiques de distance de distribution. L'autorité de supervision (qui a accès aux données complètes) compare la distribution de l'échantillon soumis ($D_n$) à la distribution réelle ($Q_n$) en utilisant :

• Le test de Kolmogorov-Smirnov (KS).
• La distance de Wasserstein ($W$).
• La divergence de Kullback-Leibler (KL).
• La Maximum Mean Discrepancy (MMD).

L'hypothèse nulle ($H_0$) est que les deux distributions sont identiques. Si le test rejette $H_0$, la manipulation est détectée.

3. Contributions Clés

1. Formalisation Mathématique : Définition rigoureuse du problème de "fairwashing" comme une projection de distribution sous contrainte, utilisant des outils de théorie de l'information (KL) et de transport optimal (Wasserstein).
2. Nouvelles Stratégies d'Attaque : Introduction de méthodes d'optimisation (entropiques et par transport optimal) qui permettent de générer des échantillons "propres" avec un coût de distorsion minimal, rendant la détection difficile.
3. Analyse de Détection : Évaluation systématique de la capacité des tests statistiques standards à détecter ces manipulations. Les auteurs montrent que certaines stratégies (notamment MW et les méthodes entropiques) peuvent passer les tests sur des échantillons de taille modérée.
4. Recommandations Pratiques : Mise en évidence du rôle crucial de la taille de l'échantillon. Plus l'échantillon soumis à l'audit est grand, plus il est difficile de manipuler la distribution sans être détecté.

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 jeux de données tabulaires standards (Adult, Folktables, Bank Fraud) et sur des données d'images (CelebA).

• Efficacité du Fairwashing : Les méthodes basées sur le transport optimal (notamment MW) et les projections entropiques réussissent souvent à atteindre un Disparate Impact cible (ex. 0.8) tout en maintenant une distance de distribution faible.
• Taux de Détection :
  • Les méthodes modifiant fortement les caractéristiques individuelles (comme les variantes Grad) sont facilement détectées par les tests KL et Wasserstein.
  • En revanche, les méthodes MW et Entropic réussissent souvent à tromper les tests statistiques, en particulier sur des échantillons de petite taille (10% des données).
  • Sur des jeux de données où le DI original est déjà proche du seuil (ex. INC, TRA), la manipulation est quasi indétectable car les modifications nécessaires sont minimes.
• Impact de la Taille de l'Échantillon : C'est le résultat le plus significatif. Lorsque la taille de l'échantillon soumis passe de 10% à 20% (ou plus), la capacité des attaquants à cacher la manipulation chute drastiquement. Les tests statistiques deviennent beaucoup plus puissants avec plus de données.
• Données Non-Tabulaires : Sur l'image (CelebA), les tests appliqués directement sur les pixels sont moins efficaces que ceux appliqués sur des descripteurs appris (espaces latents de CNN). Cependant, si l'autorité utilise un espace latent différent de celui optimisé par l'attaquant, la détection s'améliore.

5. Signification et Recommandations

Cet article met en lumière une faille critique dans les audits d'IA actuels : la confiance aveugle dans les sous-ensembles de données fournis par l'audité.

Implications pour la régulation et l'audit :

• Contrôle de l'échantillonnage : Les auditeurs ne doivent jamais laisser l'entité auditée choisir librement l'échantillon de données.
• Taille de l'échantillon : Il est impératif de requérir des échantillons de grande taille pour réduire l'espace des manipulations indétectables.
• Tests Combinés : L'utilisation d'une batterie de tests statistiques (KL, Wasserstein, MMD, KS) sur différentes projections des données (features, labels, attributs sensibles) est nécessaire pour renforcer la robustesse.
• Accès aux données complètes : Dans les cas à haut risque, les autorités devraient avoir le droit d'accéder à l'ensemble des données ou de prélever elles-mêmes des échantillons aléatoires pour vérifier la représentativité.

En conclusion, l'article démontre que sans une vigilance accrue sur la représentativité des données d'audit, les métriques d'équité peuvent être facilement falsifiées, créant un faux sentiment de sécurité pour les systèmes d'IA à haut risque.