📊 statistics

How Reliable are Fairness Audits with Unreliable Data?

Cet article introduit un test de résistance calibré par graine pour démontrer que l'absence de labels protégés lors des audits d'équité n'altère souvent pas de manière significative les résultats de l'atténuation au-delà de la variabilité naturelle des graines, bien qu'elle puisse exposer des modes de défaillance spécifiques, tels que les préjudices intersectionnels lors de l'optimisation des seuils, suggérant ainsi que les effets de l'absence devraient être rapportés avec une calibration et un contexte prudents plutôt que d'être rejetés comme une fragilité de l'audit.

Auteurs originaux : Yash Vardhan Tomar

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yash Vardhan Tomar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge essayant de décider laquelle de cinq différentes « recettes d'équité » fonctionne le mieux pour un modèle d'apprentissage automatique. Votre objectif est de veiller à ce que le modèle traite les différents groupes de personnes (comme les races ou les genres) de manière équitable.

Pour ce faire, vous devez réaliser un Audit d'Équité. C'est comme une dégustation pour vérifier si les prédictions du modèle sont biaisées par rapport aux données réalistes. Mais il y a un piège : parfois, les données manquent des « ingrédients » nécessaires pour savoir à quel groupe appartient chaque personne. Peut-être que les gens n'ont pas rempli le formulaire, ou que les dossiers ont été perdus.

Cet article pose une question simple mais cruciale : Si certaines étiquettes de groupe nous manquent, pouvons-nous toujours faire confiance aux résultats de notre audit, ou l'audit est-il simplement en train de casser parce que les données sont désordonnées ?

Voici la décomposition de ce que les chercheurs ont découvert, en utilisant des analogies de la vie quotidienne.

1. Le problème du « Bruit » : Est-ce dû aux données manquantes ou juste au hasard ?

Imaginez que vous essayez de choisir le meilleur coureur d'une course.

Le Problème : Parfois, le chronomètre est légèrement décalé, ou les coureurs partent avec une fraction de seconde de retard les uns par rapport aux autres. Même si vous avez des données parfaites, si vous lancez la course deux fois avec des conditions de départ aléatoires différentes (appelées « seeds » dans l'article), vous pourriez choisir un gagnant légèrement différent à chaque fois.
L'aperçu de l'article : Les chercheurs ont réalisé que lorsque nous voyons un audit changer d'avis parce que des données sont manquantes, nous paniquons souvent en pensant : « Oh non, les données manquantes ont tout cassé ! »
Le test de réalité : Ils ont découvert que les données manquantes ne cassent pas l'audit autant que nous le pensons. En fait, l'audit change d'avis aussi souvent (voire plus souvent) lorsqu'il dispose de données parfaites, simplement à cause du bruit aléatoire.
L'analogie : C'est comme un juge qui changerait d'avis sur le meilleur coureur simplement parce qu'il a cligné des yeux au mauvais moment. L'article dit : « Ne blâmez pas encore les données manquantes. Vérifiez d'abord si le juge n'est pas simplement capricieux. » Ils ont créé un outil de « calibration » pour séparer le bruit du « juge capricieux » des dommages réels causés par les données manquantes.

2. Le « Bord du Gouffre » de l'absence de données

Il existe un point spécifique où l'audit devient confus : lorsque zéro étiquette de groupe n'est disponible.

Ce qui se passe : Si vous n'avez aucune idée de qui appartient à quel groupe, plusieurs recettes d'équité différentes finissent par faire exactement la même chose (elles agissent toutes comme la version standard, non équitable).
Le résultat : Lorsque l'audit doit choisir un vainqueur parmi ces recettes identiques, il en choisit une au hasard (comme lancer une pièce ou choisir la première par ordre alphabétique). Cela fait paraître l'audit instable, mais c'est en fait un problème d'égalité de points (tie-breaking) et non un échec fondamental de la méthode.

3. Le « Piège Caché » : Le danger intersectionnel

C'est la découverte la plus importante. Imaginez que vous vérifiez si une école est équitable.

Le Piège : Vous vérifiez si l'école est équitable pour les « Garçons » et équitable pour les « Filles » séparément. Vous trouvez une recette qui rend les choses équitables pour les deux groupes individuellement. Vous célébrez !
La Réalité : Mais qu'en est-il des « Filles Noires » ? Ou des « Hommes Âgés » ? L'article a découvert que certaines méthodes (spécifiquement une appelée Optimisation de Seuil / Threshold Optimization) peuvent faire paraître les groupes uniques sous un excellent jour tout en rendant secrètement les choses pires pour les combinaisons spécifiques de groupes (les intersections).
L'analogie : C'est comme un régime qui vous aide à perdre du poids sur les bras et les jambes, mais qui vous fait secrètement prendre une quantité dangereuse de poids au niveau de l'estomac. L'audit à « axe unique » dit : « Beau travail ! », mais l'audit « intersectionnel » dit : « Vous êtes en train de nuire aux personnes les plus vulnérables. »
La Découverte : Les chercheurs ont découvert que ce « préjudice caché » se produit principalement lors de l'utilisation de la méthode d'Optimisation de Seuil. Même si l'audit indique que le modèle est équitable, cette méthode spécifique cache souvent une chute brutale de la précision pour les sous-groupes les plus vulnérables.

4. Les résultats du « Test de Stress »

Les chercheurs ont testé leur audit sur des données du monde réel (comme la prédiction de revenus ou d'emploi) et ont simulé des données manquantes de deux manières :

Manquantes de façon aléatoire : Comme un formulaire perdu par la poste (sans lien avec qui vous êtes).
Manquantes de façon systématique : Comme un groupe spécifique de personnes refusant de répondre à la question.

Le Verdict :

Bonne Nouvelle : Tant que vous avez certaines données (même 20 % ou 40 %), les recommandations de l'audit restent généralement stables. Elles ne changent pas radicalement de direction simplement parce que des données manquent.
Mauvaise Nouvelle : Le vrai danger n'est pas les données manquantes en soi, c'est de choisir la mauvaise recette d'équité. Si vous choisissez la recette d'« Optimisation de Seuil », vous pourriez penser avoir résolu le problème de l'équité, alors que vous avez en fait créé un piège caché pour les groupes intersectionnels.

Résumé : Que devez-vous retenir ?

Si vous réalisez un audit d'équité :

Ne paniquez pas immédiatement face aux données manquantes. Vérifiez d'abord si votre audit est simplement « bruyant » (changeant d'avis de manière aléatoire).
Méfiez-vous du « Piège Caché ». Ce n'est pas parce qu'un modèle semble équitable pour la Race A et le Genre B qu'il est équitable pour « Race A + Genre B ».
Soyez prudent avec l'« Optimisation de Seuil ». Cette méthode spécifique est excellente pour corriger les problèmes de groupes uniques, mais elle est très douée pour cacher le préjudice causé aux groupes intersectionnels complexes.
Rapportez l'image complète. Ne dites pas seulement « Nous avons choisi la Méthode X ». Vous devez rapporter comment la méthode se comporte lorsque les données sont manquantes, et vérifier si elle ne nuit pas aux sous-groupes les plus vulnérables.

En bref : Les données manquantes sont agaçantes, mais choisir le mauvais outil d'équité est dangereux. L'article nous donne un meilleur moyen de faire la distinction.

Résumé technique : Quelle est la fiabilité des audits d'équité avec des données peu fiables ?

Énoncé du problème

Les audits d'équité sont essentiels pour un déploiement responsable de l'apprentissage automatique, pourtant leur fiabilité sous l'effet de l'absence de labels protégés reste mal comprise. En pratique, les attributs démographiques (par exemple, la race, le sexe) sont souvent absents en raison de la non-collecte, du refus de l'utilisateur ou d'incohérences dans les enregistrements. Lorsque ces labels sont absents, les auditeurs ne peuvent pas calculer avec précision les disparités au niveau des groupes ni sélectionner les méthodes de mitigation appropriées.

Le défi central abordé est de distinguer l'instabilité de l'audit causée par l'absence de données de l'instabilité inhérente au processus d'audit lui-même (par exemple, la variation entre les graines aléatoires [seeds], les méthodes candidates quasi équivalentes et l'arbitrage déterministe en cas d'égalité). Sans une base de référence pour le « bruit ordinaire » de l'audit, un changement de recommandation dû à l'absence de labels peut être interprété à tort comme un échec critique du cadre d'audit plutôt que comme le reflet d'une variance stochastique standard.

Méthodologie

Les auteurs proposent un test de stress calibré par graine (seed-calibrated stress test) pour isoler les effets de l'absence de données du bruit inhérent à l'audit. La méthodologie comprend :

Configuration expérimentale :
- Tâches : Quatre tâches de classification binaire issues du jeu de données ACS/Folktables (Revenu, Emploi, Couverture publique, Mobilité).
- Vues protégées : Race (RAC1P), Sexe (SEX) et leur intersection (RAC1P × SEX).
- Méthodes candidates : Minimisation du risque empirique (ERM), Mélange de caractéristiques (Feature Mixing), Repondération (Reweighing), Mélange de groupes protégés (Protected-Group Mixing) et Optimisation de seuil pour l'égalité des chances (Equalized-Odds Threshold Optimization).
- Critères de sélection : Égalité des chances (EO) sous contrainte de précision, Parité démographique (DP), Précision du pire groupe (WGA) et EO intersectionnelle.
Régimes d'absence (Missingness Regimes) :
- Oracle de labels complets ( $r_0$ ) : Tous les labels protégés sont disponibles.
- Absence totalement aléatoire (MCAR) : Les labels sont masqués à des taux de 80 %, 60 %, 50 %, 40 %, 20 %, 10 % et 0 %.
- Absence non aléatoire (MNAR) : Appariée à des cibles MCAR spécifiques (50 %, 20 %, 10 %) avec un accès asymétrique aux labels (les groupes majoritaires conservent une disponibilité plus élevée).
- Évaluation : Les labels sont toujours conservés pour la phase d'évaluation afin de garantir que les métriques sont calculées par rapport à la vérité terrain ; l'absence de données n'affecte que l'entraînement et la mitigation post-traitement.
Mécanisme de calibration :
- Nul de paire de graines (Seed-Pair Null) : L'audit est réexécuté avec des labels complets en utilisant différentes graines aléatoires ( $s, s'$ ). La fréquence des changements de recommandation entre ces graines établit un « plancher de bruit » de référence.
- Taux d'inversion excédentaire apparié ( $\Delta_c(r)$ ) : La différence entre le taux d'inversion observé sous l'effet de l'absence de données et le nul de paire de graines. Un $\Delta$ positif indique que l'absence de données provoque une instabilité au-delà de la variance normale de l'audit.
- Écran de régression cachée : Vérifie si une méthode améliore l'équité sur un axe unique (ex: race ou sexe) tout en dégradant les résultats intersectionnels (ex: race × sexe) ou la précision du pire groupe (WGA).
Validation : Une expérience secondaire répète l'audit en utilisant un apprenant de base de type Forêt Aléatoire (Random Forest) pour tester la robustesse face à des modèles à plus haute variance.

Résultats clés

1. L'absence de données reste souvent sous le seuil de la graine (Seed Null)

Contrairement à l'intuition selon laquelle l'absence de labels déstabilise les audits, l'étude révèle que l'absence de données avec disponibilité positive ne déplace généralement pas la sélection des méthodes de mitigation au-delà du plancher de la graine des labels complets.

Taux d'inversion brut : 37,3 % des comparaisons de labels absents ont entraîné un changement de méthode de sélection.
Référence de la graine (Seed-Null) : 53,8 % des comparaisons de paires de graines avec labels complets ont entraîné une inversion.
Résultat calibré : Après calibration, la plupart des régimes d'absence (MCAR et MNAR avec une disponibilité > 0 %) se situent sous le plancher de bruit de la graine. Seul le point final à 0 % (aucun label) dépasse le plancher de la graine (+6,3 points de pourcentage), principalement en raison de l'arbitrage déterministe parmi les candidats équivalents à l'ERM.

2. La composition de l'ensemble de candidats importe

Le « taux d'inversion » est très sensible à l'ensemble des candidats. Lorsque l'audit est restreint à {ERM, Reweighing, Optimisation de seuil}, le taux d'inversion brut tombe à 33,8 % contre un nul de graine de 39,8 %. Cela suggère que la fragilité apparente est souvent un artefact de l'inclusion de méthodes quasi équivalentes qui déclenchent des règles d'arbitrage plutôt qu'un échec fondamental de la logique de l'audit.

3. L'optimisation de seuil entraîne des préjudices intersectionnels

La défaillance de fiabilité la plus significative identifiée est la régression intersectionnelle cachée, où les gains d'équité sur un axe unique masquent des préjudices pour les sous-groupes.

Taux global de régression cachée : 69,9 % (calibré par rapport à un nul de graine de 55,0 %).
Moteur principal : L'optimisation de seuil est le principal moteur, avec un taux de régression cachée de 94,2 %. Elle améliore fréquemment les métriques d'EO sur un axe unique tout en provoquant de sévères chutes de la précision du pire groupe (baisse médiane de 12,34 pp).
Autres méthodes : Le Reweighing et le Mélange de caractéristiques présentent des taux de régression cachée plus faibles (respectivement 29,6 % et 36,2 %) et restent sous le nul de la graine lorsque l'optimisation de seuil est exclue.

4. Robustesse à la variance de l'apprenant de base

La validation avec une Forêt Aléatoire (plus grande variance que la Régression Logistique) a confirmé les principales conclusions :

Les taux d'inversion stricts ont légèrement augmenté (de 37,3 % à 41,1 %), mais l'ordre relatif des effets de l'absence de données est resté cohérent.
Le schéma de régression cachée piloté par l'optimisation de seuil a persisté (taux de 93,5 %), confirmant que le mode de défaillance est spécifique à la méthode plutôt qu'au modèle.

Signification et revendications

L'article soutient que l'absence de labels protégés ne doit pas être traitée comme une preuve de la fragilité de l'audit sans une calibration appropriée. Les auteurs affirment que :

Nécessité de la calibration par la graine (Seed-Null) : Les analyses de sensibilité brutes (ex : « la méthode a changé lorsque les labels ont été masqués ») sont trompeuses. Les audits doivent rapporter si le changement dépasse la variation inhérente au processus d'audit sous des labels complets.
Rapport contextuel : Les rapports d'audit doivent inclure :
- La calibration par le nul de la graine : Pour distinguer les effets de l'absence de données du bruit.
- Le contexte de l'ensemble de candidats : Pour tenir compte des artefacts d'arbitrage (tie-breaking).
- Les conséquences intersectionnelles : Pour détecter les régressions cachées où les gains sur un axe unique masquent un préjudice intersectionnel.
Modes de défaillance spécifiques : L'étude identifie l'optimisation de seuil comme une méthode à haut risque qui peut produire des régressions cachées « au-dessus du nul », particulièrement lorsque les labels sont rares.
Courbes de disponibilité exploitables : Les audits devraient visualiser la manière dont les méthodes se comportent à travers un spectre de disponibilité des labels, en séparant les changements de recommandation de la dégradation des métriques.

En résumé, ce travail fournit un cadre de diagnostic pour éviter la mauvaise interprétation des effets de l'absence de données, en soulignant que beaucoup d'instabilités observées sont des artefacts de la variance standard de l'audit ou des comportements de méthodes spécifiques (comme l'optimisation de seuil) plutôt qu'une incapacité générale à auditer en situation de données manquantes.