🤖 machine learning

FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition

Ce papier présente FairTree, un nouvel algorithme d'audit de l'équité des modèles d'apprentissage automatique qui, contrairement aux méthodes existantes, gère nativement les variables continues et décompose les disparités de performance en biais systématique et variance pour une évaluation statistique plus robuste.

Auteurs originaux : Rudolf Debelak

Publié 2026-04-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rudolf Debelak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌳 FairTree : Le Détective des Inégalités dans l'Intelligence Artificielle

Imaginez que vous avez un chef cuisinier robot (c'est votre modèle d'intelligence artificielle) qui doit préparer des repas pour tout le monde. En général, le robot est très bon : il cuisine vite et bien pour la majorité des clients.

Mais voici le problème : si vous ne regardez que la note moyenne du restaurant, vous pourriez passer à côté d'un détail terrible. Peut-être que ce robot cuisine parfaitement pour les adultes, mais qu'il brûle systématiquement les plats des enfants, ou qu'il est très imprévisible pour les personnes âgées (parfois excellent, parfois catastrophique).

C'est exactement ce que l'article FairTree vient résoudre.

1. Le Problème : Les "Trous" dans la Toile

Jusqu'à présent, pour vérifier si un robot est juste, on regardait sa performance globale. C'est comme dire : "Le restaurant a une note de 4,5/5, donc tout va bien !".
Mais des outils existants (comme SliceFinder) essayaient de trouver les groupes maltraités en découpant les clients en catégories rigides (ex: "hommes", "femmes", "âgés de 20-30 ans").
Le problème ? La vie n'est pas faite de cases rigides. Si vous forcez l'âge en tranches (20-30, 30-40), vous risquez de rater un problème qui commence à 29 ans et demi. C'est comme essayer de mesurer la hauteur d'une plante avec une règle en bois qui a des trous : vous allez rater les détails.

2. La Solution : FairTree, l'Arbre Décideur

L'auteur, Rudolf Debelak, propose un nouvel outil appelé FairTree. Imaginez un arbre généalogique qui ne sert pas à tracer votre famille, mais à tracer les erreurs du robot.

Pas de cases, juste des courbes : Contrairement aux anciens outils, FairTree peut regarder des données continues (comme l'âge exact, le salaire exact, le temps passé sur un site) sans avoir besoin de les couper en morceaux. Il voit la courbe complète, pas juste des blocs.
Le grand diagnostic (Biais vs Variance) : C'est la partie la plus géniale. Quand le robot fait une erreur, FairTree vous dit pourquoi :
1. Le Biais (La Boussole Tordue) : Le robot est systématiquement injuste. Il sous-estime toujours les revenus des femmes, par exemple. C'est comme une balance qui pèse toujours 2 kg de trop. C'est une injustice systématique.
2. La Variance (Le Météo Imprévisible) : Le robot est instable. Pour un groupe donné, il donne parfois la bonne réponse, parfois une réponse folle. C'est comme un tireur qui vise bien, mais dont le bras tremble. C'est une question de fiabilité.

3. Comment ça marche ? (Deux Méthodes Magiques)

L'article compare deux façons de trouver ces erreurs :

La Méthode "Permutation" (Le Jeu de Mémoire) : Imaginez que vous mélangez les cartes de tous les clients pour voir si les erreurs sont vraiment liées à leur âge ou juste du hasard. C'est très précis, mais ça prend beaucoup de temps (comme jouer à un jeu de mémoire très long).
La Méthode "Fluctuation" (Le Sismographe) : C'est la méthode préférée de l'auteur. Au lieu de jouer aux cartes, on regarde les erreurs comme un sismographe. On trace une ligne qui montre si les erreurs "tremblent" ou dérivent d'un côté à l'autre.
- Si la ligne monte tout le temps d'un coup, c'est un Biais.
- Si la ligne oscille wildly, c'est une Variance.
- Avantage : C'est ultra-rapide et ça fonctionne même avec des millions de données.

4. Les Résultats : Pourquoi c'est important ?

Les chercheurs ont testé FairTree avec des simulations et de vraies données (comme le recensement américain).

Résultat 1 : FairTree trouve les problèmes que les autres outils ratent, surtout quand les groupes sont petits ou que les données sont continues.
Résultat 2 : Il distingue clairement si le robot est "méchant" (biais) ou "inconstant" (variance). C'est crucial !
- Si c'est un biais, il faut changer la recette du robot (son algorithme).
- Si c'est une variance, il faut peut-être juste donner plus d'exemples (plus de données) à ce groupe pour qu'il apprenne mieux.

5. L'Analogie Finale : Le Médecin de l'IA

Imaginez que FairTree est un médecin qui examine un patient (le modèle d'IA).

Les anciens outils disaient : "Le patient a de la fièvre." (C'est tout).
FairTree dit : "Le patient a de la fièvre, et c'est soit une infection bactérienne (Biais) qui demande des antibiotiques, soit une réaction allergique (Variance) qui demande de l'hygiène."

Sans cette distinction précise, on donne le mauvais traitement. FairTree permet aux développeurs de savoir exactement où et comment leur intelligence artificielle est injuste, pour pouvoir la réparer correctement.

En résumé

FairTree est un outil qui permet de scanner les intelligences artificielles pour y déceler les injustices cachées. Il est plus précis que les précédents, capable de voir les problèmes dans des données continues (comme l'âge exact), et surtout, il nous dit si le problème vient d'une discrimination systématique ou d'une simple instabilité, offrant ainsi la clé pour réparer l'IA.

1. Problématique

L'évaluation des modèles d'apprentissage automatique repose traditionnellement sur des métriques de performance globales (comme l'erreur quadratique moyenne ou la précision). Cette approche présente un risque majeur : elle peut masquer des dégradations de performance significatives au sein de sous-populations spécifiques (sous-groupes).

Les outils d'audit existants, tels que SliceFinder et SliceLine, tentent de détecter ces groupes, mais ils souffrent de limitations conceptuelles :

Ils nécessitent souvent la discrétisation des variables continues (par exemple, transformer l'âge en tranches), ce qui peut entraîner une perte d'information, une mauvaise interprétation des effets ou l'omission de sous-groupes critiques.
Ils ne distinguent pas toujours la nature de l'erreur : une mauvaise performance peut provenir d'un biais systématique (le modèle prédit constamment mal pour un groupe) ou d'une variance élevée (le modèle est instable et imprévisible pour ce groupe).
Leur puissance statistique (capacité à détecter de vrais effets) peut être insuffisante, en particulier avec des échantillons de taille modeste ou des sous-groupes minoritaires.

L'objectif de cet article est de présenter FairTree, un nouvel algorithme conçu pour auditer l'équité des modèles en gérant nativement les variables continues, catégorielles et ordinales, tout en décomposant les disparités de performance en biais et en variance.

2. Méthodologie

FairTree est un algorithme de partitionnement récursif adapté de la psychométrie (notamment des arbres de régression Rasch et PL) et de l'économétrie. Il teste l'hypothèse nulle selon laquelle la distribution de la fonction de perte (erreur) d'un modèle est invariante par rapport aux covariables observées.

A. Critères de division (Splitting Criteria)

L'algorithme propose deux variantes pour tester l'invariance :

Test de permutation (Permutation Test) :
- Basé sur le rééchantillonnage (shuffling) des appartenances aux groupes.
- Compare la perte observée à une distribution de référence générée par permutation.
- Conceptuellement proche de SliceFinder mais applicable sans discrétisation.
- Inconvénient : Coûteux en calcul, surtout pour les grandes bases de données.
Test de fluctuation (Fluctuation Test) :
- Adapté du cadre des tests de stabilité des paramètres (M-fluctuation) en économétrie.
- Utilise le Théorème Central Limite Fonctionnel (FCLT) pour approximer la distribution de la statistique de test sous l'hypothèse nulle (convergence vers un pont brownien).
- Avantages majeurs :
  - Ne nécessite pas de rééchantillonnage, ce qui le rend très rapide ( $O(n \log n)$ ).
  - Gère nativement les variables continues en testant l'ensemble du processus de fluctuation simultanément, évitant ainsi le problème des tests multiples inhérent à la recherche de points de coupure.
  - Permet de traiter les variables catégorielles en les ordonnant selon leur perte moyenne.

B. Décomposition Biais-Variance

Une fois qu'une division significative est détectée, FairTree décompose la disparité de performance :

Biais (Bias) : Indique une erreur systématique (ex: sous-estimation constante des revenus pour les femmes). Cela correspond à un déplacement de la moyenne des résidus.
Variance (Variance) : Indique une instabilité ou un manque de fiabilité (ex: prédictions erratiques pour les non-natifs). Cela correspond à une augmentation de la variance des résidus.
Logique de classification :
- Pour le test de permutation : Une règle heuristique compare les différences relatives de biais et de variance (seuil de 1,5x).
- Pour le test de fluctuation : Une procédure séquentielle applique des tests statistiques distincts sur les résidus centrés (pour le biais) et les résidus au carré (pour la variance), avec une correction de Bonferroni.

C. Algorithme de Partitionnement Récursif

L'algorithme construit un arbre de décision :

Il teste l'invariance sur l'ensemble des données.
Si l'hypothèse nulle est rejetée, il divise les données au point de coupure optimal (minimisant la p-value).
Il répète le processus sur les sous-groupes résultants jusqu'à ce qu'un critère d'arrêt soit atteint (absence de division significative ou taille d'échantillon trop faible).

3. Contributions Clés

Gestion native des variables continues : Contrairement aux méthodes précédentes, FairTree ne nécessite pas de discrétisation, préservant ainsi la structure fine des données et évitant les biais de tranchage.
Décomposition explicite Biais/Variance : L'outil ne se contente pas de dire « le modèle est injuste », il identifie pourquoi (biais systématique vs instabilité), ce qui guide les actions correctives (ajustement de la fonction de perte vs collecte de données).
Deux approches statistiques : Offre un choix entre une approche robuste mais lente (permutation) et une approche analytique rapide et puissante (fluctuation).
Visualisation intuitive : Les résultats sont présentés sous forme d'arbres décisionnels, facilitant l'interprétation par les humains.

4. Résultats des Études de Simulation

Les auteurs ont évalué FairTree via trois études de simulation et une application sur des données réelles (UCI Adult Census), en le comparant à SliceLine.

Contrôle du taux d'erreur de type I (Faux positifs) : Les deux variantes de FairTree maintiennent un taux de faux positifs proche du niveau nominal (0,05).
Puissance statistique (Détection) :
- Le test de fluctuation démontre une puissance nettement supérieure au test de permutation, en particulier pour les effets de taille modérée et les sous-groupes minoritaires (jusqu'à 20% de l'échantillon).
- SliceLine, même avec un réglage optimisé, montre une puissance très faible ou nulle dans de nombreux scénarios, et son taux de faux positifs explose si le seuil est mal calibré.
Précision de classification (Biais vs Variance) :
- Le test de fluctuation classe correctement la nature de l'erreur (biais, variance ou les deux) avec une grande précision.
- Le test de permutation est moins fiable pour distinguer les deux types d'erreurs simultanés.
Scénarios réalistes :
- Variables continues : FairTree (fluctuation) détecte parfaitement les violations basées sur l'âge ou d'autres variables continues, là où SliceLine échoue (car il nécessite une discrétisation qui dilue le signal).
- Interactions et confusions : L'algorithme parvient à détecter des effets d'interaction complexes et gère raisonnablement les variables de confusion, bien que la précision diminue légèrement dans les cas de forte corrélation.
- Petits sous-groupes : Le test de fluctuation maintient une bonne puissance même pour des minorités de 10%.

5. Application Empirique (Dataset UCI Adult Census)

Sur un jeu de données de 48 000 individus :

Un classifieur Random Forest a été entraîné. Des biais et de la variance ont été artificiellement injectés pour l'âge (< 25 ans) et les heures travaillées (> 55h).
Résultats :
- Les deux versions de FairTree ont détecté les violations injectées.
- Le test de fluctuation a été 1000 fois plus rapide (21 ms contre 26 s) que le test de permutation.
- Impact de la discrétisation : Lorsque l'âge a été discrétisé en tranches de 10 ans, FairTree a manqué le seuil exact (25 ans) et a identifié un seuil incorrect (35 ans). SliceLine a complètement raté les défauts injectés et a trouvé un sous-groupe non pertinent (Sexe = Homme).
- Cela confirme l'importance critique de travailler sur des données continues pour un audit précis.

6. Signification et Implications

L'article FairTree représente une avancée significative dans l'audit algorithmique :

Précision diagnostique : En séparant le biais de la variance, il fournit aux ingénieurs ML des indications claires sur la nature du problème (besoin de rééquilibrer les données vs besoin de régulariser le modèle).
Efficacité et Scalabilité : Le test de fluctuation rend possible l'audit en temps réel ou sur de très grands jeux de données, là où les méthodes de rééchantillonnage sont prohibitives.
Robustesse : La capacité à traiter les variables continues sans discrétisation évite les pièges méthodologiques courants et améliore la détection des discriminations subtiles.

En conclusion, les auteurs recommandent l'utilisation du test de fluctuation pour la plupart des applications en raison de sa puissance et de sa rapidité, tout en suggérant le test de permutation comme validation complémentaire pour les très petits échantillons. L'outil est conçu comme une méthode d'exploration pour identifier les problèmes d'équité, complétant ainsi les approches de justice individuelle.