🤖 machine learning

Fairness-Aware Mixture-of-Experts via Subgroup Reweighting and Gate Regularization

Cet article propose un cadre de mélange d'experts sensible à l'équité de bout en bout qui atténue le biais induit par le routage et les disparités de performance entre les groupes démographiques en combinant la repondération des sous-groupes avec une régularisation de l'entropie de la porte afin d'assurer une utilisation équilibrée des experts tout en maintenant des performances prédictives compétitives.

Auteurs originaux : Sunhee Hwang

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sunhee Hwang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les ordinateurs apprennent à voir le monde avec une clarté qui rivalise avec la vision humaine. Ils peuvent identifier des visages, trier des scanners médicaux et reconnaître des objets en une fraction de seconde. Pourtant, alors que ces systèmes passent des laboratoires de recherche aux applications du monde réel, un défaut discret est apparu. Parce que les données utilisées pour les enseigner reflètent souvent les inégalités de la société humaine, les modèles résultants fonctionnent fréquemment mieux pour certains groupes de personnes que pour d'autres. Un système peut reconnaître le visage d'un jeune homme avec une grande précision, mais éprouver des difficultés significatives avec celui d'une femme âgée, simplement parce que les données d'entraînement contenaient beaucoup plus de photos du premier. Ce n'est pas un bug dans le code, mais un reflet des données elles-mêmes : lorsqu'un ordinateur apprend à partir d'un régime d'informations déséquilibré, il développe une compréhension biaisée du monde.

Pendant des années, les chercheurs ont tenté de corriger cela en apprenant à l'ordinateur à ignorer les détails sensibles comme l'âge ou le genre, ou en ajustant manuellement les données pour les rendre plus homogènes. Cependant, une nouvelle étude suggère que ces corrections traditionnelles ignorent un problème plus profond, particulièrement lors de l'utilisation d'un type spécifique d'architecture avancée connue sous le nom de mélange d'experts (Mixture of Experts). Cette approche est conçue pour être flexible, permettant à un modèle d'orienter différentes entrées vers différents sous-réseaux spécialisés, un peu comme un hôpital dirigeant les patients vers le spécialiste le plus approprié. Les chercheurs ont découvert que lorsque les données sont déséquilibrées, ce système d'orientation peut accidentellement apprendre à envoyer des groupes de personnes spécifiques à des spécialistes spécifiques, ségréguant ainsi la logique interne du modèle et renforçant le biais même qu'il était censé résoudre.

Sunhee Hwang, chercheuse à l'Université Dongyang Mirae, s'est donné pour mission de diagnostiquer et de corriger cet échec caché. L'étude se concentre sur un cadre appelé FAMoE, qui signifie Fairness-Aware Mixture-of-Experts (Mélange d'experts sensible à l'équité). Pour comprendre le problème, il faut d'abord comprendre comment ces modèles fonctionnent. Au lieu de forcer chaque image à travers un chemin unique et rigide, un modèle de mélange d'experts utilise une « porte » (gate) pour décider quel expert interne parmi plusieurs doit traiter une entrée spécifique. Dans un système bien fonctionnant, cette porte devrait orienter les images en fonction de leur contenu visuel. Cependant, Hwang a découvert que lorsque les données d'entraînement sont déséquilibrées — par exemple, s'il y a beaucoup plus de photos d'hommes jeunes que de femmes âgées — la porte apprend un raccourci. Elle commence à orienter les entrées en fonction des attributs sensibles des personnes sur les photos plutôt qu'en fonction de la tâche réelle. Ce phénomène, que l'auteur qualifie de « biais induit par l'orientation » (routing-induced bias), fait en sorte que certains experts soient surchargés de groupes démographiques spécifiques tandis que d'autres restent inactifs, créant une nouvelle couche d'injustice que les méthodes d'équité standards ne peuvent pas détecter.

Pour résoudre cela, l'équipe a proposé une stratégie en deux parties qui agit directement au cours du processus d'apprentissage. Premièrement, ils ont ajusté l'importance des échantillons de données eux-mêmes. En accordant plus de poids aux combinaisons rares d'attributs — comme une femme âgée possédant un trait facial spécifique — le modèle est forcé de prêter attention aux groupes qu'il ignorerait autrement. Cela garantit que le signal d'apprentissage est assez fort pour tout le monde, et pas seulement pour la majorité. Deuxièmement, et de manière plus critique, ils ont ajouté une règle à la porte pour empêcher celle-ci de devenir trop prévisible. Dans une configuration standard, la porte pourrait apprendre à toujours envoyer un certain type de personne vers un expert spécifique. La nouvelle méthode introduit une pénalité qui encourage la porte à répartir ses décisions de manière plus uniforme, garantissant qu'aucun expert ne soit monopolisé par un groupe démographique spécifique. Cela permet de maintenir l'orientation interne du modèle équilibrée et, surtout, interprétable.

Les résultats de cette approche ont été testés sur un large ensemble de données d'images faciales, où l'objectif était de prédire certains attributs tout en garantissant l'équité entre les groupes de genre et d'âge. L'étude a révélé que la nouvelle méthode réduisait considérablement l'écart de performance entre les différents groupes sans sacrifier la précision globale du système. En fait, le modèle a atteint un meilleur équilibre entre l'équité et l'exactitude que de nombreuses techniques existantes, y compris celles qui reposent sur des processus d'apprentissage complexes à plusieurs étapes. La découverte la plus frappante est peut-être non pas l'amélioration des chiffres, mais la transparence de la solution. Parce que le mécanisme d'orientation est désormais équilibré, les chercheurs peuvent réellement observer les décisions de la porte pour voir comment le modèle traite les différents groupes. Dans les modèles traditionnels, l'équité est souvent une boîte noire ; ici, la distribution de l'orientation agit comme une fenêtre, montrant exactement comment le modèle alloue ses ressources.

Ce travail met en lumière un constat crucial : corriger le biais dans l'intelligence artificielle nécessite souvent d'examiner la manière dont le modèle prend ses décisions, et pas seulement ce qu'il apprend. En traitant la façon dont un modèle oriente l'information, les chercheurs ont pu empêcher le système de développer des préférences cachées pour certains groupes. L'étude démontre que lorsque vous corrigez le déséquilibre des données et que vous assurez que les voies internes restent ouvertes à tous, le modèle devient naturellement plus équitable. C'est un rappel que dans la quête de systèmes intelligents, le chemin que prennent les données à travers la machine est tout aussi important que les données elles-mêmes.

Résumé Technique : FAMoE (Fairness-Aware Mixture-of-Experts) via le Repondérage de Sous-groupes et la Régularisation de la Porte

Énoncé du Problème

Les modèles d'apprentissage profond présentent fréquemment des disparités de performance entre les groupes démographiques définis par des attributs sensibles (par exemple, le genre, l'âge). Cette injustice découle souvent de déséquilibres dans les données d'entraînement où certaines combinaisons de labels cibles et d'attributs sensibles sont sous-représentées. Par conséquent, les modèles optimisent pour les sous-groupes majoritaires, ce qui entraîne un sous-apprentissage pour les intersections minoritaires.

Bien que les méthodes de justice existantes se classent généralement en deux catégories, elles font face à des limitations distinctes :

Les méthodes en deux étapes apprennent les représentations séparément de la tâche de prédiction, ce qui peut causer un désalignement entre les objectifs d'équité et les prédictions en aval.
Les méthodes en une seule étape reposent généralement sur un espace de représentation partagé. Bien qu'elles optimisent conjointement l'équité et la précision, un espace partagé peine à capturer les caractéristiques hétérogènes de différents sous-groupes, imposant souvent un compromis entre l'atténuation des biais et la performance prédictive.

De plus, l'auteur identifie un mode de défaillance jusqu'alors peu exploré, spécifique aux modèles de Mélange d'Experts (MoE), nommé biais induit par le routage. Dans les architectures MoE standards, le déséquilibre des sous-groupes peut amener le réseau de porte (gating network) à corréler les décisions de routage avec les attributs sensibles. Cela résulte en un scénario où des sous-groupes spécifiques sont routés presque exclusivement vers quelques experts, laissant d'autres experts sous-utilisés. Ce biais est invisible pour les méthodes d'équité traditionnelles qui supposent une représentation partagée monolithique.

Méthodologie : Le Cadre FAMoE

L'auteur propose FAMoE (Fairness-Aware Mixture-of-Experts), un cadre de bout en bout conçu pour diagnostiquer et corriger le biais induit par le routage. L'architecture se compose d'un encodeur de base (backbone) partagé, de $N$ réseaux d'experts et d'un réseau de porte.

1. Architecture

Backbone Partagé : Extrait une représentation de caractéristiques $z$ de l'image d'entrée. Cela garantit que les différences de performance sont attribuables aux composants MoE plutôt qu'à des variations de l'extraction de caractéristiques.
Réseaux d'Experts : Chaque expert $E_i$ traite $z$ indépendamment pour produire un logit spécifique à l'expert $o_i$ .
Réseau de Porte (Gating Network) : Calcule un vecteur de routage $g$ basé sur $z$ , déterminant le poids de chaque expert. La prédiction finale est une agrégation pondérée des sorties des experts.

2. Composants Clés

Pour traiter les biais identifiés, FAMoE intègre deux mécanismes spécifiques :

Repondérage de Sous-groupes : Pour contrer le déséquilibre des données, le processus d'entraînement assigne des poids aux échantillons inversement proportionnels à la taille de leur sous-groupe conjoint $(y, s)$ , où $y$ est le label cible et $s$ l'attribut sensible. Ceci est implémenté via une perte d'entropie croisée binaire pondérée ( $L_{cls}$ ), garantissant que les sous-groupes sous-représentés contribuent plus significativement aux mises à jour du gradient.
Régularisation de l'Entropie de la Porte : Pour empêcher le réseau de porte de faire s'effondrer les décisions de routage sur des sous-groupes spécifiques (ce qui mène à la monopolisation des experts), l'auteur introduit un terme de régularisation d'entropie ( $H(g)$ ) dans la fonction de perte.
- Contrairement au rééquilibrage de charge conventionnel qui se concentre sur l'efficacité computationnelle, cette régularisation vise spécifiquement à rendre la distribution de routage interprétable.
- En encourageant une entropie plus élevée, la méthode empêche qu'un expert unique ne soit monopolisé par un sous-groupe spécifique, garantissant que les poids de routage reflètent une allocation équilibrée de la capacité des experts à travers la population.

La fonction de perte totale est définie comme :
$L = L_{cls} - \lambda_{ent}H(g)$
où $\lambda_{ent}$ contrôle la force de la régularisation.

Principales Contributions

Identification du Biais Induit par le Routage : L'article identifie un mode de défaillance spécifique dans les modèles MoE où le déséquilibre des sous-groupes pousse le réseau de porte à corréler le routage avec les attributs sensibles, entraînant une utilisation biaisée des experts.
Cadre FAMoE : La proposition d'une solution de bout en bout combinant le repondérage de sous-groupes et la régularisation de l'entropie de la porte. Cette approche corrige le biais de routage tout en maintenant la flexibilité du calcul conditionnel.
Interprétabilité via le Routage : L'auteur démontre que la distribution de routage sert d'outil de diagnostic interprétable. Contrairement aux modèles monolithiques où l'équité est atteinte dans un espace partagé "boîte noire", FAMoE permet l'inspection de la manière dont les sous-groupes sont alloués entre les experts.
Validation Empirique : La méthode démontre une amélioration du compromis équité-précision à travers plusieurs configurations sur le jeu de données CelebA.

Résultats Expérimentaux

La méthode proposée a été évaluée sur le jeu de données CelebA pour des tâches de classification binaire avec divers attributs cibles et sensibles (ex: Attractivité, Gros Nez vs Homme, Jeune).

Métriques : La performance a été mesurée via l'Égalité des Chances (Equalized Odds - EO), l'Exactitude (Accuracy), et le Score de Compromis Équité-Précision (FATS).
Comparaisons : FAMoE a été comparé à des modèles de référence (ResNet-18), au MoE standard et à des méthodes d'équité de pointe (tant en une étape comme GRL, MFD, qu'en deux étapes comme FD-VAE, FairCL).
Constats :
- Équité : FAMoE a obtenu les scores FATS les plus bas (indiquant un meilleur équilibre) pour la plupart des combinaisons d'attributs cibles/sensibles. Par exemple, pour la tâche "Attractivité" avec "Homme" comme attribut sensible, FAMoE a obtenu un EO de 4,1 contre 13,3 pour le MoE standard et 7,4 pour MFD.
- Exactitude : La méthode maintient une précision prédictive compétitive, évitant les chutes significatives souvent observées dans les modèles contraints par l'équité.
- Ablation : Le retrait soit du repondérage de sous-groupes, soit de la régularisation de l'entropie de la porte, a entraîné des scores EO plus élevés, confirmant que les deux composantes sont nécessaires pour atténuer pleinement le biais et récupérer l'exactitude.
- Utilisation des Experts : L'analyse des poids de la porte a révélé que le MoE standard présentait une asymétrie prononcée (certains experts dominés par des sous-groupes spécifiques), tandis que FAMoE produisait une distribution plus équilibrée des poids de routage.

Signification et Revendications

L'article soutient que traiter l'équité dans les MoE nécessite plus qu'un simple apprentissage de représentation standard ; cela nécessite une gestion explicite de l'utilisation des experts. La portée de ce travail réside dans :

Correction d'un Mode de Défaillance Spécifique : Il traite le biais induit par le routage, un problème inhérent au routage conditionnel que les méthodes d'équité existantes (basées sur des représentations partagées) ne peuvent ni détecter ni corriger.
Interprétabilité Accrue : En régularisant la distribution de routage, le modèle offre une vue transparente du comportement au niveau des sous-groupes. Cette "interprétabilité au niveau du routage" offre des perspectives sur les mécanismes d'équité absentes des modèles monolithiques.
Optimisation Holistique : Le cadre démontre qu'adresser conjointement le déséquilibre des données et la dynamique de routage conduit à de meilleurs compromis équité-précision par rapport aux approches déconnectées ou en une seule étape.

L'auteur conclut qu'une prise en compte explicite de l'utilisation des experts est cruciale non seulement pour améliorer les métriques d'équité, mais aussi pour rendre le processus de décision du modèle plus transparent et interprétable.