🤖 AI

SOMtime the World Ain $'$ t Fair: Violating Fairness Using Self-Organizing Maps

Cet article démontre que l'hypothèse de l'équité par l'ignorance est fausse dans l'apprentissage non supervisé, montrant que les cartes auto-organisatrices (SOMtime) peuvent involontairement encoder des attributs sensibles tels que l'âge et le revenu comme des axes latents dominants même lorsque ces attributs sont exclus de l'entraînement, créant ainsi des risques d'équité importants en aval.

Auteurs originaux : Joseph Bingham, Netanel Arussy, Dvir Aran

Publié 2026-07-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joseph Bingham, Netanel Arussy, Dvir Aran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une carte magique et géante d'une ville, mais que vous vous êtes imposé une règle stricte : vous n'avez pas le droit de regarder les panneaux de rue indiquant « Quartier Riche » ou « Vieille Ville ». Vous ne disposez que des formes des bâtiments et des couleurs des toits. La grande hypothèse du monde de l'informatique a toujours été : « Si vous ne regardez pas les panneaux, votre carte sera totalement neutre. Elle ne vous montrera pas accidentellement où vivent les gens riches ou quel est l'âge des résidents. »

Ce papier, intitulé « SOMtime the World Ain't Fair », arrive et dit : « En fait, cette hypothèse est fausse. »

Les auteurs, une équipe de l'Université Technion, ont découvert que même lorsque vous cachez des informations sensibles comme l'âge ou le revenu à un ordinateur, celui-ci peut encore construire une carte où ces secrets s'alignent parfaitement en une ligne droite et facile à lire. Ils appellent cela la « fuite d'attribut sensible structurée » (structured sensitive-attribute leakage). Il ne s'agit pas seulement que le secret soit caché quelque part dans la carte ; c'est que le secret est organisé en une autoroute claire et nommée qui traverse précisément le milieu de celle-ci.

Le Créateur de Cartes Magiques : SOMtime

Pour trouver cette autoroute cachée, les auteurs ont utilisé un outil spécial appelé SOMtime (basé sur les cartes auto-organisatrices ou Self-Organizing Maps). Considérez SOMtime comme un bibliothécaire super organisé qui prend une pile de livres désordonnés (les données) et les dispose sur une grille géante.

Voici l'astuce : lorsque les auteurs ont nourri ce bibliothécaire avec des données sur des personnes, tout en cachant leur âge et leur revenu, le bibliothécaire ne s'est pas contenté de mélanger les livres de manière aléatoire. Au lieu de cela, le bibliothécaire les a disposés de telle sorte que si vous marchiez d'un bout à l'autre de la grille, vous passeriez naturellement de « jeune » à « vieux » ou de « faible revenu » à « haut revenu ».

Dans leurs tests, cet outil a trouvé une ligne droite où l'âge et le revenu étaient parfaitement ordonnés. Sur un ensemble de données appelé World Values Survey, la connexion entre cette ligne cachée et l'âge réel des personnes était incroyablement forte, avec un score de corrélation allant jusqu'à 0,85. Pour mettre cela en perspective, si vous traciez une ligne à travers les données, elle prédirait l'âge presque parfaitement.

Les « Autres » Outils Ont Échoué au Test

Les auteurs n'ont pas seulement utilisé SOMtime ; ils l'ont comparé aux suspects habituels du monde des données : PCA, UMAP, t-SNE, Autoencoders et Isomap. Ce sont les outils standards que les gens utilisent pour donner du sens aux données massives.

Le papier a révélé que ces autres outils étaient terribles pour trouver cette autoroute cachée. Même lorsque les auteurs leur ont donné toutes les chances de faire pivoter la carte ou de regarder dans toutes les directions possibles, le meilleur qu'ils aient pu faire était une corrélation d'environ 0,44. En fait, pour certains ensembles de données, les outils standards ont obtenu un score de 0,00, ce qui signifie qu'ils n'ont trouvé absolument aucun lien entre la carte et l'âge ou le revenu cachés.

Les auteurs ont prouvé que ce n'est pas simplement parce que SOMtime est un outil plus « gros » ou plus « intelligent ». Ils ont testé un Autoencoder massif (un modèle de deep learning avec 1,4 million de paramètres) qui pouvait reconstruire les données presque parfaitement (avec une erreur de seulement 0,001). Pourtant, même ce modèle géant n'a pas pu trouver l'autoroute cachée ; il n'a atteint qu'une corrélation de 0,34.

Cela prouve que la magie ne vient pas de la puissance de calcul, mais de la manière dont l'outil organise les données. SOMtime utilise une méthode spécifique appelée « apprentissage compétitif » qui tire naturellement les signaux faibles de partout dans les données et les aligne en une direction unique et claire. Les autres outils, comme la PCA, ont tendance à ignorer ces signaux faibles s'ils ne sont pas les caractéristiques les plus importantes ou les plus bruyantes de la pièce.

Pourquoi Cela Importe : Le Piège de la « Loyauté »

Le papier soutient que nous ne pouvons pas simplement dire : « Nous n'avons pas informé l'ordinateur de l'âge, donc c'est équitable. » Cette idée est appelée « équité par l'ignorance » (fairness through unawareness), et ce papier montre qu'il s'agit d'une défense fragile.

Si une carte organise les gens par âge le long d'une ligne droite, alors toute décision prise à l'aide de cette carte sera accidentellement biaisée par l'âge.

Si vous utilisez la carte pour regrouper les gens par quartiers (clustering), les groupes seront ségrégués par âge.
Si vous utilisez la carte pour recommander des produits, les recommandations seront basées sur l'âge.
Si vous utilisez la carte pour visualiser des données, l'image montrera des gradients d'âge.

Les auteurs ont prouvé mathématiquement que si cette « fuite » existe à un niveau de corrélation r, elle garantit une quantité spécifique d'inéquité (disparité de groupe) pour toute tâche utilisant la carte. Ce n'est pas seulement une possibilité ; c'est une certitude mathématique.

Ce que le Papier Écarte

Les auteurs sont très clairs sur ce que cela n'est pas :

Ce n'est pas seulement une question de « sondage » (probing) : Habituellement, pour savoir si une carte est biaisée, on entraîne un « sondeur » séparé (une mini-IA) pour deviner le secret. Les auteurs montrent que SOMtime trouve le biais sans avoir besoin d'un sondeur. Le biais est visible simplement en regardant la forme de la carte.
Ce n'est pas seulement une question de « topologie » : Ils ont testé Isomap, un autre outil qui préserve la forme des données. Isomap a échoué à trouver l'autoroute cachée (avec un score proche de 0,00 dans certains cas). Cela prouve que le simple fait de préserver la « forme » des données ne suffit pas ; c'est la manière spécifique dont SOMtime organise la grille qui crée la ligne ordonnée et claire.
Ce n'est pas une question de « signaux forts » : Les auteurs ont supprimé les caractéristiques les plus fortement liées à l'âge (en supprimant entièrement la colonne « Âge » et en filtrant toute autre colonne trop évidente). Même avec ces signaux faibles et dispersés, SOMtime a quand même trouvé le motif.

L'Essentiel à Retenir

Le papier ne propose pas de solution pour rendre ces cartes équitables. À la place, il offre une lampe de poche. Il nous montre que l'apprentissage non supervisé (apprendre sans étiquettes) n'est pas neutre. Il peut secrètement organiser les données selon des traits sensibles comme l'âge ou le revenu, créant un « axe nommé » que quiconque utilise les données suivra accidentellement.

Les auteurs ont mesuré cela sur des données réelles provenant de cinq pays et d'un immense ensemble de données de recensement. Ils ont trouvé que, tandis que les outils standards pourraient manquer le biais, SOMtime l'expose clairement, avec des scores de corrélation atteignant 0,85. Le message est simple : si vous voulez vérifier si votre IA est équitable, vous ne pouvez pas vous contenter de vérifier la réponse finale. Vous devez vérifier la carte sur laquelle elle a été construite, car la carte pourrait déjà être triée par les secrets mêmes que vous avez tenté de cacher.

Résumé technique : SOMtime – La violation de l'équité par les cartes auto-organisatrices

Énoncé du problème

L'article remet en question l'hypothèse généralisée de « l'équité par l'ignorance » (fairness through unawareness) dans l'apprentissage automatique non supervisé. Cette hypothèse postule que si les attributs sensibles (par exemple, l'âge, le revenu, la race) sont exclus des caractéristiques d'entrée lors de l'entraînement, les représentations (plongements ou embeddings) résultantes seront neutres et exemptes de biais discriminatoires. Les auteurs soutiennent que cela est faux. Ils démontrent que les représentations non supervisées peuvent encoder des informations sensibles non pas simplement sous forme de bruit récupérable, mais sous la forme d'une fuite structurée d'attributs sensibles : une information organisée le long d'un axe géométrique unique et interprétable (un ordonnancement monotone) au sein de l'espace de plongement.

Cette fuite est particulièrement insidieuse car elle se produit avant toute définition de tâche supervisée. Par conséquent, toute application en aval s'appuyant sur ces plongements — telle que le partitionnement de données (clustering), les systèmes de recommandation ou la visualisation — hérite par défaut d'un risque d'équité. L'article pose comme postulat que les méthodes d'audit standard, qui reposent souvent sur des classificateurs de sondage (probing classifiers) ou l'estimation de l'information mutuelle, peuvent échouer à détecter ce type spécifique d'organisation géométrique globale, en particulier lorsque le signal sensible est distribué à travers de nombreuses caractéristiques faibles plutôt que concentré dans quelques proxys forts.

Méthodologie : SOMtime

Les auteurs proposent SOMtime, un outil d'audit préservant la topologie basé sur des cartes auto-organisatrices (SOM - Self-Organizing Maps) à haute capacité. Contrairement à l'usage standard des SOM pour la visualisation, SOMtime est conçu spécifiquement pour exposer la fuite structurée.

Mécanisme central

Discrétisation préservant la topologie : Les données d'entrée sont projetées sur une grille discrète en 2D de vecteurs prototypes à l'aide d'une carte auto-organisatrice. La taille de la carte est ajustée de manière heuristique ( $K = 5 \cdot N^{0.54}$ ) pour garantir une haute résolution.
Construction de l'espace de plongement en 3D : Pour permettre une analyse continue, la grille discrète de la SOM est transformée en un plongement 3D. Chaque observation se voit assigner :
- Des coordonnées $(x, y)$ : la position de son unité de meilleure correspondance (BMU - Best Matching Unit) sur la grille.
- Une coordonnée $z$ : l'erreur de quantification ( $\|x_i - w_{j^*}\|$ ), appelée « énergie d'activation ».
Récupération de l'axe : La méthode analyse la géométrie des centroïdes des unités de la SOM pour identifier une trajectoire où l'attribut sensible varie de manière monotone. Cela est réalisé via une procédure de plus proche voisin gloutonne qui construit un chemin le long de la grille.
Métrique d'audit : La force de la fuite est quantifiée par la corrélation de Spearman ( $\rho$ ) entre l'attribut sensible occulté et la position le long du chemin monotone récupéré (spécifiquement l'axe d'activation $z$ ).

Fondement théorique

L'article établit un pont théorique entre la fuite structurée et la violation de l'équité :

Définition : Une fuite structurée se produit lorsqu'un attribut sensible $s$ est encodé le long d'une direction linéaire unique $\hat{v}$ dans l'espace de plongement avec une corrélation $r$ .
Borne de disparité : Les auteurs prouvent que si une fuite structurée existe à un niveau de corrélation $r$ , elle induit une borne inférieure quantitative sur la pire disparité de groupe pour toute fonction lipschitzienne agissant sur le plongement. Plus précisément, la séparation des moyennes de groupe est exactement $|r|\sigma_\zeta / \sqrt{p(1-p)}$ , où $p$ est la prévalence du groupe.
Contraste de mécanisme : L'article oppose les SOM à l'Analyse en Composantes Principales (PCA). La PCA supprime les signaux dans les directions de faible variance ; si un attribut sensible est distribué à travers de nombreuses caractéristiques ayant de faibles corrélations individuelles, la PCA tronque ce signal. En revanche, les SOM préservent les signaux lipschitziens indépendamment de la variance, ce qui leur permet d'agréger des signaux faibles distribués en une structure géométrique cohérente.

Configuration expérimentale

Les auteurs ont évalué SOMtime par rapport à cinq bases de référence (PCA, UMAP, t-SNE, Autoencodeurs et Isomap) sur deux jeux de données réels, en omettant strictement les attributs sensibles lors de l'apprentissage de la représentation :

World Values Survey (WVS) : Données provenant de cinq pays (Canada, Roumanie, Allemagne, Chine, USA) utilisant des questions sur l'éthique/la morale, avec l'âge comme attribut occulté.
Census-Income (KDD) : Données démographiques et économiques, avec l'âge, le revenu et les gains en capital occultés.

Prétraitement : Pour simuler un modèle de menace réaliste où les proxys forts sont supprimés, les auteurs ont filtré les caractéristiques présentant une corrélation élevée avec l'attribut sensible. Cela a laissé un régime où aucune caractéristique unique n'est un indicateur fort, forçant les méthodes à compter sur l'agrégation de signaux faibles distribués.

Résultats clés

1. Récupération supérieure de la structure sensible

SOMtime a nettement surpassé toutes les bases de référence pour récupérer l'ordonnancement monotone des attributs sensibles :

WVS (Âge) : SOMtime a obtenu des corrélations de Spearman comprises entre 0,52 et 0,85 selon les pays. La base la plus performante (PCA) n'a atteint au maximum que 0,44.
Census (Âge/Revenu/Gains) : SOMtime a obtenu des corrélations de 0,83 (Âge), 0,69 (Revenu) et 0,43 (Gains). Les bases de référence ont plafonné entre 0,22 et 0,40.
Invariance par rotation : Même en évaluant les bases de référence sous une métrique invariante par rotation (recherche de la meilleure direction linéaire dans le plongement), l'avance de SOMtime a persisté. Le facteur d'amélioration variait de 1,7x à 5,4x.

2. Validation du mécanisme

Capacité vs Topologie : Les autoencodeurs de grande capacité (1,4 M de paramètres) ont obtenu une reconstruction quasi parfaite (MSE $\approx$ 0,001) mais ont échoué à récupérer la structure sensible (Spearman max $\approx$ 0,34). Cela confirme que la fuite n'est pas due à la capacité du modèle, mais à la dynamique d'apprentissage compétitif et à la topologie de grille fixe des SOM.
Spécificité de la préservation de la topologie : Isomap, une autre méthode préservant la topologie, a performé de manière similaire à la PCA et à UMAP (Spearman max $\approx$ 0,43) et a échoué à récupérer la structure dans plusieurs cas. Cela indique que l'avantage est spécifique aux SOM, et non à la préservation de la topologie en général.
Force du signal : L'écart de performance était le plus important là où le signal par caractéristique était le plus faible (ex: Gains en capital), soutenant l'hypothèse selon laquelle les SOM agrègent de manière unique les signaux faibles distribués.

3. Récupération de la trajectoire

La procédure de récupération de la trajectoire a réussi à reconstruire l'ordre des groupes sensibles (ex: tranches d'âge) à partir du plongement 3D avec une grande précision (ex: 100 % pour WVS Canada, 0,82 pour Census Âge), dépassant de loin le hasard.

Signification et revendications

L'article avance les revendications suivantes concernant sa contribution :

Réfutation de la neutralité : Les représentations non supervisées ne sont pas neutres ; elles peuvent encoder des attributs sensibles sous forme d'axes géométriques dominants, même lorsque ces attributs sont explicitement exclus de l'entraînement.
Fuite structurée : Les auteurs définissent et démontrent une forme spécifique de fuite — la fuite structurée d'attributs sensibles — où l'information est organisée le long d'un axe interprétable, distinct d'une simple fuite « récupérable par sondage ».
Nécessité de l'audit : L'audit de l'équité doit s'étendre au-delà des prédicteurs supervisés et des classificateurs de sondage pour inclure les représentations non supervisées. Parce que la fuite structurée crée un « axe nommé », elle est auditable avant que les tâches en aval (clustering, visualisation) ne soient exécutées.
Pont théorique : Ce travail formalise le lien entre l'ordonnancement monotone dans les plongements et les violations d'équité en aval, prouvant que l'existence d'un tel ordonnancement garantit une borne inférieure sur la disparité de groupe pour toute tâche lipschitzienne en aval.

Les auteurs positionnent SOMtime non pas comme un outil d'atténuation de l'équité, mais comme une lentille de diagnostic qui rend explicite l'organisation géométrique « invisible » des données sensibles, permettant ainsi la gouvernance et l'audit dans les pipelines de ML modernes qui reposent sur des fondations non supervisées.