🤖 AI

SOMtime the World Ain $'$ t Fair: Violating Fairness Using Self-Organizing Maps

Dit artikel toont aan dat de aanname van eerlijkheid door onwetendheid onjuist is bij ongesuperviseerd leren, waarbij wordt aangetoond dat Self-Organizing Maps (SOMtime) onbedoeld gevoelige attributen zoals leeftijd en inkomen kunnen coderen als dominante latente assen, zelfs wanneer deze attributen zijn uitgesloten van de training, waardoor er aanzienlijke risico's voor eerlijkheid in de downstream-processen ontstaan.

Oorspronkelijke auteurs: Joseph Bingham, Netanel Arussy, Dvir Aran

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joseph Bingham, Netanel Arussy, Dvir Aran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, magische kaart van een stad aan het maken bent, maar je hebt een strikte regel opgesteld: je mag niet kijken naar de straatnaamborden die "Rijke Wijk" of "Oude Stad" zeggen. Je hebt alleen de vormen van de gebouwen en de kleuren van de daken. De grote aanname in de wereld van de computerwetenschap is altijd geweest: "Als je niet naar de bordjes kijkt, zal je kaart volkomen neutraal zijn. Het zal je niet per ongeluk laten zien waar de rijke mensen wonen of hoe oud de bewoners zijn."

Dit artikel, getiteld "SOMtime the World Ain't Fair," komt hiermee en zegt: "Eigenlijk klopt die aanname niet."

De auteurs, een team van de Technion Universiteit, ontdekten dat zelfs wanneer je gevoelige informatie zoals leeftijd of inkomen verbergt voor een computer, de computer nog steeds een kaart kan bouwen waarbij deze geheimen perfect in een rechte, gemakkelijk leesbare lijn liggen. Ze noemen dit "structured sensitive-attribute leakage" (gestructureerde lekkage van gevoelige attributen). Het is niet alleen dat het geheim ergens in de kaart verborgen zit; het is dat het geheim is georganiseerd in een duidelijke, benoemde snelweg die er dwars doorheen loopt.

De Magische Kaartmaker: SOMtime

Om deze verborgen snelweg te vinden, gebruikten de auteurs een speciaal hulpmiddel genaamd SOMtime (gebaseerd op Self-Organizing Maps). Denk aan SOMtime als een supergeorganiseerde bibliothecaris die een rommelige stapel boeken (data) neemt en deze op een gigantisch rooster arrangeert.

Hier is de truc: Wanneer de auteurs deze bibliothecaris data over mensen voerden, maar hun leeftijd en inkomen verstoppen, arrangeerde de bibliothecaris de boeken niet zomaar willekeurig. In plaats daarvan arrangeerde de bibliothecaris ze zo dat als je van het ene uiteinde van het rooster naar het andere loopt, je van nature beweegt van "jong" naar "oud" of van "laag inkomen" naar "hoog inkomen".

In hun tests vond dit hulpmiddel een rechte lijn waar leeftijd en inkomen perfect geordend waren. Op een dataset genaamd de World Values Survey was de verbinding tussen deze verborgen lijn en de werkelijke leeftijd van mensen ongelooflijk sterk, met een correlatiescore van wel 0,85. Om dit in perspectief te plaatsen: als je een lijn door de data zou trekken, zou die de leeftijd bijna perfect voorspellen.

De "Andere" Tools Faalden de Test

De auteurs gebruikten niet alleen SOMtime; ze vergeleken het met de gebruikelijke verdachten in de datawereld: PCA, UMAP, t-SNE, Autoencoders en Isomap. Dit zijn de standaardtools die mensen gebruiken om grote hoeveelheden data te begrijpen.

Het artikel concludeerde dat deze andere tools slecht waren in het vinden van deze verborgen snelweg. Zelfs toen de auteurs hen elke kans gaven om de kaart te draaien of vanuit elke mogelijke richting te kijken, was de beste score die ze konden halen een correlatie van ongeveer 0,44. Sterker nog, voor sommige datasets behaalden de standaardtools een score van 0,00, wat betekende dat ze absoluut geen verband vonden tussen de kaart en de verborgen leeftijd of het inkomen.

De auteurs bewezen dat dit niet komt omdat SOMtime een "groter" of "slimmer" hulpmiddel is; ze testten een enorme Autoencoder (een deep learning-model met 1,4 miljoen parameters) die de data bijna perfect kon reconstrueren (met een fout van slechts 0,001). Toch kon zelfs dit gigantische model de verborgen snelweg niet vinden; het bereikte slechts een correlatie van 0,34.

Dit bewijst dat de magie niet gaat over meer rekenkracht hebben; het gaat over hoe het hulpmiddel de data organiseert. SOMtime gebruikt een specifieke methode genaamd "competitive learning" die van nature zwakke signalen uit de hele data ophaalt en ze in één duidelijke richting uitlijnt. De andere tools, zoals PCA, hebben de neiging om deze zwakke signalen te negeren als ze niet de grootste, luidste kenmerken in de kamer zijn.

Waarom Dit Er Toe Doet: De "Fairness" Valstrik

Het artikel betoogt dat we niet simpelweg kunnen zeggen: "We hebben de computer niets over leeftijd verteld, dus het is eerlijk." Dat idee wordt "fairness through unawareness" (eerlijkheid door onwetendheid) genoemd, en dit artikel laat zien dat dit een zwak verdedigingsmechanisme is.

Als een kaart mensen op basis van leeftijd langs een rechte lijn organiseert, dan zal elke beslissing die met die kaart wordt genomen, onbedoeld beïnvloed worden door leeftijd.

Als je de kaart gebruikt om mensen in groepen in te delen (clustering), zullen de groepen gesegregeerd zijn op basis van leeftijd.
Als je de kaart gebruikt om producten aan te bevelen, zullen de aanbevelingen gebaseerd zijn op leeftijd.
Als je de kaart gebruikt om data te visualiseren, zal het beeld leeftijd-gradiënten tonen.

De auteurs bewezen wiskundig dat als deze "lekkage" bestaat op een correlatieniveau van r, dit een specifieke mate van oneerlijkheid (groepsdispariteit) garandeert voor elke taak die de kaart gebruikt. Het is niet alleen een mogelijkheid; het is een wiskundige zekerheid.

Wat het Artikel Uitsluit

De auteurs zijn zeer duidelijk over wat dit niet is:

Het is niet alleen "probing": Normaal gesproken, om te vinden of een kaart bevooroordeeld is, train je een aparte "probe" (een mini-AI) om het geheim te raden. De auteurs laten zien dat SOMtime de bias vindt zonder een probe nodig te hebben. De bias is zichtbaar door simpelweg naar de vorm van de kaart te kijken.
Het is niet alleen "topologie": Ze testten Isomap, een ander hulpmiddel dat de vorm van data behoudt. Isom of faalde in het vinden van de verborgen snelweg (met scores nabij 0,00 in sommige gevallen). Dit bewijst dat het simpelweg behouden van de "vorm" van de data niet genoeg is; de specifieke manier waarop SOMtime het rooster organiseert, is wat de duidelijke, geordende lijn creëert.
Het gaat niet over "sterke" signalen: De auteurs verwijderden de kenmerken die het sterkst verbonden waren met leeftijd (zoals het volledig verwijderen van de kolom "Leeftijd" en het filteren van elke andere kolom die te overduidelijk was). Zelfs met deze zwakke, verspreide signalen vond SOMtime het patroon nog steeds.

De Kern van het Verhaal

Het artikel biedt geen oplossing om deze kaarten eerlijk te maken. In plaats daarvan biedt het een zaklamp. Het laat ons zien dat ongesuperviseerd leren (leren zonder labels) niet neutraal is. Het kan data stiekem organiseren op basis van gevoelige kenmerken zoals leeftijd en inkomen, waardoor een "benoemde as" ontstaat die iedereen die de data gebruikt, onbedoeld zal volgen.

De auteurs maten dit op echte wereldgegevens van vijf landen en een enorme censusdataset. Ze vonden dat terwijl standaardtools de bias wellicht missen, SOMtime deze duidelijk blootlegt, met correlatiescores die oplopen tot 0,85. De boodschap is simpel: als je wilt controleren of je AI eerlijk is, kun je niet alleen het eindresultaat controleren. Je moet de kaart controleren waarop het gebouwd is, want de kaart kan al gesorteerd zijn op de geheimen die je probeerde te verbergen.

Technische Samenvatting: SOMtime – Het schenden van eerlijkheid met Self-Organizing Maps

Probleemstelling

Het artikel daagt de wijdverbreide aanname van "eerlijkheid door onwetendheid" (fairness through unawareness) in ongesuperviseerd machine learning uit. Deze aanname stelt dat als gevoelige attributen (bijv. leeftijd, inkomen, ras) tijdens de training worden weggelaten uit de inputkenmerken, de resulterende ongesuperviseerde representaties (embeddings) neutraal en vrij van discriminerende bias zullen zijn. De auteurs stellen dat dit onjuist is. Ze demonstreren dat ongesuperviseerde representaties gevoelige informatie kunnen coderen, niet louter als herstelbare ruis, maar als gestructureerde lekkage van gevoelige attributen: informatie die georganiseerd is langs een enkele, interpreteerbare geometrische as (een monotone ordening) binnen de embedding-ruimte.

Deze lekkage is bijzonder verraderlijk omdat het optreedt voordat er een specifieke gesuperviseerde taak is gedefinieerd. Bijgevolg erft elke downstream-toepassing die afhankelijk is van deze embeddings — zoals clustering, aanbevelingssystemen of visualisatie — standaard een risico op oneerlijkheid. Het artikel stelt dat standaard auditmethoden, die vaak vertrouwen op probers (probing classifiers) of mutual information-schattingen, mogelijk niet in staat zijn om dit specifieke type globale geometrische organisatie te detecteren, vooral wanneer het gevoelige signaal verdeeld is over vele zwakke kenmerken in plaats van geconcentreerd in enkele sterke proxies.

Methodologie: SOMtime

De auteurs stellen SOMtime voor, een topologie-behoudende audit-tool gebaseerd op hoog-capacitieve Self-Organizing Maps (SOMs). In tegenstelling tot standaard SOM-gebruik voor visualisatie, is SOMtime specifiek ontworpen om gestructureerde lekkage bloot te leggen.

Kernmechanisme

Topologie-behoudende Discretisering: De inputdata wordt gemapt op een 2D-discrete rooster van prototype-vectoren met behulp van een Self-Organizing Map. De grootte van de kaart wordt heuristisch geschaald ( $K = 5 \cdot N^{0.54}$ ) om een hoge resolutie te garanderen.
3D Embedding Constructie: Om continue analyse mogelijk te maken, wordt het discrete SOM-rooster getransformeerd naar een 3D-embedding. Elke observatie krijgt toegewezen:
- $(x, y)$ coördinaten: De positie van de Best Matching Unit (BMU) op het rooster.
- $z$ coördinaat: De kwantiseringsfout ( $\|x_i - w_{j^*}\|$ ), aangeduid als "activatie-energie".
As-herstel (Axis Recovery): De methode analyseert de geometrie van de SOM-unit-centroids om een traject te identificeren waar het gevoelige attribuut monotoon varieert. Dit wordt bereikt via een greedy nearest-neighbor procedure die een pad langs het rooster construeert.
Audit Metriek: De sterkte van de lekkage wordt gekwantificeerd door de Spearman-correlatie ( $\rho$ ) tussen het weggelaten gevoelige attribuut en de positie langs het herstelde monotone pad (specifiek de activatie $z$ -as).

Theoretische Fundering

Het artikel legt een theoretische brug tussen gestructureerde lekkage en schending van eerlijkheid:

Definitie: Gestructureerde lekkage treedt op wanneer een gevoelig attribuut $s$ gecodeerd is langs een enkele lineaire richting $\hat{v}$ in de embedding-ruimte met correlatie $r$ .
Dispariteit-grens (Disparity Bound): De auteurs bewijzen dat als gestructureerde lekkage bestaat met correlatieniveau $r$ , dit een kwantitatieve ondergrens induceert voor de worst-case groep-dispariteit voor elke Lipschitz-functie die op de embedding werkt. Specifiek is de groepsgemiddelde scheiding exact $|r|\sigma_\zeta / \sqrt{p(1-p)}$ , waarbij $p$ de prevalentie van de groep is.
Mechanisme Contrast: Het artikel contrasteert SOMs met Principal Component Analysis (PCA). PCA onderdrukt signalen in richtingen met lage variantie; als een gevoelig attribuut verdeeld is over veel kenmerken met zwakke individuele correlaties, truncaert PCA dit signaal. In contrast hiermee behouden SOMs Lipschitz-continue signalen ongeacht de variantie, waardoor ze in staat zijn om gedistribueerde zwakke signalen te aggregeren tot een coherente geometrische structuur.

Experimentele Opzet

De auteurs evalueerden SOMtime tegen vijf baselines (PCA, UMAP, t-SNE, Autoencoders en Isomap) op twee real-world datasets, waarbij de gevoelige attributen strikt werden weggelaten tijdens de representatie-lering:

World Values Survey (WVS): Data van vijf landen (Canada, Roemenië, Duitsland, China, VS) gebruikmakend van ethiek/moraal vragen, met leeftijd als het weggelaten attribuut.
Census-Income (KDD): Demografische en economische data, met leeftijd, inkomen en kapitaalwinsten (capital gains) als weggelaten attributen.

Preprocessing: Om een realistisch dreigingsmodel te simuleren waarbij sterke proxies zijn verwijderd, filterden de auteurs kenmerken met een hoge correlatie met het gevoelige attribuut uit. Dit liet een regime over waarin geen enkel kenmerk een sterke indicator was, wat de methoden dwong om te vertrouwen op het aggregeren van gedistribueerde zwakke signalen.

Belangrijkste Resultaten

1. Superieur Herstel van Gevoelige Structuur

SOMtime presteerde aanzienlijk beter dan alle baselines in het herstellen van de monotone ordening van gevoelige attributen:

WVS (Leeftijd): SOMtime behaalde Spearman-correlaties tussen 0,52 en 0,85 over verschillende landen. De sterkste baseline (PCA) bereikte maximaal 0,44.
Census (Leeftijd/Inkomen/Winsten): SOMtime behaalde correlaties van 0,83 (Leeftijd), 0,69 (Inkomen) en 0,43 (Winsten). Baselines piekten op 0,22–0,40.
Rotatie-invariantie: Zelfs toen de baselines werden geëvalueerd onder een rotatie-invariante metriek (het zoeken naar de beste lineaire richting in de embedding), bleef de voorsprong van SOMtime bestaan. De verbeteringsfactor varieerde van 1,7x tot 5,4x.

2. Validatie van het Mechanisme

Capaciteit vs. Topologie: Grote Autoencoders (1,4 miljoen parameters) bereikten bijna perfecte reconstructie (MSE $\approx$ 0,001) maar faalden in het herstellen van de gevoelige structuur (max Spearman $\approx$ 0,34). Dit bevestigt dat de lekkage niet te wijten is aan de modelcapaciteit, maar aan de competitieve leerdynamiek en de vaste rooster-topologie van SOMs.
Specificiteit van Topologie-behoud: Isomap, een andere topologie-behoudende methode, presteerde vergelijkbaar met PCA en UMAP (max Spearman $\approx$ 0,43) en faalde in verschillende gevallen bij het herstellen van de structuur. Dit geeft aan dat het voordeel specifiek is voor SOMs, en niet voor topologie-behoud in het algemeen.
Signaalsterkte: Het prestatieverschil was het grootst waar het signaal per kenmerk het zwakst was (bijv. Kapitaalwinsten), wat de hypothese ondersteunt dat SOMs uniek in staat zijn om gedistribueerde zwakke signalen te aggregeren.

3. Traject-herstel

De procedure voor traject-herstel slaagde erin de ordening van gevoelige groepen (bijv. leeftijdscategorieën) te reconstrueren uit de 3D-embedding met een hoge nauwkeurigheid (bijv. 100% voor WVS Canada, 0,82 voor Census Leeftijd), wat ver boven de kans op toeval uitkomt.

Betekenis en Claims

Het artikel maakt de volgende claims met betrekking tot de bijdrage:

Weerlegging van Neutraliteit: Ongesuperviseerde representaties zijn niet neutraal; ze kunnen gevoelige attributen coderen als dominante geometrische assen, zelfs wanneer die attributen expliciet zijn uitgesloten tijdens de training.
Gestructureerde Lekkage: De auteurs definiëren en demonstreren een specifieke vorm van lekkage — gestructureerde gevoelige-attribuut-lekkage — waarbij informatie georganiseerd is langs een interpreteerbare as, verschillend van louter "door een probe herstelbare" lekkage.
Noodzaak van Auditing: Auditing voor eerlijkheid moet zich uitstrekken voorbij gesuperviseerde voorspellers en probing classifiers naar ongesuperviseerde representaties. Omdat gestructureerde lekkage een "benoemde as" creëert, is het auditeerbaar voordat downstream-taken (clustering, visualisatie) worden uitgevoerd.
Theoretische Brug: Het werk formaliseert de link tussen monotone ordening in embeddings en downstream eerlijkheids-schendingen, waarbij bewezen wordt dat de aanwezigheid van een dergelijke ordening een ondergrens garandeert voor groep-dispariteit voor elke Lipschitz-continue downstream-taak.

De auteurs positioneren SOMtime niet als een hulpmiddel voor het mitigeren van oneerlijkheid, maar als een diagnostische lens die de "onzichtbare" geometrische organisatie van gevoelige data expliciet maakt, waardoor governance en auditing mogelijk wordt in moderne ML-pipelines die steunen op ongesuperviseerde fundamenten.