Overcoming Representation Bias in Fairness-Aware data Repair using Optimal Transport

Deze paper lost vertekening in eerlijkheidsbewuste dataherstel op door een Bayesiaanse niet-parametrische stopregel te gebruiken voor het leren van optimale transport-operatoren, waardoor ook archiefdata kan worden gerepareerd en een nieuw evenwicht tussen eerlijkheid en datakwaliteit wordt gedefinieerd.

De kern

Stel je voor dat je een grote bak met verschillende soorten snoep hebt. In deze bak zitten veel rode snoepjes (de "meerderheid") en maar een paar blauwe snoepjes (de "minderheid"). Als je nu een machine leert om de smaak van deze snoepjes te voorspellen, zal die machine waarschijnlijk denken dat alle snoepjes naar aardbei smaken, omdat hij bijna alleen maar rode aardbei-snoepjes heeft geproefd. De blauwe snoepjes zijn zo zeldzaam, dat de machine ze gewoon negeert.

Dit is precies het probleem van vooroordelen in data (representation bias). Als je een AI traint op onvolledige data, wordt de AI oneerlijk: hij doet het goed voor de grote groep, maar faalt voor de kleine groep.

De auteurs van dit paper, Abigail Langbridge, Anthony Quinn en Robert Shorten, hebben een slimme oplossing bedacht om dit op te lossen. Laten we hun methode uitleggen met een paar creatieve vergelijkingen.

1. Het probleem: De "Kleine Groep" wordt genegeerd

Stel je voor dat je een kookrecept wilt perfectioneren. Je hebt vier groepen ingrediënten:

• Groep A (Rood, Zout)
• Groep B (Rood, Zoet)
• Groep C (Blauw, Zout)
• Groep D (Blauw, Zoet)

In de echte wereld (en in veel datasets) heb je misschien 1000 porties van A, maar maar 10 porties van D. Als je gewoon gaat koken (leren), proef je de 10 porties van D niet genoeg om te weten hoe ze écht smaken. Je recept voor D wordt dus een gok, en dat is gevaarlijk.

De meeste bestaande methoden proberen de data "op te poetsen" (repairen) door de grote groep wat te verkleinen en de kleine groep wat te vergroten. Maar als je de kleine groep niet goed kent, kun je ze niet eerlijk maken. Het is alsof je probeert een schilderij te restaureren terwijl je de originele verfkleur van dat stukje niet kent.

2. De Oplossing: De "Slimme Stopknop"

De auteurs zeggen: "Wacht even! We moeten niet stoppen met leren totdat we een willekeurig aantal monsters hebben. We moeten stoppen pas als we het echt begrijpen."

Ze gebruiken een wiskundige techniek genaamd Bayesiaanse niet-parametrische stopregels.

• De Analogie: Stel je voor dat je een nieuwe taal leert. Normaal gesproken zeg je: "Ik leer 100 woorden en stop dan." Maar wat als die 100 woorden alleen maar over 'katten' gaan? Je weet dan nog niets over 'auto's'.
• De Nieuwe Methode: De computer kijkt continu: "Heb ik nu genoeg variatie gezien om te weten hoe deze specifieke groep (bijv. 'Blauw-Zout') eruitziet?" Zolang de computer twijfelt, blijft hij data verzamelen voor die specifieke groep. Zodra hij zeker is, stopt hij.
• Het Resultaat: Zelfs als de 'Blauw-Zout' groep in de originele dataset maar 10 keer voorkwam, zorgt deze methode ervoor dat we die 10 keer zo goed analyseren dat we het patroon volledig doorgronden. We vullen de gaten op met wiskundige zekerheid, niet met gissen.

3. Het Repareren: De "Optimale Transport" (De Verhuisservice)

Nu we de smaak van elke groep goed kennen, moeten we ze eerlijk maken. De auteurs gebruiken Optimal Transport (OT).

• De Analogie: Stel je voor dat je twee groepen mensen hebt die op verschillende plekken in een park staan. De ene groep staat in de zon (voordeel), de andere in de schaduw (nadeel). Je wilt ze eerlijk verdelen, maar je wilt ze niet zomaar verplaatsen alsof ze blokken zijn; je wilt ze zo verplaatsen dat ze zo min mogelijk moeite hoeven te doen (minimale schade aan hun oorspronkelijke karakter).
• De OT-methode: De computer berekent de perfecte route om de mensen uit de schaduw naar een plek te brengen die precies halverwege ligt tussen de zon en de schaduw. Dit gebeurt zo dat niemand zijn identiteit verliest, maar iedereen wel op een eerlijke plek staat.
• Het Nieuwe: Omdat ze eerst de "stopregel" hebben gebruikt, weten ze precies waar de mensen in de schaduw echt staan. Ze hoeven niet te gokken. Hierdoor is de verhuizing (de reparatie) veel accurater, zelfs voor de zeldzame groepen.

4. Waarom is dit belangrijk?

In het verleden konden AI-systemen alleen werken op de data die ze al hadden. Als je nieuwe data binnenkwam (bijvoorbeeld oude archiefbestanden of nieuwe klanten), konden ze die niet eerlijk maken omdat ze de "recepten" voor de kleine groepen niet hadden geleerd.

Met deze nieuwe methode:

1. Ze leren tot het klopt: Ze stoppen niet te vroeg, zelfs niet bij kleine groepen.
2. Ze zijn robuust: Het werkt ook als de data heel ongelijk verdeeld is (bijvoorbeeld 99% mannen, 1% vrouwen).
3. Ze zijn toepasbaar: Je kunt het recept dat je hebt geleerd gebruiken op nieuwe data, zelfs als je die nieuwe data nog niet hebt gezien.

Samenvattend

Stel je voor dat je een gerecht kookt voor een heel dorp.

• De oude manier: Je kookt alleen voor de grote groep, en hoopt dat het ook smaakt voor de kleine groep.
• Deze nieuwe manier: Je kookt eerst een proefpotje voor elke kleine groep tot je 100% zeker weet hoe het moet. Pas dan maak je het grote gerecht, waarbij je ervoor zorgt dat iedereen evenveel smaak krijgt, zonder dat het gerecht zijn oorspronkelijke karakter verliest.

De auteurs tonen aan dat hun methode werkt op echte datasets (zoals de 'Adult Income' dataset over salarissen) en dat ze hiermee oneerlijkheid kunnen wegwerken, zelfs als de data erg scheef is. Het is een stap in de richting van AI die eerlijk is voor iedereen, niet alleen voor de meerderheid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Overcoming Representation Bias in Fairness-Aware Data Repair Using Optimal Transport" in het Nederlands.

Titel: Het Overwinnen van Representatiebias in Fairness-Aware Data Reparatie met behulp van Optimaal Transport

Auteurs: Abigail Langbridge, Anthony Quinn, Robert Shorten (Imperial College London & Trinity College Dublin)

---

1. Het Probleem: Representatiebias en Generalisatie

Machine learning-modellen lijden vaak onder representatiebias, waarbij bepaalde subgroepen (bijv. minderheden op basis van ras, geslacht of etniciteit) ondervertegenwoordigd zijn in de trainingsdata. Dit leidt tot twee kritieke problemen bij bestaande methoden voor "data repair" (het herstellen van data om eerlijkheid te garanderen):

1. Slechte leerprestaties voor minderheidsgroepen: Bestaande methoden leren hersteloperaties (repair operators) vaak van de data zelf. Als een subgroep klein is, wordt de onderliggende verdeling slecht geleerd, waardoor de hersteloperatie voor deze groep onnauwkeurig of biased blijft.
2. Gebrek aan generalisatie: Veel huidige methoden vereisen toegang tot de volledige dataset om reparaties toe te passen. Ze zijn niet ontworpen om te generaliseren naar nieuwe, onzichtbare data (zoals archiefdata of data-streams) die uit dezelfde generatieve proces komen maar niet in de trainingsset zaten.

De auteurs stellen dat traditionele benaderingen de "verdeling" van de data niet volledig begrijpen voordat ze repareren, wat leidt tot onvolledige correctie van onrechtvaardigheden, vooral bij intersectie (bijv. niet-witte vrouwen).

2. Methodologie

De auteurs presenteren een nieuwe, datagedreven methode die Bayesiaanse niet-parametrische statistiek combineert met Optimaal Transport (OT) om representatiebias te overwinnen.

A. Bayesiaanse Niet-Parametrische Stopregel (Bayesian Nonparametric Stopping Rule)

In plaats van een vaste datasetgrootte of een vooraf bepaald evenwicht te forceren, leren de auteurs de onderliggende verdelingen ($F_{u,s}$) voor elke subgroep (gebaseerd op een onbeschermde attribuut $u$ en een beschermd attribuut $s$) totdat ze "voltooid" zijn.

• Dirichlet Proces Prior: Ze modelleren de onbekende verdeling als een Dirichlet Proces (DP).
• Sequential Learning: Data wordt sequentieel binnengehaald. Het leren stopt pas wanneer een stopregel wordt bereikt.
• Stopcriterium: De stopregel is gebaseerd op de Kullback-Leibler Divergentie (KLD) tussen opeenvolgende Dirichlet-posteriors. Zodra de verandering in de geleerde verdeling onder een drempelwaarde ($\epsilon$) daalt, wordt het leren voor die subgroep gestopt.
• Resultaat: Dit garandeert dat zelfs zeer kleine subgroepen (met lage kans $p_{u,s}$) voldoende data verzamelen om hun verdeling accuraat te leren, waardoor representatiebias in het leerproces wordt geëlimineerd.

B. Data Reparatie via Optimaal Transport

Zodra de verdelingen voor alle subgroepen volledig zijn geleerd, worden reparaties toegepast:

• Quantisatie: De geleerde verdelingen worden omgezet in een uniforme verdeling over een set van centroiden (gebaseerd op de waarnemingen).
• Wasserstein Barycenter: De auteurs definiëren een "eerlijke" doelverdeling als het Wasserstein-barycentrum (het midden van de geodetische lijn) tussen de verdelingen van de verschillende subgroepen binnen een bepaalde $u$-groep. Dit barycentrum is per definitie onafhankelijk van het beschermde attribuut $s$.
• Stochastische Operator: Een stochastische operator ($T_{u,s}$) wordt ontworpen die een datapunt uit een oneerlijke subgroep transporteert naar het barycentrum. Dit gebeurt via een optimale transportplanning die de "schade" aan de data minimaliseert terwijl de onafhankelijkheid van $s$ wordt gewaarborgd.

C. Evaluatiemetrics

• Eerlijkheid ($\hat{E}$): Gemeten via de symmetrische KLD tussen de voorwaardelijke verdelingen. Een lagere waarde betekent dat de afhankelijkheid van het beschermde attribuut $s$ is doorbroken.
• Dataschade ($D$): Een nieuwe metric die de KLD meet tussen de originele (onherstelde) en de herstelde verdeling. Dit kwantificeert hoeveel voorspellende informatie verloren gaat tijdens het reparatieproces.

3. Belangrijkste Bijdragen

1. Oplossing voor Representatiebias: De introductie van een data-gestuurde stopregel die het leren van subgroepverdelingen garandeert, ongeacht de grootte van de subgroep in de oorspronkelijke dataset.
2. Generalisatie naar Archiefdata: Omdat de hersteloperatie wordt geleerd op basis van de volledige verdeling (en niet alleen op de specifieke datapunten), kan de methode worden toegepast op nieuwe, onzichtbare data (out-of-sample) zonder de trainingsdata opnieuw te hoeven bekijken.
3. Nieuwe Definitie van Eerlijke Doelverdeling: Een formule voor een eerlijke doelverdeling die een afweging maakt tussen het maximaliseren van eerlijkheid en het minimaliseren van dataschade.
4. Robuustheid bij Intersectie: De methode is effectief in scenario's met intersectie (meerdere beschermde attributen), waar traditionele methoden vaak falen door "verwatering" (dilution) van de data.

4. Resultaten

De auteurs hebben hun methode getest op gesimuleerde data (Gaussian Mixture Models) en de real-world Adult Income dataset.

• Simulaties:
  • De stopregel convergerde betrouwbaar, zelfs bij zeer ongelijke verdelingen (bijv. een minderheidsgroep van slechts 2,5% van de data).
  • De methode leverde een significant betere eerlijkheid op ($\hat{E}$) dan state-of-the-art (SOTA) methoden zoals geometrische reparatie en eerdere distributionele reparatie.
  • De dataschade ($D$) bleef stabiel en onafhankelijk van de mate van representatiebias.
• Adult Income Dataset:
  • De methode slaagde erin de afhankelijkheid van geslacht ($S$) binnen opleidingsgroepen ($U$) aanzienlijk te verminderen.
  • Cruciaal: De methode presteerde uitstekend op onzichtbare data (off-sample), terwijl geometrische reparatiemethoden hier niet toe in staat waren.
  • De s-afhankelijkheid in onzichtbare data werd met minimaal een factor 3 verlaagd ten opzichte van de baseline.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele doorbraak in het veld van AI-fairness. Het adresseert een van de grootste zwaktes van huidige reparatiemethoden: hun onvermogen om te generaliseren en hun gevoeligheid voor onbalans in de trainingsdata.

• Praktische Toepassing: De methode is bijzonder relevant in een tijdperk waarin wetgeving (zoals de EU AI Act) strenge eisen stelt aan eerlijkheid en transparantie. Het biedt een manier om eerlijke modellen te bouwen die robuust zijn voor nieuwe datastromen.
• Wetenschappelijke Impact: Het koppelen van Bayesiaanse niet-parametrische stopregels aan Optimaal Transport creëert een nieuw paradigma voor "fair data repair" dat niet afhankelijk is van het handmatig balanceren van datasets, maar de data zelf laat spreken tot het punt van volledige kennis.

Kortom, de auteurs bewijzen dat het mogelijk is om eerlijke data-reparaties uit te voeren die zowel statistisch robuust zijn voor kleine minderheidsgroepen als generaliseerbaar naar toekomstige data, zonder daarbij de nuttige informatie in de data onnodig te vernietigen.