Towards Provably Fair Machine Learning: Bayesian Approaches For Consistent and Transparent Predictions

Dit artikel introduceert de Fair Bayesian classifier, een methode die consistente en transparante voorspellingen over alle demografische subgroepen heen waarborgt door statistische consistentie en determinisme af te dwingen, waardoor de betrouwbaarheidsverschillen in frequentistische benaderingen die minderheidsbevolkingen onevenredig treffen worden aangepakt, terwijl de algehele nauwkeurigheid gelijk blijft of wordt verbeterd.

De kern

Stel je voor dat je een rechter bent in een rechtszaal, maar in plaats van mensen te veroordelen, beoordeel je groepen mensen op basis van een enorme lijst met eerdere zaken. Je doel is om een voorspelling te doen: "Zal deze persoon slagen?" of "Zal deze persoon recidiveren?"

Het document dat je hebt verstrekt, "Towards Provably Fair Machine Learning," betoogt dat de meeste moderne computerprogramma's (Machine Learning-modellen) slechte rechters zijn wanneer het gaat om kleine, specifieke groepen mensen. Ze maken vaak zelfverzekerde gissingen die in strijd zijn met het feitelijke bewijs dat recht voor hun neus ligt.

Hier is de uiteenzetting van het argument uit het papier, gebruikmakend van eenvoudige analogieën.

1. Het Probleem: De "Zelfverzekerde Dwaas"

Standaard machine learning-modellen zijn als een student die de antwoorden op een grote toets uit het hoofd heeft geleerd, maar de logica niet begrijpt.

• Het probleem: Wanneer de data enorm is (zoals de populatie van een stad), werken deze modellen goed. Maar wanneer ze naar een kleine, specifieke groep kijken (zoals "links handige, roodharige vrouwen die nachtdiensten draaien"), zijn er in de hele database misschien slechts 5 mensen in die groep.
• De fout: Standaardmodellen proberen toch te gokken. Ze "gladden vaak de details af" om de wiskunde makkelijker te maken. Dit is als een leraar die de specifieke problemen van een kleine groep studenten negeert om het klassengemiddelde er goed uit te laten zien.
• Het resultaat: Het model doet een voorspelling die statistisch gezien onmogelijk is gezien het bewijs. Bijvoorbeeld, als een groep van 100 identieke mensen precies 50% succes heeft, kan het model zelfverzekerd zeggen: "100% zal slagen" of "0% zal slagen." Beiden zijn fout, maar het model zegt het toch omdat het besluitvaardig wil zijn.

2. De Oplossing: De "Eerlijke Detective"

De auteurs stellen een nieuwe methode voor genaamd de Fair Bayesian (FB) Classifier. Zie dit niet als een student die een 'A' probeert te halen, maar als een eerlijke detective die weigert te gokken tenzij het bewijs onomstotelijk is.

Deze detective volgt twee strikte regels:

1. De Tweelingregel (Determinisme): Als twee mensen exact dezelfde details hebben (dezelfde baan, dezelfde leeftijd, dezelfde geschiedenis), moeten ze exact dezelfde voorspelling krijgen. Je kunt identieke tweelingen niet verschillend behandelen.
2. De Bewijsregel (Statistische Consistentie): De detective zal alleen een voorspelling doen als de data bewijst dat het waarschijnlijk is. Als het bewijs te zwak is, of als het bewijs aantoont dat zowel "Ja" als "Nee" fout zijn, zal de detective weigeren te gokken.

3. De Magische Truc: "Onthouding" (Abstention)

Dit is het meest unieke deel van het papier. In de echte wereld denken we meestal dat een computer altijd een antwoord moet geven. Maar dit papier betoogt dat het soms het enige eerlijke antwoord is: "Ik weet het niet."

• De analogie: Stel je een muntworp voor. Als je een munt 3 keer opgooit en 2 keer kop krijgt, kun je gokken dat de volgende keer ook kop is. Maar als je een munt 1.000 keer opgooit en precies 500 keer kop en 500 keer munt krijgt, weet je dat de munt eerlijk is. Als je gedwongen wordt om te gokken dat de volgende worp "Kop" is, ben je aan het gokken. Als je gedwongen wordt om voor álle 1.000 worpen te gokken dat het "Kop" is, ben je aan het liegen.
• De aanpak van het papier: De Fair Bayesian classifier kijelt naar een groep. Als de data laat zien dat het voorspellen van "Ja" fout is, en het voorspellen van "Nee" ook fout is (omdat de groep 50/50 verdeeld is en de steekproef groot genoeg is om dat zeker te weten), dan onthoudt het model zich. Het zegt: "Ik kan geen eerlijke, consistente voorspelling doen voor deze specifieke groep."

4. Waarom dit belangrijk is voor eerlijkheid

Het papier wijst op een wrede ironie in de huidige AI:

• Minderheden komen vaak in kleine groepen terecht. Omdat zij zeldzaam zijn, belanden zij in die kleine "subgroepen" waar standaardmodellen de meeste fouten maken.
• Standaardmodellen schaden minderheden. Om de wiskunde te repareren, voegen standaardmodellen deze kleine groepen vaak samen met grotere, generieke groepen. Dit wist hun unieke geschiedenis uit en dwingt hen in een voorspelling die niet bij hen past.
• De Fair Bayesian oplossing: Door elke kleine groep individueel te bekijken en te weigeren te gokken wanneer het bewijs wankel is, beschermt deze nieuwe methode de mensen in die kleine, kwetsbare groepen. Het geeft toe wanneer het niet genoeg informatie heeft, in plaats van een verhaal te verzinnen dat hen schaadt.

5. De Resultaten: "Nul Fouten" op de Regels

De auteurs hebben hun "Eerlijke Detective" getest tegen standaardmodellen (zoals Decision Trees en Neural Networks) op drie beroemde datasets (over inkomen, strafrecht en bankmarketing).

• De Standaardmodellen: Zij deden voorspellingen die de werkelijke data voor een groot aantal kleine groepen tegenspraken. Ze waren "zelfverzekerd fout."
• Het Fair Bayesian Model:
  • Het deed nul voorspellingen die de data tegenspraken.
  • Het was zelfs nauwkeuriger dan de anderen voor de groepen waar het wél een voorspelling deed.
  • Het markeerde de groepen waar het niet kon beslissen (de "ik weet het niet"-groepen), wat een kenmerk is, geen fout.

Samenvatting

Het papier beweert dat echte eerlijkheid niet alleen gaat over het maken van de juiste gok; het gaat over het maken van een gok die door het bewijs daadwerkelijk wordt ondersteund.

Als het bewijs te dun is, of als het bewijs aantoont dat een simpel "Ja/Nee" antwoord onmogelijk is, zou een eerlijk systeem moeten stoppen en zeggen: "Ik heb meer informatie nodig." De auteurs hebben een systeem gebouwd dat precies dat doet, waardoor wordt gewaarborgd dat niemand wordt beoordeeld door een voorspelling die de data zelf als onmogelijk bestempelt.

Technische samenvatting

Technische Samenvatting: Naar Bewijsbaar Eerlijk Machine Learning: Bayesiaanse Benaderingen voor Consistente en Transparante Voorspellingen

1. Probleemstelling

Machine learning-modellen die worden ingezet in domeinen met een hoog belang (financiën, strafrecht, gezondheidszorg) produceren vaak voorspellingen die systematisch inconsistent zijn met geobserveerde gegevens, met name voor granulair gedefinieerde subgroepen op het snijpunt van meerdere kenmerken. Deze inconsistentie ontstaat omdat standaard frequentistische benaderingen geobserveerde steekproefproporties behandelen als betrouwbare schattingen van ware waarschijnlijkheden, ongeacht de steekproefomvang. In grote datasets is, hoewel het totale volume aan gegevens hoog is, de data op het fijnste niveau (individuen die identieke waarden delen over alle kenmerken) vaak beperkt tot kleine subgroepen.

Twee primaire problemen verergeren dit:

1. Falen van Inferentie bij Kleine Steekproeven: Standaardmodellen houden geen rekening met de hoge onzekerheid die gepaard gaat met kleine subgroepen, wat leidt tot overmoedige maar statistisch niet onderbouwde voorspellingen.
2. Regularisatiebias: Om overfitting te voorkomen, laten standaard ML-technieken (bijv. het snoeien van beslissingsbomen, regularisatie in neurale netwerken) kleine subgroepen instorten tot grotere aggregaten. Dit treft minderheidsdemografieën, die vaak geconcentreerd zijn in deze kleine, intersectionele subgroepen, onevenredig hard; hun unieke gedragspatronen worden hiermee effectief uitgewist.
3. Gebrek aan Geprincipeerde Onthouding: Huidige modellen, inclusief die ontworpen voor eerlijkheid, worden gedwongen een voorspelling te doen voor elke input. Ze missen een mechanisme om zich te onthouden wanneer het bewijs ofwel te schaars is om een zelfverzekerde voorspelling te ondersteunen, of omgekeerd sterk genoeg is om alle deterministische voorspellingen uit te sluiten (bijv. een groep waar de doelvoet exact 50% is met een grote steekproefomvang).

Bestaande benaderingen voor eerlijkheid (groepseerlijkheid, multicalibratie) vertrouwen vaak op vooraf gespecificeerde beschermde groepen, falen om te schalen naar alle mogelijke intersecties en pakken de fundamentele statistische inconsistentie tussen voorspellingen en geobserveerd bewijs niet aan.

2. Methodologie: De Fair Bayesian (FB) Classifier

De auteurs stellen de Fair Bayesian (FB) classifier voor, een framework dat classificatie behandelt als een vraag naar statistische rechtvaardiging in plaats van optimalisatie voor aggregaat-nauwkeurigheid. De methode is gebaseerd op klassieke Bayesiaanse inferentie toegepast op populatiekansen in plaats van modelparameters.

Kernvereisten

Het framework handhaaft twee strikte vereisten voor elke voorspelling:

1. Determinisme: Identieke individuen (die alle kenmerkwaarden delen) moeten identieke voorspellingen ontvangen.
2. Statistische Consistentie: Een voorspelling voor een subgroep moet statistisch consistent zijn met de doelverdeling afgeleid van de geobserveerde steekproef, beoordeeld via een hypothese toets op een significantieniveau $\alpha$.

Technisch Framework

• Subgroepdefinitie: De data wordt gepartitioneerd in $d$-nodes (groepen met identieke waarden over alle $m$ attributen) en $v$-nodes (groepen gedefinieerd door een subset van attributen, waarbij andere ongespecificeerd blijven).
• Bayesiaanse Inferentie: Voor elke $d$-node wordt de onbekende populatiekans $p$ gemodelleerd met een Beta-posterior (met een uniforme Beta(1,1) prior). De voorspellende verdeling voor toekomstige observaties volgt een Beta-Binomiale verdeling.
• Consistentietoetsing: Voor een gegeven $d$-node met $N_d$ observaties en $T_d$ positieve targets, wordt een deterministische voorspelling (ofwel "allemaal positief" of "allemaal negatief") getoetst tegen de Beta-Binomiale voorspellende verdeling.
  • Als de geobserveerde data de "allemaal positief" voorspelling op niveau $\alpha$ uitsluit, wordt deze verworpen.
  • Als de data de "allemaal negatief" voorspelling uitsluit, wordt deze verworpen.
  • Node Categorisering:
    • $d_0$: Alleen "allemaal negatief" is consistent.
    • $d_1$: Alleen "allemaal positief" is consistent.
    • $d_{amb}$: Zowel als beide zijn consistent (ambigu); resolutie rust op beperkingen van de ouder-$v$-node.
    • $d_{nf}$ (No Fair): Geen enkele deterministische voorspelling is consistent (bijv. een grote groep met een doelvoet van precies 50%).
• Mechanisme voor Onthouding: In tegenstelling tot vertrouwensgebaseerde onthouding, onthoudt de FB-classifier zich bij $d_{nf}$ nodes omdat het bewijs positief uitsluit dat beide deterministische opties consistent zijn. Dit is een veiligheidsmaatregel om te voorkomen dat er demonstratief inconsistente voaties worden uitgebracht.
• Globale Consistentie ($v$-nodes): Voorspellingen moeten ook consistent zijn met de consistentiebeperkingen voor alle $v$-nodes (aggregaties van $d$-nodes). Omdat de verdelingen van $v$-nodes niet in gesloten vorm berekend kunnen worden vanwege heterogeniteit, benaderen de auteurs deze door te samplen uit de verdelingen van de dochter-$d$-nodes.
• Constraint Satisfaction (Beperkingstoereikendheid): Het probleem wordt geformuleerd als een constraint satisfaction probleem waarbij de som van de voorspellingen voor de dochter-$d$-nodes binnen de $[V_{min}, V_{max}]$ grenzen van de ouder-$v$-node moet vallen. De auteurs gebruiken de Gurobi Optimizer om een haalbare toewijzing te vinden die een lineair objectief maximaliseert op basis van posterior log-odds, gevols door een secundaire score-stap met behulp van $v$-node log-likelihoods om de beste oplossing uit de haalbare pool te selecteren.
• Omgang met Heterogeniteit: Om overmoed in grote datasets te voorkomen die mogelijk ongeobserveerde temporele of bron-gebaseerde variatie bevatten, wordt een variantie-vloer ($\tau = 10^{-5}$) toegepast op de Beta-posterior, waardoor de effectieve steekproefomvang wordt begrensd.

3. Belangrijkste Bijdragen

1. Framework voor Voorspellingsconsistentie: Een formele definitie van statistische consistentie gebaseerd op Bayesiaanse inferentie die exhaustief wordt afgedwongen over elke mogelijke subgroep (intersectie van elke combinatie van kenmerken), niet alleen over vooraf gespecificeerde beschermde groepen.
2. De Fair Bayesian Classifier: Een classifier die consistentie met geobserveerd bewijs garandeert en een geprincipeerde onthouding implementeert. Het onthoudt zich alleen wanneer de data alle deterministische voorspellingen uitsluit, in plaats van wanneer de modelvertrouwen laag is.
3. Empirisch Bewijs van Inconsistentie: Demonstratie dat standaardmodellen (Beslissingsbomen, Neurale Netwerken) en eerlijkheidsbewuste post-processors (Proportional Multicalibration) statistisch inconsistente voorspellingen produceren voor een aanzienlijk deel van de subgroepen, zelfs op de data waarop ze getraind zijn.
4. Prestatieresultaten: De FB-classifier bereikt een fout van nul in consistentie door constructie en presteert beter dan de baseline-nauwkeurigheid op alle geteste datasets (Adult, COMPAS, Bank Marketing) op de subgroepen waarvoor zij voorspellingen doet. Het bereikt ook een concurrerende multicalibratie als een bijproduct van het afdwingen van consistentie.

4. Resultaten

De auteurs evalueerden de FB-classifier tegen een Beslissingsboom (DT), een Neuraal Netwerk (NN) en Proportional Multicalibration (PMC) op drie benchmark-datasets:

• Consistentiefout: Standaardmodellen produceerden statistisch inconsistente voorspellingen voor significante delen van de subgroepen. Bijvoorbeeld, op de Bank Marketing dataset vertoonde PMC een 16,97% $d_0/d_1$ consistentiefout en een 43,46% $v$-node consistentiefout. De FB-classifier bereikte 0,00% fout op alle metrieken door ontwerp.
• Onthouding: De FB-classifier onthield zich bij $d_{nf}$ nodes. In de Adult dataset viel 50,4% van de instanties in $d_{nf}$ nodes, wat benadrukt dat voor de helft van de populatie geen consistente deterministische voorspelling mogelijk was gezien de beschikbare kenmerken.
• Nauwkeurigheid: Op de subset van data waar de FB-classifier voorspellingen doet (exclusief $d_{nf}$ nodes), presteerde het beter dan alle baselines. Met name op COMPAS behaalde FB een nauwkeurigheid van 77,6% vergeleken met ~68% voor de baselines.
• Multicalibratie: De FB-classifier bereikte concurrerende multicalibratiescores zonder daar expliciet voor geoptimaliseerd te zijn, wat suggereert dat statistische consistentie een sterke proxy is voor kalibratie over granulair gedefinieerde subgroepen.

5. Betekenis en Claims

Het artikel betoogt dat statistische consistentie een geprincipeerde fundering biedt voor voorspellingskwaliteit met directe implicaties voor algoritmische eerlijkheid. De auteurs beweren dat:

• Minderheidsdemografieën onevenredig geconcentreerd zijn in kleine subgroepen waar frequentistische inferentie het minst betrouwbaar is. Het aanpakken van dit inferentieprobleem is een noodzakelijke stap naar eerlijke ML.
• Door Bayesiaanse consistentie af te dwingen op het fijnste niveau dat de data ondersteunt, is exhaustieve subgroep-eerlijkheid met geprincipeerde onthouding in de praktijk haalbaar.
• Het vermogen om gevallen te identificeren waarin geen eerlijke deterministische voorspelling mogelijk is (via $d_{nf}$ nodes) is een cruciale veiligheid, die voorkomt dat systemen voorspellingen doen die in strijd zijn met het bewijs.
• De aanpak verschuift het paradigma van "associaties leren en eerlijkheid achteraf aanpassen" naar "classificatie als statistische rechtvaardiging", waardoor elke voorspelling transparant wordt afgeleid van het bewijs dat beschikbaar is voor die specifieke subgroep.

De auteurs merken op dat hoewel het framework computationeel intensief is vanwege de exponentiële groei van subgroepen, het hanteerbaar is voor huidige benchmark-datasets en een rigoureus alternatief biedt voor heuristische eerlijkheidsaanpassingen. Ze erkennen dat het afhandelen van onziene data (test-instanties in nieuwe $d$-nodes) verdere ontwikkeling vereist, hoewel een voorlopig mechanisme is voorgesteld.