Learning Optimal Individualized Decision Rules with Conditional Demographic Parity

Deze paper introduceert een nieuw kader voor het afleiden van optimale individuele beslissingsregels dat demografische pariteit en conditionele demografische pariteit waarborgt door perturbaties toe te passen op de onbeperkt optimale regels, wat leidt tot een computationeel efficiënte oplossing met bewezen convergentie.

De kern

Stel je voor dat je een zeer slimme, digitale chef-kok hebt. Deze chef moet voor elke gast in een groot restaurant een persoonlijk menu samenstellen. De gasten hebben allemaal verschillende voorkeuren, allergieën en honger (dit zijn de data). Het doel van de chef is simpel: zorg dat elke gast zo lekker mogelijk eet en tevreden is (dit is het maximaliseren van de waarde).

In de echte wereld doen computers dit ook, maar dan voor belangrijke beslissingen: wie krijgt een lening, wie krijgt medische zorg, of wie krijgt een baan? Dit noemen ze Individuele Beslissingsregels (IDR's).

Het probleem is echter dat deze digitale chef soms vooroordelen heeft. Als de chef alleen heeft geleerd van eerdere gasten die onrechtvaardig werden behandeld (bijvoorbeeld: "Vrouwen krijgen minder goede gerechten" of "Mensen met een bepaalde naam krijgen minder kansen"), dan zal de chef die onrechtvaardigheid blijven herhalen. Dit is discriminatie.

Deze paper, geschreven door Cui en collega's, introduceert een nieuwe manier om die chef te trainen, zodat hij niet alleen de lekkerste maaltijd bedenkt, maar ook eerlijk is voor iedereen.

Hier is de uitleg in drie simpele stappen:

1. Het Probleem: De "Vooroordeel-Chef"

Stel je voor dat de chef een lijst heeft met wie er in het verleden ziek werd en wie niet. Maar in die lijst staat een foutje: de chef heeft onbewust de gezondheidsscores van een bepaalde groep (bijvoorbeeld een minderheid) lager ingeschat, niet omdat ze minder gezond waren, maar omdat de chef vooroordelen had.

Als de chef nu een nieuw menu maakt, zal hij die groep minder goede zorg geven. In de paper noemen ze dit: de data is bevooroordeeld. Als we gewoon de "beste" beslissingen laten nemen, krijgen de kwetsbare groepen het zwaarst.

2. De Oplossing: De "Eerlijkheids-Rem"

De auteurs zeggen: "We moeten de chef dwingen om eerlijk te zijn." Maar hoe doe je dat zonder dat de maaltijd ineens vies wordt?

Ze gebruiken twee regels:

• Demografische Pariteit (DP): Dit is als een strenge regel die zegt: "Ongeacht of je man of vrouw bent, of welke taal je spreekt, de kans dat je een speciaal gerecht krijgt, moet exact hetzelfde zijn."
• Voorwaardelijke Demografische Pariteit (CDP): Dit is slimmer. Stel, in het restaurant zijn er verschillende tafels (groepen) gebaseerd op hun bestelling (bijvoorbeeld: "Tafel 1 is voor vegetariërs", "Tafel 2 is voor vleeseters"). De regel zegt nu: "Binnen elke tafelgroep moet iedereen eerlijk worden behandeld." Je mag dus verschillen maken tussen vegetariërs en vleeseters (dat is logisch), maar niet tussen een zwarte en een blanke vegetariër.

3. De Magische Truc: De "Lichte Duw"

Het moeilijkste deel is dat eerlijkheid vaak botsen met "de lekkerste maaltijd". Als je de chef dwingt om 100% eerlijk te zijn, kan het zijn dat hij minder lekkere maaltijden moet serveren.

De auteurs hebben een slimme truc bedacht. Ze zeggen niet: "Bouw de chef helemaal opnieuw." Ze zeggen: "Neem de perfecte, onbevooroordeelde chef en geef hem een heel kleine, gerichte duw."

• De Analogie: Stel je voor dat de chef een bal rolt die naar de lekkerste maaltijd wil gaan. Maar er is een muur van vooroordelen. In plaats van de hele keuken af te breken, geven ze de bal een kleine duw in de tegenovergestelde richting van de muur.
• De Wiskunde (simpel gezegd): Ze voegen een "correctiefactor" toe aan de beslissing. Als de computer denkt dat iemand uit een minderheidsgroep minder zorg nodig heeft, telt deze factor een beetje extra "rechtvaardigheid" op, zodat de beslissing toch eerlijk blijft.

Dit is heel efficiënt. Ze hoeven niet urenlang te rekenen aan een ingewikkeld probleem; ze hoeven alleen maar te zoeken naar de juiste grootte van die "duw".

Wat levert dit op?

De paper toont aan dat:

1. Je kunt kiezen: Je kunt zelf bepalen hoeveel eerlijkheid je wilt. Wil je 100% eerlijkheid? Dan is de "duw" groot. Wil je 90% eerlijkheid en 10% meer smaak? Dan is de "duw" kleiner.
2. Het werkt in de praktijk: Ze hebben hun methode getest op echte data van een gezondheidsverzekering in Oregon (VS). Ze konden zien dat ze de onrechtvaardigheid (discriminatie) sterk konden verlagen zonder dat de totale gezondheid van de patiënten veel achteruitging.
3. Het is sneller: Andere methodes zijn vaak traag en complex. Deze methode is als een snelle, precieze ingreep in plaats van een hele operatie.

Samenvattend

Stel je voor dat je een robot wilt die voor iedereen de beste beslissingen neemt. Tot nu toe was die robot soms vooroordelelijk. Deze paper geeft die robot een slimme, aanpasbare bril op. Met die bril ziet de robot niet alleen wat het beste is voor de individuele persoon, maar ziet hij ook duidelijk wie hij niet mag discrimineren. En het mooiste is: hij kan die bril zo instellen dat hij netjes blijft, maar de beslissingen nog steeds zo goed mogelijk blijven.

Het is een manier om technologie te gebruiken om niet alleen slimmer, maar ook moraler te zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Learning Optimal Individualized Decision Rules with Conditional Demographic Parity" in het Nederlands.

Titel: Het Leren van Optimale Gepersonaliseerde Beslissingsregels met Conditionele Demografische Pariteit

1. Probleemstelling

Gepersonaliseerde beslissingsregels (Individualized Decision Rules, IDRs) worden steeds vaker toegepast in gebieden zoals gezondheidszorg, marketing en openbaar beleid om beslissingen op maat te nemen voor individuen. Een kritiek ethisch probleem is echter dat deze algoritmen, wanneer ze getraind worden op vooroordeelhoudende (biased) data, discriminerend kunnen gedragen tegen minderheidsgroepen gedefinieerd door gevoelige attributen (zoals geslacht, ras of taal).

Traditionele methoden om IDRs te schatten (zoals Q-learning of Outcome Weighted Learning) maximaliseren vaak alleen de verwachte uitkomst (policy value) zonder rekening te houden met eerlijkheid. Bestaande aanpakken voor eerlijkheid in machine learning hebben beperkingen:

• Ze vereisen vaak dat de Conditional Average Treatment Effect (CATE) eerlijk is, wat te streng is en leidt tot verlies van waarde.
• Ze gebruiken "proxy"-constraints die de eerlijkheid niet strikt garanderen.
• Ze kunnen computatieverzwarend zijn of waardevolle informatie uit de data verliezen door pre- of post-processing.

Het doel van dit onderzoek is het ontwikkelen van een raamwerk dat Demografische Pariteit (DP) en Conditionele Demografische Pariteit (CDP) direct integreert in de schatting van optimale IDRs, zonder de prestaties onnodig te verlagen.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat IDRs optimaliseert onder de beperking dat de beslissingsregel onafhankelijk is van het gevoelige attribuut $S$, eventueel geconditioneerd op een "legitieme" variabele $L$ (zoals kredietwaardigheid of inkomen).

Kernconcepten:

• DP-IDR: De beslissingsregel $D(Z)$ moet statistisch onafhankelijk zijn van $S$.
• CDP-IDR: De beslissingsregel moet onafhankelijk zijn van $S$ gegeven een legitieme variabele $L$. Dit staat toe dat beslissingen verschillen tussen groepen $L$, maar binnen elke groep $L$ moet er geen discriminatie zijn.
• $\epsilon$-CDP-IDR: Een flexibele versie die een kleine tolerantie $\epsilon$ toestaat voor ongelijkheid, waardoor een afweging mogelijk is tussen maximale waarde en strikte eerlijkheid.

Technische Aanpak:

1. Lagrange-multiplicatoren: Het optimalisatieprobleem wordt omgezet in een probleem met Lagrange-multiplicatoren. De auteurs tonen aan dat het vinden van de optimale CDP-IDR equivalent is aan het vinden van de wortel van een eendimensionale Lagrange-functie.
2. Gesloten vorm oplossing: De theoretisch optimale oplossing kan worden uitgedrukt als een verstoring van de onbeperkte optimale IDR. De oplossing heeft de vorm:
   $$D^*(Z) = 2I\left(\delta_R(Z) - \sum_{l \in \mathcal{L}} I(L=l)\omega^*_l \psi_l(S) > 0\right) - 1$$
   Waarbij:
   • $\delta_R(Z)$ de geschatte conditionele gemiddelde behandelingseffect (CATE) is.
   • $\psi_l(S)$ een term is die de onbalans in de gevoelige attributen binnen groep $L=l$ corrigeert.
   • $\omega^*_l$ een scalar is (de Lagrange-multiplicator) die de grootte van de "eerlijkheids-perturbatie" bepaalt.
3. Schatting:
   • De CATE wordt geschat met Deep Neural Networks (DNN's) om complexe, niet-lineaire relaties te modelleren.
   • De Lagrange-multiplicatoren $\omega^*_l$ worden numeriek gevonden met de bisection methode (halveringsmethode) door de constraint-functie te benaderen met een gladde functie (gebruikmakend van de cumulatieve verdelingsfunctie van de normale verdeling).
4. Theoretische garanties: De auteurs leiden convergentiesnelheden af voor zowel de waardeverlies (policy value loss) als de schending van de eerlijkheidsconstraint. Ze tonen aan dat de waardeverlies voornamelijk afhangt van de mate van onrechtvaardigheid in de data en dat de schatter asymptotisch voldoet aan de constraints.

3. Belangrijkste Bijdragen

1. Directe afdwinging van Demografische Pariteit: Dit is de eerste studie die DP direct afdwingt in IDRs zonder de constraint te versoepelen, wat exacte eerlijkheidsgaranties biedt.
2. Integratie van Conditionele Demografische Pariteit (CDP): Het introduceert CDP in IDRs, wat discriminerende invloeden verwijdert terwijl de beleidswaarde behouden blijft via legitieme variabelen.
3. Computatie-efficiëntie: De methode vermijdt complexe niet-gladde optimalisatieproblemen door het probleem te reduceren tot het oplossen van een eendimensionale wortelzoekprobleem (perturbatie van de onbeperkte oplossing).
4. Flexibele afweging: De $\epsilon$-variant stelt beleidsmakers in staat om een specifieke tolerantie voor onrechtvaardigheid in te stellen.
5. Theoretische onderbouwing: Er worden asymptotische garanties bewezen voor zowel de waarde als de eerlijkheidsconstraints bij gebruik van DNN's.

4. Resultaten

De methode is getest via uitgebreide simulaties en een empirische toepassing op de Oregon Health Insurance Experiment (OHIE) dataset.

• Simulaties:

  • De voorgestelde DP-IDR en CDP-IDR methoden behaalden consequent een hogere beleidswaarde (Policy Value) dan vergelijkbare methoden zoals "Fair CATE" (die CATE eerlijk maakt) en "AF-IDR" (die een eerlijke representatie leert).
  • De methoden slaagden erin om de onrechtvaardigheidsniveaus (Unfairness Level) te verlagen tot onder of dicht bij de voorgeschreven drempel $\epsilon$.
  • Het toepassen van DP op de CATE (zoals in eerdere werken) bleek te restrictief en leidde tot een significant verlies aan beleidswaarde.

• Empirische Toepassing (OHIE):

  • In het kader van medische zorgtoewijzing (Medicaid) werd de methode toegepast om te bepalen wie zorg ontvangt op basis van inkomen, gezondheid en taal.
  • De $\epsilon$-CDP-IDR slaagde erin de conditionele onrechtvaardigheid (gebaseerd op taal en inkomen) aanzienlijk te verminderen terwijl een hoge beleidswaarde werd behouden.
  • De resultaten tonen een duidelijke trade-off: naarmate de tolerantie voor onrechtvaardigheid ($\epsilon$) kleiner wordt, daalt de beleidswaarde lichtjes, maar blijft de onrechtvaardigheid gecontroleerd.

5. Betekenis en Conclusie

Dit artikel biedt een doorbraak in het veld van eerlijk machine learning voor beslissingsondersteuning. Door de beperkingen van eerlijkheid direct in de optimalisatie van de beslissingsregel te integreren in plaats van in de tussenstappen (zoals CATE-schatting), biedt het een efficiëntere en effectievere oplossing.

De methode stelt beleidsmakers in staat om ethisch verantwoorde beslissingen te nemen die voldoen aan wetgeving (zoals de Civil Rights Act) zonder de efficiëntie van de toewijzing van hulpbronnen (bijv. zorg of leningen) onnodig te verlagen. De mogelijkheid om een "legitieme" variabele $L$ te gebruiken, maakt het raamwerk zeer flexibel en toepasbaar in real-world scenario's waar bepaalde verschillen tussen groepen gerechtvaardigd zijn, zolang er binnen die groepen geen discriminatie plaatsvindt.