Technische Samenvatting: Contravertiel Rechtvaardige Regressie via Optimale Transport

Probleemstelling

Het artikel behandelt de uitdaging om een contravertiel rechtvaardige regressor te leren in hoog-risicodomeinen (bijvoorbeeld toelating tot studierichtingen), waar voorspellingen invariant moeten zijn ten opzichte van interventies op gevoelige attributen (bijvoorbeeld geslacht, ras). In tegenstelling tot standaard rechtvaardigheidsnoties zoals Demografische Pariteit (DP), die slechts marginale verdelingsequality tussen groepen vereisen, vereist Contravertiele Rechtvaardigheid (CF) dat voorspellingen onveranderd blijven als het gevoelige attribuut zou worden gewijzigd, terwijl de latente "vaardigheid" van het individu constant wordt gehouden.

Een aanzienlijke barrière voor de implementatie van CF is de vereiste van volledige Structurele Causale Modellen (SCM's), die in de praktijk zelden beschikbaar zijn. De auteurs hanteren een perspectief van "causale onzekerheid" (specifiek het Level-2-scenario van Kusner et al.), waarbij het volledige causale grafon onbekend is, maar een meetbare proxy voor de latente vaardigheidsvariabele $V$ (aangeduid als $\psi(X, S)$) toegankelijk is. Het doel is het construeren van een post-processing schatter die een vooraf getrainde "black-box" predictor herkalkuleert zonder opnieuw te trainen, en die strikte statistische garanties voor eindige steekproeven biedt.

Methodologie

1. Theoretische Reductie: CF naar Conditionele DP

Het kerninzicht is dat onder het scenario van causale onzekerheid met hergeprobeerde ruis, Contravertiele Rechtvaardigheid equivalent is aan Demografische Pariteit conditioneel op de latente variabele $V$.

• Definitie: Een predictor is CF als, voor elke vaste latente vaardigheid $v$, de verdeling van voorspellingen identiek is over alle gevoelige groepen $s$.
• Implicatie: Dit reduceert het complexe contravertiele probleem tot een conditioneel optimal transport-probleem. De auteurs tonen aan dat de optimale rechtvaardige predictor het risico minimaliseert onder de beperking dat de conditionele voorspellingverdelingen $\mu_{f|v,s}$ samenvallen voor alle $s$.

2. Gesloten-Vorm Oplossing via Optimale Transport

Met behulp van de theorie van Optimale Transport (OT) leiden de auteurs een gesloten-vorm uitdrukking af voor de optimale rechtvaardige regressor $f^*_0$.

• Barycentrische Kwantielafbeelding: De optimale predictor beeldt de oorspronkelijke voorspelling $f^*(x, s)$ af op een Wasserstein-2 barycentrum van de groepsconditionele verdelingen.
• Formule:
  $$f^*_0(x, s) = \left( \sum_{s'=1}^K w_{s'} F^{-1}_{f^*|v, s'} \right) \circ F_{f^*|v, s}(f^*(x, s))$$
  waarbij $v = \psi(x, s)$, $w_s$ groepsweegs zijn, en $F^{-1}$ de kwantiel functie aanduidt. Deze bewerking brengt de voorspellingverdelingen van verschillende groepen binnen hetzelfde niveau van latente vaardigheid effectief in lijn.

3. Gediscretiseerde Post-Processing Schatter

Aangezien $V$ continu is, stellen de auteurs een praktische gediscretiseerde post-processing algoritme voor:

• Discretisatie: De latente ruimte $V$ wordt opgedeeld in $L$ intervallen.
• Lokale Schatting: Binnen elk interval worden de conditionele cumulatieve verdelingsfuncties (CDF's) en kwantiel functies geschat uit data.
• Plug-in Schatter: De gesloten-vorm barycentrische afbeelding wordt lokaal binnen elk interval toegepast met behulp van empirische schattingen.
• Steekproefverdeling: Om statistische onafhankelijkheid te waarborgen tussen de schatting van CDF's en de toepassing van de transportafbeelding, wordt de data gesplitst (folding).

4. Gereduceerde Contravertiele Rechtvaardigheid

Omdat exacte rechtvaardigheid misschien niet haalbaar of wenselijk is, breiden de auteurs het kader uit naar gereduceerde CF.

• Trade-off: De auteurs definiëren een gereduceerd probleem waarbij de onrechtvaardigheid begrensd is door een budget $\alpha U(f^*)$.
• Convexe Combinatie: De optimale gereduceerde predictor blijkt een convexe combinatie te zijn van de oorspronkelijke black-box predictor en de optimale rechtvaardige predictor:
  $$f^*_\alpha = \sqrt{\alpha} f^* + (1-\sqrt{\alpha}) f^*_0$$
• Afstemming: Een expliciete regel wordt geboden om $\alpha$ te selecteren om een voorgeschreven onrechtvaardigheidsbudget te halen, rekening houdend met schattingsfouten.

Belangrijkste Bijdragen

1. CF Reductie: Het artikel stelt vast dat onder causale onzekerheid en bewustzijn, Contravertiele Rechtvaardigheid equivalent is aan Demografische Pariteit conditioneel op de latente vaardigheid $V$. Dit verbindt CF met bestaande DP-methodologieën.
2. Gesloten-Vorm Optimale Regressor: Het leidt de exacte vorm af van de optimale rechtvaardige predictor met behulp van een barycentrische kwantielconstructie, en biedt een constructieve oplossing in plaats van een abstract bestaanbewijs.
3. Garanties voor Eindige Steekproeven: De auteurs stellen een model-onafhankelijke post-processing methode voor en bewijzen hoog-kans garanties voor eindige steekproeven.
   • Zowel de onrechtvaardigheid als het excessieve risico nemen af met een snelheid van $\tilde{O}(n^{-1/3})$.
   • Zij stellen een passende ondergrens vast, wat bewijst dat deze snelheid fundamenteel is voor het probleem van het schatten van rechtvaardige regressoren onder deze omstandigheden, en niet louter een artefact van de discretisatie.
4. Gereduceerde Rechtvaardigheid met Afstemming: Het werk breidt uit naar gereduceerde CF, en biedt expliciete afstemmingsregels om de trade-off tussen risico en onrechtvaardigheid te navigeren.

Resultaten

Synthetische Data

• Validatie van Theorie: Experimenten bevestigen dat onrechtvaardigheid afneemt naarmate het discretisatieniveau $L$ toeneemt, en stabiliseert nabij het theoretisch optimale $L^*$.
• Trade-off: De methode domineert de baselines op de CF-voorhoede. Terwijl strikte causale methoden (Fair K) perfecte rechtvaardigheid bereiken door waarneembare kenmerken te verwerpen (wat leidt tot hoge fouten), en globale DP-methoden (WFR) lage fouten bereiken maar CF falen, bereikt de voorgestelde methode bijna-perfecte CF met aanzienlijk lagere fouten dan Fair K.

Real-World Data (Law School Dataset)

• Prestaties: Toegepast op de LSAC-dataset (voorspelling van eerstejaarscijfers), overbrugt de methode de kloof tussen nauwkeurigheid en rechtvaardigheid.
  • In vergelijking met Fair K (causale baseline), behoudt de voorgestelde methode vergelijkbare nauwkeurigheid (RMSE $\approx$ 1.054 versus 1.086) terwijl de conditionele onrechtvaardigheid met een orde van grootte wordt verminderd.
  • In vergelijking met WFR (globale DP baseline), bereikt het aanzienlijk lagere conditionele onrechtvaardigheid (0.009 versus 0.088) met vergelijkbare nauwkeurigheid.
• Robuustheid tegen Proxy-schatting: Het artikel evalueert de impact van het schatten van de latente proxy $V$ met behulp van Structurele Causale Modellen (SCM) versus Variational Autoencoders (VAE). Het benadrukt dat "proxy-lekkage" (waarbij $V$ informatie over $S$ behoudt) de rechtvaardigheid verslechtert, maar dat de methode robuust blijft bij gebruik van een "Fair VAE" die $V$ expliciet ontkoppelt van $S$.

Betekenis en Claims

Het artikel claimt het eerste model-onafhankelijke post-processing kader voor contravertiele rechtvaardigheid te bieden dat strikte statistische garanties voor eindige steekproeven biedt zonder opnieuw te hoeven trainen of toegang te hebben tot het volledige causale grafon.

• Theoretische Diepgang: Door te bewijzen dat de convergentiesnelheid $n^{-1/3}$ een fundamentele ondergrens is (via Assouad's Lemma), betogen de auteurs dat de trage convergentie de intrinsieke "prijs van rechtvaardigheid" is in niet-parametrische settings, en niet een beperking van hun specifieke algoritme.
• Praktische Nut: De aanpak is ontworpen voor scenario's waarin modellen eigendom zijn van derden of waar trainingsdata niet beschikbaar is, waardoor het zeer toepasbaar is voor implementatie in de echte wereld.
• Nuancering van Rechtvaardigheid: Het werk gaat voorbij aan het debat of globale DP voldoende is voor CF, door aan te tonen dat conditionele DP (op de latente variabele) de correcte structurele reductie is, en biedt zo een nieuw perspectief op de relatie tussen deze rechtvaardigheidsnoties.

De auteurs concluderen dat hun methode de trade-off tussen voorspellende bruikbaarheid en contravertiele rechtvaardigheid succesvol in evenwicht brengt, en een gekalibreerde aanpak biedt om specifieke rechtvaardigheidsbudgetten te halen terwijl de statistische validiteit behouden blijft.