Technische Samenvatting: Geometrie van Ontspannen Eerlijke Regressie

Probleemstelling

Het artikel adresseert de uitdaging om Demografische Pariteit (DP) af te dwingen bij regressietaken, specifiek binnen de onbewuste setting waar gevoelige attributen ($S$) niet beschikbaar zijn op het moment van inferentie. Hoewel er post-processing methoden bestaan voor exacte eerlijkheid in de "bewuste" setting (waar $S$ wordt waargenomen), ontbreken er grotendeels principiële methoden voor het bereiken van ontspannen eerlijkheid (een balans tussen nauwkeurigheid en eerlijkheid) in de onbewuste setting. Bestaande benaderingen vertrouwen vaak op ruisgevoelige proxy-classificators of raster-gebaseerde discretisaties die de continue geometrische structuur van het probleem niet vastleggen, wat leidt tot suboptimale afwegingen tussen nauwkeurigheid en eerlijkheid.

Methodologie

De auteurs stellen een unificerend kader voor dat ontspannen eerlijke regressie formuleert als een Optimaal Transport (OT) probleem. Het kerninzicht is om de optimale voorspellingsfunctie te karakteriseren via OT-kaarten die de conditionele verdelingen van de basisvoorspeller naar een gemeenschappelijke doeldistributie transporteren, terwijl een straf voor onrechtvaardigheid wordt geminimaliseerd.

1. Unificerend Kader

Het kader verenigt zowel de bewuste als de onbewuste setting door het regressieprobleem te definiëren in termen van het getekende maatstelsel $\chi_+ - \chi_-$ (het verschil tussen de wetten van kenmerken in de positieve en negatieve groepen).

• Onbewuste Setting: De optimale voorspeller rust op de getekende groepsprobabiliteit $\Delta(x) = \frac{P(S=+|X=x)}{p_+} - \frac{P(S=-|X=x)}{p_-}$. Het probleem reduceert tot het transporteren van 2D-maatstelsels $\mu^{\pm}_{\eta, \Delta}$ (gedefinieerd op de ruimte van basisvoorspellingen $\eta(x)$ en $\Delta(x)$) naar een 1D-voorspellingsruimte.
• Bewuste Setting: Dit wordt hersteld als een speciaal geval waarbij $\Delta(x)$ deterministisch is op basis van de waargenomen $S$, waardoor het probleem reduceert tot 1D-transport.

2. Ontspannen Eerlijkheid via Straffen

In plaats van exacte DP af te dwingen ($\lambda \to \infty$), minimaliseren de auteurs een gepenaliseerde risicofunctie:
$$\min_f \mathbb{E}[(f(X) - \eta(X))^2] + \lambda m U_D(f)$$
waarbij $U_D(f)$ een discrepantiemaatstaf is tussen de pushforwards van de positieve en negatieve variaties van het getekende maatstelsel. Het artikel analyseert twee specifieke straffen:

• Gekwadrateerde Wasserstein-2 ($W_2^2$): Straft de grootte van de verplaatsing in de labelruimte.
• Totale Variatie (TV): Straft niet-overlappende waarschijnlijkheidsmassa, en negeert afstanden tussen verschillende waarden.

3. Gesloten-Vorm Oplossingen

Een belangrijke theoretische bijdrage is de afleiding van exacte, gesloten-vorm expressies voor de optimale bijna-eerlijke voorspellingsfuncties.

• $W_2^2$ Ontspanning: De oplossing omvat een gewogen interpolatie tussen de basisvoorspelling en het doel. Het optimale transportplan wordt gekarakteriseerd door een specifieke kostfunctie $C_{\lambda, c_2}$, en de voorspellingskaarten $T^\pm$ zijn lineaire combinaties van de invoer, gewogen door de lokale dichtheidsverhoudingen.
• TV Ontspanning: De oplossing vertoont een hard-thresholding gedrag. Als de kosten om twee voorspellingen samen te voegen onder een drempel $\lambda$ liggen, worden ze samengevoegd tot een gewogen barycentrum; anders blijven ze onveranderd. Dit leidt tot een stuksgewijs gedefinieerde kaart.

4. Algorithmische Implementatie

De auteurs stellen een praktisch algoritme voor (Algoritme 1) dat:

1. De basisregressor $\hat{\eta}$ en de posteriori-probabiliteiten schat om $\hat{\Delta}$ te berekenen.
2. Empirische 2D-maatstelsels construeert vanuit de trainingsdata.
3. Een discreet OT-probleem oplost met behulp van de afgeleide gesloten-vorm kostenmatrices.
4. Barycentrische projectie gebruikt om pseudo-labels voor de trainingsset te genereren.
5. Een continue regressor (bijv. Random Forest) past op de pseudo-labels om inferentie buiten de steekproef mogelijk te maken.

Belangrijkste Bijdragen

1. Unificerend Kader: Een algemeen gepenaliseerd OT-doel dat bewuste en onbewuste ontspannen eerlijke regressie verenigt, en zowel $W_2^2$ als TV-straffen ondersteunt.
2. Gesloten-Vorm Karakteriseringen: De eerste exacte, continue geometrische reducties voor ontspannen onbewuste eerlijkheid. Het artikel biedt expliciete formules voor de optimale voorspellingskaarten, en gaat verder dan de raster-gebaseerde benaderingen van eerder werk (bijv. FairReg).
3. Filosofisch Onderscheid: Het artikel onthult dat de keuze van de straf fundamenteel verschillende eerlijkheidsfilosofieën weerspiegelt:
   • $W_2^2$ induceert een gladde, populatiebrede compromissing (egalitaire visie), waarbij alle individuen licht verschuiven naar een eerlijk centrum.
   • TV dwingt exacte pariteit af voor een subset van individuen (sufficiëntaristische visie), waarbij extreme voorspellingen onveranderd blijven terwijl die waar het "betaalbaar" is perfect worden samengevoegd.
4. Efficiënt Algoritme: Een deterministisch, computationeel efficiënt post-processing algoritme dat stochastische gradiëntafdaal methoden vermijdt.

Experimentele Resultaten

Het kader werd geëvalueerd op synthetische data en real-world benchmarks (Toelatingen Rechtenfaculteit, Gemeenschappen en Misdaad, en Adult Census Income).

• Prestaties: De voorgestelde "OT Onbewust" methode komt consistent overeen met of overtreft de state-of-the-art baseline FairReg (Taturyan et al., 2024) op alle eerlijkheidsmetrieken ($W_2$, TV en Kolmogorov-Smirnov afstand) terwijl een concurrerende Gemiddelde Kwikfout (MSE) wordt behouden.
• Vergelijking met Proxies: Naïeve benaderingen die $S$ schatten via een proxy-classificator en bewuste OT-kaarten toepassen (plug-in schatters) presteren significant slechter, en falen vaak om eerlijkheid te bereiken door classificatiefouten. Het voorgestelde 2D-kader absorbeert deze onzekerheid succesvol.
• Efficiëntie: De OT Onbewust methode is significant sneller dan FairReg (bijv. ~26x snelheidswinst op de Communities dataset) omdat het vertrouwt op exacte discrete OT-oplossers in plaats van iteratieve stochastische optimalisatie.
• Robuustheid: De methode toont robuustheid over verschillende basis-schatters (Lineair, Random Forest, Gradient Boosting).

Betekenis en Claims

Het artikel claimt een significante kloof in de literatuur te overbruggen door een theoretisch onderbouwde, continue geometrische oplossing te bieden voor ontspannen eerlijke regressie in de onbewuste setting.

• Theoretische Strenge: In tegenstelling tot eerdere methoden die vertrouwen op discretisatie, biedt dit werk exacte gesloten-vorm reducties, en verduidelijkt het de geometrische aard van eerlijkheidsbeperkingen.
• Praktisch Nut: De afgeleide algoritmen zijn eenvoudig te implementeren en computationeel efficiënt, waardoor ze geschikt zijn voor real-world implementatie waar modellen black-box zijn en gevoelige attributen ontbreken bij inferentie.
• Filosofisch Inzicht: Door $W_2$ en TV-straffen te contrasteren, benadrukt het werk dat "ontspannen eerlijkheid" geen monolithisch concept is, maar afhangt van de specifieke afwegingsfilosofie (globale gladmaking versus lokale exactheid) die door de beoefenaar wordt gekozen.

De auteurs merken beperkingen op, waaronder de restrictie tot binaire gevoelige attributen en specifieke strafsoorten ($W_2^2$ en TV), en de afhankelijkheid van de prestaties van de kwaliteit van de basisschatters $\hat{\eta}$ en $\hat{\Delta}$. Echter, zij stellen dat hun aanpak een superieure baseline biedt voor afwegingen tussen nauwkeurigheid en eerlijkheid in vergelijking met bestaande state-of-the-art methoden.