Technische Samenvatting: Functionele Bilevel Optimalisatie voor Voorspellende Rechtvaardigheid

Probleemstelling

Standaard machine learning-modellen maken vaak gebruik van statistische signalen die gekoppeld zijn aan gevoelige attributen (bijv. leeftijd, inkomen, demografische scores), wat leidt tot onrechtvaardige voorspellingen. Hoewel rechtvaardigheid vaak wordt geformuleerd als het afdwingen van volledige statistische onafhankelijkheid tussen voorspellingen en gevoelige attributen, is deze benadering vaak te restrictief, met name wanneer gevoelige attributen continu en hoogdimensioneel zijn. In dergelijke regimes beperkt volledige onafhankelijkheid de gehele predictieverdeling, terwijl de praktische rechtvaardigheidscampagne vaak beperkt is tot systematische verschuivingen in de gemiddelde voorspellingen over verschillende waarden van het gevoelige attribuut.

Bestaande relaxaties voor continue attributen vertrouwen op indirecte afhankelijkheidsstraffen (bijv. HSIC, wederzijdse informatie), adversariële schema's of lineaire afhankelijkheidsrestricties. Deze methoden slagen er vaak niet in om direct te richten op de specifieke rechtvaardigheid-nauwkeurigheid afweging van het controleren van het conditionele gemiddelde, of ze zijn beperkt tot laagdimensionale of discrete attributen.

De auteurs stellen voor dit gat te dichten door Mean Demographic Parity te optimaliseren, geformaliseerd als het minimaliseren van de variantie van het conditionele gemiddelde van de voorspelling gegeven het gevoelige attribuut. Deze metriek wordt aangeduid als DPVar:
$$\text{DPVar}(\omega) = \text{Var}_A \left( \mathbb{E}[f_\omega(X) \mid A] \right)$$
waarbij $f_\omega$ de predictor is en $A$ het gevoelige attribuut.

Methodologie

De Functionele Bilevel Formulering

Het optimaliseren van DPVar brengt een unieke uitdaging met zich mee: de doelstelling hangt af van de conditionele gemiddelde functie $h^\star_\omega(a) = \mathbb{E}[f_\omega(X) \mid A=a]$, die onbekend is en uit data moet worden geschat. De auteurs formuleren dit als een functioneel bilevel optimalisatieprobleem:

1. Innerlijk Probleem: Schat de conditionele gemiddelde functie $h^\star_\omega$ door de kwadratische verliesfunctie te minimaliseren tussen de output van de predictor en de functie van het gevoelige attribuut:
   $$h^\star_\omega \in \arg\min_{h \in \mathcal{H}} \mathbb{E}[(f_\omega(X) - h(A))^2]$$
2. Uiterlijk Probleem: Optimaliseer de parameters van de predictor $\omega$ om een afweging te minimaliseren tussen voorspellingsnauwkeurigheid en de DPVar-straf (die afhankelijk is van de oplossing $h^\star_\omega$ van het innerlijke probleem):
   $$\min_\omega \mathbb{E}[(f_\omega(X) - Y)^2] + \alpha \text{Var}_A(h^\star_\omega(A))$$

Omdat de innerlijke variabele een functie is in plaats van een einddimensionale parametervector, is dit een functioneel bilevel probleem.

Voorgestelde Algoritmen

Het artikel introduceert twee algoritmen om dit probleem op te lossen, die beide gebruikmaken van een datasplit in IN (voor innerlijke schatting) en OUT (voor uiterlijke evaluatie) om optimistische bias te voorkomen.

1. FBO (Functionele Bilevel Optimalisatie):

   • Mechanisme: Deze methode maakt gebruik van de specifieke structuur van het kwadratische verlies binnen het innerlijke probleem. De auteurs hebben een gesloten vorm adjoint afgeleid voor de sensitiviteit van de innerlijke oplossing ten opzichte van de uiterlijke parameters.
   • Voordeel: Deze afleiding levert een exacte, Hessian-vrije hypergradiënt op. Het vermijdt de computationele kosten van het inverteren van Hessians of het berekenen van innerlijke Jacobians, waarbij slechts één innerlijke regressie en twee empirische gemiddelden per uiterlijke stap nodig zijn.
   • Beperking: Het is specifiek voor de kwadratische verlies binnen de innerlijke doelstelling.

2. ITD (Iteratieve Differentiatie):

   • Mechanisme: Deze methode gebruikt een bredere strategie van het uitrollen van de innerlijke optimalisatiestappen. De innerlijke regressor wordt bijgewerkt voor $K$ gradiëntstappen, en de uiterlijke doelstelling wordt gedifferentieerd door deze uitgerolde computationele graaf.
   • Voordeel: Het is generaliseerbaar naar niet-kwadratische verlies binnen de innerlijke doelstellingen (bijv. Huber loss) en vereist geen gesloten vorm inverse van de innerlijke Hessian.
   • Afweging: Het is benaderend en computationeel duurder per uiterlijke stap (schaalt lineair met $K$) vergeleken met FBO.

Belangrijkste Bijdragen

1. DPVar Criterium: De adoptie van DPVar als een rechtvaardigheidscriterium dat specifts is ontworpen voor continue en hoogdimensionale gevoelige attributen, waarbij verder wordt gegaan dan volledige onafhankelijkheid naar een visie op het conditionele gemiddelde.
2. Functioneel Bilevel Framework: De formulering van DPVar-optimalisatie als een functioneel bilevel probleem dat natuurlijk integreert met neurale netwerk-predictors, een regime dat niet door eerdere conditionele-gemiddelde benaderingen wordt gedekt.
3. Algoritmische Innovaties:
   • Afleiding van een gesloten vorm adjoint voor het geval van kwadratisch verlies, wat het exacte FBO algoritme mogelijk maakt.
   • Ontwikkeling van het ITD algoritme voor bredere toepasbaarheid via iteratieve differentiatie.
4. Semi-Synthetische Benchmark: De creatie van een grootschalige, gestandaardiseerde evaluatiesuite gebouwd van 60 echte tabulaire regressiedatasets. Deze benchmark construeert automatisch continue gevoelige attributen uit kenmerken om gecontroleerde, niet-triviale rechtvaardigheid-nauwkeurigheid afwegingsscenario's te bieden.

Experimentele Resultaten

De methoden werden geëvalueerd op synthetische data en de nieuwe semi-synthetische tabulaire benchmark tegen sterke baselines, inclussief HSIC, adversariële debiasing, lineaire afhankelijkheidsstraffen en Generalized Demographic Parity (GDP).

• Synthetische Data: In regimes waar onrechtvaardigheid wordt gedreven door eerste-moment verschuivingen, presteren alle methoden vergelijkbaar. Echter, naarmate het voorspellingsprobleem complexer wordt (door interacties tussen gevoelige en niet-gevoelige kenmerken te introduceren), bereiken FBO en ITD consequent betere rechtvaardigheid-nauwkeurigheid afwegingen. Ze presteren beter dan methoden die vertrouwen op volledige distributionele onafhankelijkheid (HSIC, adversariële) of lineaire straffen, die ofwel te restrictief zijn of niet-lineaire effecten missen.
• Tabulaire Benchmark: Over 27 informatieve datasets bereiken FBO en ITD de laagste of bijna-laagste geaggregeerde nauwkeurigheidsregret onder DPVar-restricties.
  • Onder strakke en middenklasse rechtvaardigheidsbudgetten winnen FBO en ITD het het vaakst.
  • Onder ruime budgetten wordt GDP een sterkere concurrent.
  • Beide voorgestelde methoden evenaren of overtreffen consequent de HSIC, adversariële en lineaire afhankelijkheid baselines.

Betekenis en Claims

Het artikel claimt dat door de nadruk te leggen op het conditionele gemiddelde in plaats van de volledige distributie, DPVar een meer passende en schatbare rechtvaardigheidsmaat biedt voor continue, hoogdimensionale attributen. De betekenis van het werk ligt in:

• Het bieden van een direct optimalisatiepad voor dit specifieke rechtvaardigheidscriterium, waarbij de indirectheid van adversariële of kernel-gebaseerde straffen wordt vermeden.
• Het aantonen dat functionele bilevel optimalisatie praktisch en efficiënt gemaakt kan worden (via FBO) voor moderne neurale netwerk-predictors.
• Het aanbieden van een gestandaardiseerde benchmark die verder gaat dan handgekozen datasets om rechtvaardigheidsmethoden op continue attributen systematisch te evalueren.

Reikwijdte en Beperkingen:
De auteurs merken expliciet op dat DPVar een gemiddelde-pariteit criterium is. Het controleert systematische verschuivingen in gemiddelde voorspellingen, maar garandeert geen gelijkheid van hogere-orde momenten (variantie, staarten) of volledige distributionele rechtvaardigheid. Daarom mag het niet worden geïnterpreteerd als een certificaat voor algemene rechtvaardigheid in toepassingen die volledige distributionele gelijkheid vereisen. Bovendien vertrouwt de methode op het schatten van een conditionele gemiddelde functie, wat in hoge dimensies statistisch uitdagend kan zijn. De benchmark is semi-synthetisch, ontworpen voor methodologische evaluatie in plaats van het maken van specifieke juridische of sociale rechtvaardigheidsclaims over de oorspronkelijke datasets.