Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Technische Samenvatting: Eerlijk Supervised Learning door Constraints op Smooth Nonconvex Unfairness-Measure Surrogaten

Probleemstelling
Supervised machine learning-modellen zijn, hoewel effectief in domeinen zoals financiën, strafrecht, werving en de gezondheidszorg, kunnen vaak vooroordelen overnemen of introduceren die leiden tot discriminerende uitkomsten. Deze vooroordelen manifesteren zich als oneerlijkheid (unfairness) in voorspellingen over verschillende demografische groepen. Bestaande strategieën om oneerlijkheid te mitigeren vallen over het algemeen onder de categorieën pre-processing, in-processing of post-processing. Dit artikel richt zich op in-processing strategieën, specifelijk de incorporatie van oneerlijkheidsmaten in de optimalisatieproblemen die worden gebruikt voor modeltraining.

Huidige benaderingen worden geconfronteerd met aanzienlijke computationele en theoretische uitdagingen:

1. Niet-smoothness en Nonconvexiteit: Directe formuleringen van oneerlijkheidsmaten (bijv. Demographic Parity, Disparate Impact) maken gebruik van discontinue Heaviside-stapfuncties, wat leidt tot nonconvex en niet-smooth optimalisatieproblemen die moeilijk op te lossen zijn.
2. Beperkingen van Convex Surrogaten: Om computationele problemen aan te pakken, gebruiken onderzoekers vaak convexe surrogaten (bijv. covariantie-gebaseerde benaderingen). Deze garanderen echter niet dat de oorspronkelijke oneerlijkheidsmaat binnen aanvaardbare grenzen blijft; een kleine surrogaatwaarde impliceert niet noodzakelijkerwijs een kleine werkelijke oneerlijkheidsmaat.
3. Beperkingen van Regularisatie: Het wijdverbreide gebruik van regularisatietermen (soft constraints) om eerlijkheid af te dwingen vereist dure hyperparameter-tuning. Bovendien kan het verhogen van de regularisatiestuctuur om oneerlijkheid te verminderen de voorspellingsnauwkeurigheid ernstig verslechteren, en de relatie tussen de regularisatieparameter en de resulterende oneerlijkheid is vaak niet-monotoon en moeilijk te controleren.
4. Omgaan met Meerdere Maten: Strategieën die proberen meerdere, potentieel conflicterende oneerlijkheidsmaten te balanceren via regularisatie, resulteren vaak in onhandelbare trainingsproblemen en verdere kosten voor tuning.

Methodologie
De auteurs stellen een nieuwe in-processing strategie voor die smooth nonconvex surrogaten combineert met harde constraints om eerlijkheid af te dwingen.

1. Smooth Nonconvex Surrogates:
   In plaats van convexe benaderingen of discontinue stapfuncties, introduceren de auteurs smooth, gebonden, nonconvex surrogaten om de Heaviside-functie te benaderen. Twee specifieke benaderingen worden gebruikt:

   • De sigmoidfunctie.
   • Een smoothed-step functie afgeleid van smoothing-technieken uit de optimalisatieliteratuur (specifiek een stuksgewijs-affine benadering die gesmooth is via een wortelterm).

   Cruciaal is dat deze surrogaten begrensd zijn binnen $[0, 1]$ en geschaald worden (via een parameter $\alpha$) om ervoor te zorgen dat ze de stapfunctie nauwkeurig benaderen. De auteurs bewijzen (via Theorem 2.1, afgeleid van eerder werk) dat als de surrogaatwaarde klein is, de werkelijke empirische oneerlijkheidsmaat ook klein is, mits de surrogaatwaarden voldoende dicht bij 0 of 1 liggen. Deze nauwe benadering wordt niet gegarandeerd door onbegrensde lineaire of convexe surrogaten.

2. Hard Constraints:
   In plaats van oneerlijkheidsmaten als regularisatietermen toe te voegen aan de objectiefunctie, formuleren de auteurs het trainingsprobleem als een geconstrueerd optimalisatieprobleem:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{onderworpen aan} \quad l \leq c(w) \leq u$$
   Hierbij stelt $c(w)$ de vector-waardige surrogaat voor één of meer oneerlijkheidsmaten voor (bijv. Disparate Impact, Equal Impact). De grenzen $l$ en $u$ dwingen specifieke toleranties voor oneerlijkheid direct af.

   • Tractabiliteit: De auteurs maken gebruik van recente stochastische Newton/Sequential Quadratic Programming (SQP) technieken om deze nonconvex geconstrueerde problemen efficiënt op te lossen.
   • Stochastische Gradiënten: Theorem 3.1 toont aan dat onbevooroordeelde stochastische gradiënt-schattingen verkregen kunnen worden voor de constraint functies als mini-batches een gebalanceerd aantal samples uit elke gevoelige groep behouden.

Belangrijkste Bijdragen

1. Tight Surrogate Approximation: Het artikel introduceert smooth, nonconvex, gebonden surrogaten die een theoretische garantie bieden: als de surrogaat-constraint wordt voldaan, is de werkelijke oneerlijkheidsmaat begrensd. Dit staat in contrast met convexe surrogaten waar een kleine surrogaatwaarde geen lage oneerlijkheid garandeert.
2. Hard Constraints vs. Regularisatie: De auteurs stellen het gebruik van harde constraints voor in plaats van regularisatie. Dit elimineert de noodzaak voor dure tuning van regularisatieparameters en voorkomt het niet-monotone gedrag dat vaak wordt gezien bij regularisatie-gebaseerde benaderingen. Het maakt het expliciet afdwingen van specifieke oneerlijkheidstoleranties mogelijk.
3. Schaalbaarheid naar Meerdere Maten: Het framework faciliteert van nature het gelijktijdig afdwingen van meerdere, potentieel conflicterende oneerlijkheidsmaten binnen een enkel optimalisatieprobleem, zonder de computationele explosie die gepaard gaat met het tunen van meerdere regularisatiegewichten.

Experimentele Resultaten
De auteurs evalueerden hun methode op drie benchmark datasets: Dutch (inkomensvoorspelling, gevoelig attribuut: geslacht), Law School (bar passage, gevoelig attribuut: ras) en ACSIncome (inkomensvoorspelling, gevoelig attribuut: geslacht).

• Surrogate Tightness: Experimenten toonden aan dat ongeschaalde surrogaten leidden tot gaten tussen de gewenste en werkelijke eerlijkheidsniveaus. Echter, wanneer de surrogaten geschaald waren (bijv. $\alpha=50$), kwamen de gerealiseerde eerlijkheidsniveaus nauw overeen met de opgelegde constraints voor zowel de smoothed-step als de sigmoid functies. In tegen 달리, maakten covariantie-gebaseerde surrogaten het moeilijk om een specifieke constraint-waarde te mappen naar een gewenst eerlijkheidsniveau.
• Constraint vs. Regularisatie: Een vergelijking van de voorgestelde "constraint-only" benadering met een "regularization-only" benadering toonde aan dat de constraint-methode een monotone verbetering in eerlijkheid bereikte naarmate de thresholds strenger werden, terwijl de regularisatie-methode onvoorspelbaar, niet-monotoon gedrag vertoonde. De constraint-benadering behield een hoge voorspellingsnauwkeurigheid, zelfs wanneer de fairness constraints actief werden, terwijl de regularisatie-benadering vaak aanzienlijke nauwkeurigheidsverliezen leed bij het proberen af te dwingen van strikte eerlijkheid.
• Meerdere Maten: Het framework slaagde erin om gelijktijdige constraints op Disparate Impact en Equal Impact af te dwingen. Hoewel het toevoegen van meerdere constraints de nauwkeurigheid iets meer verminderde dan enkele constraints, voldeed de methode consistent aan beide criteria, wat de robuustheid bij het afhandelen van complexe eerlijkheidseisen aantoont.

Significantie en Claims
Het artikel claimt dat hun aanpak een tractabel trainingsparadigma biedt voor eerlijk supervised learning. Door een enkel geconstrueerd optimalisatieprobleem op te lossen, kunnen beoefenaars modellen verkrijgen die voorgeschreven limieten op oneerlijkheid respecteren zonder de computationele last van het tunen van regularisatieparameters. De auteurs benadrukken dat hoewel het oplossen van geconstrueerde nonconvex problemen duurder is per iteratie dan ongeconstrueerde problemen, de totale computationele kosten worden verminderd door het elimineren van uitgebreide hyperparameter-zoekopdrachten. De methode wordt gepresenteerd als een robuuste oplossing voor real-world toepassingen waar strikte garanties op eerlijkheid vereist zijn naast een hoge voorspellingsnauwkeurigheid.