Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
Dit artikel presenteert de eerste uitgebreide studie die aantoont dat algoritmen voor het bevorderen van rechtvaardigheid heterogene, subpopulatiespecifieke effecten hebben op de risico's van membership inference privacy, wat onthult dat de wisselwerking tussen rechtvaardigheid, privacy en nut gezamenlijke evaluatie op subgroepniveau vereist in plaats van via geaggregeerde metrieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, drukke bibliotheek loopt waar elk boek een levensverhaal van een persoon vertegenwoordigt. In deze bibliotheek zijn er twee zeer belangrijke regels die de bibliothecarissen (de computerprogramma's) moeten volgen. De eerste regel is Rechtvaardigheid: de bibliothecarissen moeten elke bezoeker gelijk behandelen, ongeacht of ze lang, kort zijn, een bril dragen of uit een specifieke buurt komen. Ze mogen niet een betere service geven aan de ene groep terwijl ze de andere negeren. De tweede regel is Privacy: de bibliothecarissen moeten de geheimen van de bezoekers veilig bewaren. Ze mogen niet in staat zijn om een vreemde te vertellen: "Hé, ik weet dat je gisteren hier was!" enkel door te kijken naar hoe ze de boeken hebben georganiseerd.
Lama verge old hebben wetenschappers zich zorgen gemaakt dat deze twee regels met elkaar zouden kunnen botsen. Ze dachten dat als je probeerde de bibliotheek superrechtvaardig te maken, je per ongeluk het makkelijker zou kunnen maken voor nieuwsgierige mensen om te raden wie de bezoekers waren. Of dat als je iemands identiteit perfect probeerde te verbergen, de bibliothecarissen zo in de war zouden raken dat ze mensen onrechtvaardig zouden gaan behandelen. Maar hier komt de twist: de meeste wetenschappers keken alleen naar de bibliotheek als geheel. Ze controleerden de gemiddelde behandeling van iedereen, waardoor ze het zicht verloren op het feit dat specifieke groepen bezoekers een totaal andere, en veel slechtere, deal konden krijgen dan anderen. Het is alsoals zeggen dat de "gemiddelde" temperatuur in een stad perfect is, terwijl je negeert dat één buurt ijskoud is en een andere bakermat van de hitte.
Dit artikel besluit om met een vergrootglas naar de bibliotheek te kijken en elke specifieke groep bezoekers één voor één te controleren. De onderzoekers wilden zien wat er gebeurt wanneer je speciale "rechtvaardigheidstools" gebruikt om het gedrag van de bibliothecarissen te corrigeren. Maken deze tools het per ongeluk makkelijker voor een nieuwsgierige persoon om te raden welke bezoekers in het systeem zitten? En als je probeert ieders identiteit te verbergen met een "privacyschild" (een techniek genaamd Differential Privacy), helpt dat dan iedereen gelijk, of schaadt het de kleinere, minder voorkomende groepen onbedoeld meer?
Het team zette een enorme experiment op met tien verschillende scenario's uit de echte wereld, variërend van het voorspellen wie een lening krijgt tot het bepalen wie mogelijk opnieuw een misdrijf zal begaan in het rechtssysteem. Ze testten vijf verschillende soorten "rechtvaardigheidstools" (sommigen die de data corrigeren voordat de computer leert, anderen die veranderen hoe de computer leert, en ook tools die de antwoorden corrigeren nadat de computer klaar is). Ze gebruikten ook drie verschillende soorten "nieuwsgierige aanvallen" om te zien hoe makkelijk het is om te raden of een persoon in de trainingsdata zat.
Dit is wat ze ontdekten, en het is een beetje ingewikkelder dan een simpel "goed vs. slecht" verhaal. Ten eerste ontdekten ze dat rechtvaardigheid en privacy geen vijanden zijn. Je hoeft niet te kiezen tussen hen; sterker nog, sommige rechtvaardigheidstools maakten het juist moeilijker voor nieuwsgierige mensen om te raden wie er in het systeem zat, terwijl andere het makkelijker maakten. Het hangt er bijvoorbeeld vanaf welke tool je gebruikt en wie er in de groep zit. Zo maakte een tool genaamd "Reweighing" (die extra aandacht geeft aan kleinere groepen) de kleinere groepen vaak veiliger voor nieuwsgierige mensen. Maar een andere tool, "Disparate Impact Remover", was een beetje een achtbaan: het hielp soms en schaadde soms, afhankelijk van de specifieke dataset.
De meest verrassende bevinding kwam toen ze rechtvaardigheidstools combineerden met het "privacyschild" (Differential Privacy). De onderzoekers ontdekten dat hoewel het privacyschild de nieuwsgierige mensen succesvol tegenhield, het dit deed door een deken van "ruis" over de hele bibliotheek te werpen. Deze ruis was bedoeld om ieders identiteit te verbergen, maar het bleek een zware deken te zijn die de kleinere, minder voorkomende groepen verpletterde. Voor de grote, populaire groepen konden de bibliothecarissen hun werk nog goed doen, zelfs met de ruis. Maar voor de piepkleine, zeldzame groepen was de ruis zo hard dat de bibliothecarissen eigenlijk niets meer konden horen, waardoor hun nauwkeurigheid naar bijna nul daalde. Het is als proberen een fluistering te horen in een stille kamer; als je plotseling een luide ventilator aanzet om de fluistering te verbergen, kunnen de grote stemmen nog steeds gehoord worden, maar de fluisteringen zijn volledig verloren.
Het paper keek ook naar een tool genaamd "Calibrated Equalized Odds", die de uiteindelijke antwoorden aanpast om rechtvaardig te zijn. Deze tool was geweldig in het verbergen van privacyrisico's (waardoor de nieuwsgierige mensen slechts willekeurig konden raden), maar het was een ramp voor de nauwkeurigheid. Het hielp niet alleen de ondervertegenwoordigde groepen; het verspreidde de fouten op een chaotische manier, waarbij het soms de meerderheidsgroepen en soms de minderheidsgroepen benadeelde, zonder een duidelijk patroon.
Kortom, de auteurs laten zien dat er geen enkele "magische knop" is die rechtvaardigheid, privacy en nauwkeurigheid tegelijkertijd oplost. De resultaten suggereren dat de impact van deze tools sterk afhangt van de grootte van de groep, het type computermodel dat wordt gebruikt, en de specifieke methode die gekozen wordt. Als je een rechtvaardig en privaat systeem wilt bouwen, kun je niet alleen naar het gemiddelde kijken. Je moet elke specifieke subgroep auditeren, want wat werkt voor de meerderheid, kan voor de minderheid een privacy-nachtmerrie of een ramp voor de bruikbaarheid zijn. Het paper beweert niet dat het het probleem voor altijd heeft opgelost, maar het biedt de eerste duidelijke kaart die precies laat zien waar de vallen verborgen liggen in het bos van rechtvaardigheid en privacy.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.