Counterfactual, Per-Decision Bias Auditing for Automated Hiring: Localizing and Explaining Disparate Impact in Applicant Tracking Systems
Dit artikel introduceert de AI Bias Firewall (AIBF), een nieuwe auditmethode die een uiteenlopende impact bij geautomatiseerde werving lokaliseert en verklaart door gesigneerde tegenfeitelijke verschuivingen per beslissing en verklaringen in gewone taal te genereren, waarbij een hoge precisie wordt aangetoond bij het identificeren van onrechtvaardige beslissingen op echte datasets, terwijl tegelijkertijd de beperkingen worden belicht van het bereiken van volledige juridische gelijkheid door middel van individuele correcties alleen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne werkomgeving is de eerste poortwachter voor veel banen niet langer een menselijke recruiter, maar een stuk software. Deze geautomatiseerde systemen scannen cv's, rangschikken kandidaten en beslissen wie een interview krijgt en wie wordt afgewezen. Nu deze tools gebruikelijker worden, haalt de wetologie er een inhaalslag in. Nieuwe regelgeving in plaatsen zoals New York City en de Europese Unie vereist nu dat bedrijven moeten bewijzen dat hun wervingsalgoritmen eerlijk zijn. De uitdaging is dat de huidige instrumenten die worden gebruikt om eerlijkheid te controleren, op twee zeer verschillende niveaus opereren. Eén type instrument kijkt naar het grote plaatje en berekent statistieken voor hele groepen mensen om te zien of een beschermde groep, zoals vrouwen of minderheden, vaker wordt afgewezen dan anderen. Hoewel dit kan bewijzen dat er een probleem bestaat, kan het een specifiek persoon niet vertellen waarom zij zijn afgewezen of aan welk exact moment het systeem een oneerlijke keuze heeft gemaakt. Het andere type instrument kijkt naar een individu en legt uit welke factoren in hun cv de score hebben beïnvloed, maar het weet niet het verschil tussen een legitieme kwalificatie en een verborgen vooroordeel, noch verbindt het die uitleg aan de juridische standaarden die worden gebruikt om discriminatie te beoordelen. Dit laat een gat achter: toezichthouders en kandidaten moeten niet alleen weten dat een systeem gemiddeld genomen oneerlijk is, maar ook precies welke individuele beslissingen oneerlijk waren en waarom.
Om dit gat te overbruggen, hebben onderzoekers een nieuwe methode ontwikkeld genaamd de AI Bias Firewall. Deze aanpak fungeert als een forensisch onderzoeker voor wervingssoftware, waarbij elke beslissing afzonderlijk wordt onderzocht om te zien of beschermde kenmerken de uitkomst geheim hebben beïnvloed. De kern van het idee is het creëren van een "wat als"-scenario voor elke individuele sollicitant. Stel je een kandidaat voor die is afgewezen. Het systeem neemt die sollicitatie en maakt een kopie daarvan, maar met een cruciale wijziging: het neutraliseert de onderdelen van de sollicitatie die fungeren als proxies (plaatsvervangers) voor beschermde kenmerken, zoals geslacht, ras of leeftijd, door deze in te stellen op een standaardbasis die de meest bevoordeelde groep vertegenwoordigt. Vervolgens voert het deze aangepaste sollicitatie door dezelfde wervingssoftware om te zien welke score het zou hebben gekregen. Als de score significant verandert, of als de beslissing omslaat van afwijzing naar acceptatie, weet het systeem dat de beschermde attributen de doorslaggevende factor waren. Dit verschil in score is de maatstaf voor bias voor die specifieke persoon.
De onderzoekers testten deze methode op twee real-world datasets die breed worden gebruikt om eerlijkheid te bestuderen: één die censusgegevens bevat over inkomen en een andere die gegevens bevat over risicobeoordelingen in de strafrechtketen. Ze gebruikten geen verzonnen cijfers; ze gebruikten werkelijke records waar historische ongelijkheden al bekend waren. Toen ze hun methode toepasten, ontdekten ze dat de individuele metingen perfect overeenkwamen met de bekende groepsstatistieken. Bijvoorbeeld, op de inkomendataset berekende de methode dat de beschermde attributen de scores van de bevoorrechte groep gemiddeld met ongeveer 7,5 punten verhoogden en de scores van de benadeelde groep met ongeveer 8 punten verlaagden. Dit bevestigde dat de methode getrouw was: het verzon niet zomaar cijfers voor individuen, maar weerspiegelde nauwkeurig de werkelijke ongelijkheid die in de data aanwezig is.
Misschien wel de meest opvallende bevinding was hoe veel beter deze methode was in het vinden van de specifieke oneerlijke beslissingen vergeleken met de oude manier van doen. In het verleden, als een auditor oneerlijke afwijzingen wilde opsporen, kon hij simpelweg elke sollicitant die tot een benadeelde groep behoorde markeren en hun dossiers beoordelen. De onderzoekers ontdekten dat deze aanpak inefficiënt was. Wanneer zij hun nieuwe methode gebruikten om te prioriteren welke dossiers beoordeeld moesten worden, ontdekten zij dat door slechts vijf procent van de totale beslissingen te bekijken, zij vijfenvijftig procent van de mensen hadden gevonden die onterecht waren afgewezen vanwege bias. In contrast hiermee zou de oude methode van beoordeling op basis van groepslidmaatchap 32 procent van alle beslissingen moeten beoordelen om hetzelfde aantal benadeelde kandidaten te vinden. Dit betekent dat het nieuwe instrument de taak van menselijke auditors dertig keer efficiënter maakt, waardoor zij hun beperkte tijd kunnen richten op de zaken die echt aandacht nodig hebben.
De studie onthulde ook een harde limiet aan wat een dergelijke correctie kan bereiken. De onderzoekers probeerden te zien wat er zou gebeuren als ze automatisch elke beslissing die het systeem als bevooroordeeld markeerde zouden corrigeren, door de software in feite te dwingen de kandidaten de score te geven die ze zonder de beschermde proxies zouden hebben ontvangen. Hoewel dit de algemene eerlijkheidscijfers aanzienlijk verbeterde, loste het het probleem niet volledig op. De ongelijkheid bleef bestaan omdat de software had geleerd om andere kenmerken te gebruiken, zoals opleidingsniveau of gewerkte uren, die niet beschermd zijn door de wet maar nog steeds gecorreleerd zijn met ras en geslacht. Deze "merit"-kenmerken (verdienste-kenmerken) droegen een verborgen residu van bias met zich mee dat het systeem niet kon verwijderen door enkel de overduidelijke beschermde categorieën te neutraliseren. Deze bevinding dient als een waarschuwing: het simpelweg verwijderen van beschermde categorieën uit een model is niet genoeg om eerlijkheid te garanderen, omdat bias zich kan verschuilen in andere delen van de data.
Uiteindelijk is de AI Bias Firewall niet ontworpen om menselijk oordeel te vervangen of om wervingsbeslissingen automatisch te corrigeren. In plaats daarvan is het een instrument voor uitleg en verantwoording. Het produceert een duidelijk rapport in gewone taal voor elke gemarkeerde beslissing, waarin precies staat vermeld welke factoren de score lieten dalen en met hoeveel. Dit geeft een afgewezen kandidaat een concrete reden om de afwijzing aan te vechten en geeft een bedrijf een specifieke lijst met gevallen om te beoordelen. De onderzoekers benadrukken dat dit hulpmiddel werkt door de software te vragen dezelfde sollicitatie twee keer uit te voeren — één keer zoals deze is, en één keer met de beschermde proxies geneutraliseerd — zonder dat hiervoor het model opnieuw getraind hoeft te worden of de interne code begrepen moet worden. Door een complex statistisch probleem te transformeren tot een reeks individuele, uitlegbare "wat als"-testen, vormt de methode de ontbrekende schakel tussen de juridische vereiste van eerlijkheid en de praktische realiteit van het auditen van geautomatiseerde wervingssystemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.