💻 computer science

Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency

Dit artikel presenteert de eerste onafhankelijke end-to-end eerlijkheidsaudit van het semi-geautomatiseerde wervingssysteem van Barcelona Activa, die onthult dat hoewel er sprake is van algemene genderpariteit, er aanzienlijke verschillen blijven bestaan over salarisniveaus, leeftijdsgroepen en genderidentiteiten door complexe interacties tussen geautomatiseerde verwerking, menselijke discretie en vendor-ondoorzichtigheid die onzichtbaar zijn voor traditionele modelniveau-beoordelingen.

Oorspronkelijke auteurs: Gemma Galdón-Clavell

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gemma Galdón-Clavell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een baan probeert te vinden, maar in plaats van je cv aan een persoon te overhandigen, betreed je een gigantisch, hoogtechnologisch doolhof. Dit is de wereld van algoritmische rechtvaardigheid, een wetenschappelijk veld dat een simpele maar lastige vraag stelt: Wanneer computers helpen bij grote beslissingen zoals werving en selectie, behandelen ze iedereen dan hetzelfde, of sturen ze bepaalde mensen per ongeluk naar doodlopende wegen? Lange tijd controleerden experts vooral de "hersenen" van de computer — de code zelf — om te zien of deze bevooroordeeld was. Maar dit artikel betoogt dat het controleren van alleen de hersenen is als het controleren van een automotor terwijl je de bestuurder, de wegcondities en de verkeersregels negeert. Het blijkt dat zelfs als de motor perfect is, de auto nog steeds kan crashen als de bestuurder afgeleid is of de kaart fout is. Dit is belangrijk voor iedereen, omdat wervingsalgoritmen de poortwachters worden van ons levensonderhoud, en als ze defect zijn, kunnen ze mensen onzichtbaar buitensluiten van kansen zonder dat iemand het merkt.

Dit artikel is een detectiveverhaal over een echt wervingsdoolhof in Barcelona, Spanje. De onderzoekers, die optraden als onafhankelijke auditors, keken niet alleen naar de computercode; ze volgden 497.000 werkzoekenden door elke stap van een vijfjarige reis (van 2017 tot 2022) om te zien waar het systeem de mist in ging. Ze keken naar een semi-geautomatiseerd systeem waarbij een menselijke analist een externe software genaamd "TalentClue" gebruikt om kandidaten te vinden voor werkgevers. Denk aan een estafette met zeven etappes: de werkgever plaatst een vacature, een menselijke analist kiest de trefwoorden, de computer filtert de lijst, een mens kiest een shortlist, en uiteindelijk neemt de werkgever iemand aan.

De meest verrassende wending in het verhaal? Als je alleen naar de uiteindelijke finishlijn keek, leek de race eerlijk. Het aantal mannen en vrouwen dat werd aangenomen was bijna exact hetzelfde. Het was alsof je twee teams met dezelfde eindscore zag en ervan uitging dat het spel perfect in balans was. Maar wanneer de auditors de tape terugspoelden en elke etappe van de race bekeken, vonden ze een ander verhaal. De "eerlijke" eindscore verborg eigenlijk veel onrechtvaardigheid die onderweg plaatsvond.

Hier begon het systeem mensen in de problemen te brengen:

De Salarisval: Hoewel vrouwen en mannen in totaal vergelijkbare percentages werden aangenomen, werden vrouwen veel minder vaak voorgedragen voor banen met een middeninkomen (tussen € 15.000 en € 24.000). Sterker nog, voor deze specifieke banen werden vrouwen in slechts 7,43% van de gevallen voorgedragen, vergeleken met 9,45% voor mannen. Het is alsof het systeem een verborgen regel had die zei: "Je kunt de baan krijgen, maar misschien niet de betere baan."
De Leeftijdsmuur: Het systeem leek een blinde vlek te hebben voor oudere werknemers. Mensen van 55 jaar en ouder maakten 15,6% uit van de lokale beroepsbevolking, maar waren volledig afwezig in de wervingspijplijn. Het was alsof het doolhof een muur had waar niemand boven de 55 kon zien, laat staan overheen kon klimmen.
Het "Ander"-probleem: Voor kandidaten die zichzelf identificeerden als non-binair (noch strikt man noch vrouw), waren de kansen ongelooflijk klein. Zij werden in minder dan een derde van de snelheid van mannen voorgedragen. De onderzoekers merken echter op dat er zeer weinig van deze kandidaten in de data voorkwamen (slechts 285), dus hoewel de ongelijkheid duidelijk is, kunnen ze nog niet precies zeggen hoe groot het probleem voor de hele populatie is.
De Opleidingsparadox: Interessant genoeg was de kans dat mensen met een hogere opleiding werden voorgedragen kleiner dan die van mensen met slechts een middelbare schoolopleiding. Aangezien vrouwen in deze dataset vaker hogere opleidingen hebben, benadeelde deze regel vrouwen onbedoeld nog meer.

Het artikel belicht ook een grote communicatiebreuk. De mensen die de wervingsinstantie (Barcelona Activa) runden, wisten eigenlijk niet hoe de computersoftware (TalentClue) besliste wie ze aan hen zouden tonen. Het was alsof je een chef-kok inhuurt maar niet de receptuur of de ingrediënten mag zien. De instantie kon niet controleren of de computer bevooroordeeld was omdat het softwarebedrijf het "geheime recept" verborgen hield.

Ten slotte ontdekten de onderzoekers dat het systeem niet statisch was; het veranderde in de loop van de tijd. De kloof tussen mannen en vrouwen bij het voordragen van kandidaten werd kleiner van 2017 tot 2022, maar dat kwam alleen omdat er van beide geslachten minder mensen werden voorgedragen. Het is als een race waarbij de kloof tussen de hardlopers kleiner wordt omdat iedereen langzamer loopt, en niet omdat het parcours eerlijker is geworden.

De belangrijkste les is dat je niet zomaar één keer de code van een computer kunt controleren en het dan "eerlijk" kunt noemen. Je moet het hele proces in de gaten houden — de mensen, de data, de software en de tijd die het kost. Als je alleen naar het eindresultaat kijkt, kun je de realiteit missen dat het systeem bepaalde groepen stilletjes wegstuurt van de beste kansen. De auteur suggereert dat bedrijven, in plaats van een eenmalige controle, een constante waakzaamheid moeten handhaven over hun wervingssystemen, zoals een vuurtoren die de golven in de gaten houdt, om ervoor te zorgen dat het pad naar een baan elke dag voor iedereen openstaat.

Technische Samenvatting: Toegepast en Gefilterd: Een End-to-End Algoritmische Fairness Audit van een Publieke Werkvoorzieningsinstantie

Probleemstelling

Algoritmische fairness-evaluatie behandelt AI-systemen doorgaans als begrensde technische componenten, waarbij de inputs en outputs van modellen in isolatie worden beoordeeld van de organisatorische context waarin ze opereren. Deze "component-niveau"-benadering creëert een aanzienlijke blinde vlek in risicovolle domeinen zoals de arbeidsmarkt, waar geautomatiseerde instrumenten zijn ingebed in cumulatieve, meerfasige beslissingspijplijnen. Dispariteiten ontstaan vaak niet door een enkele algoritmische fout, maar door de interactie van geautomatiseerde verwerking, menselijke discretie, datakwaliteit, vendor-opaciteit en downstream-beslissingen. Bovendien vertrouwen bestaande regelgevende kaders (bijv. NYC Local Law 144) en academische praktijken vaak op punt-in-tijd-audits die er niet in slagen de temporele dynamiek van ingezette systemen of het sociotechnische karakter van werving te vatten.

Dit artikel adresseert de kloof tussen geïsoleerde modelbeoordeling en de realiteit van ingezette wervingssystemen door een onafhankelijke, end-to-end fairness audit uit te voeren op een semi-geautomatiseerde wervingspijplijn die wordt beheerd door Barcelona Activa, een publieke werkvoorzieningsinstantie in Spanje.

Methodologie

De studie maakt gebruik van een sociotechnisch auditkader toegepast op vijf jaar aan operationele data (september 2017 – september 2022), bestaande uit ongeveer 497.000 kandidaat-vacature pijplijn-entries. De audit bestrijkt de volledige wervingscyclus in plaats van een enkele algoritmische component.

Systeemarchitectuur en Reikwijdte

Het geauditeerde systeem omvat een zevenfasige pijplijn:

Ontvangst van Vacatures: Werkgever dient functie-eisen in.
Toewijzing Analist: Een menselijke analist interpreteert de eisen.
Selectie van Trefwoorden: Analisten vertalen eisen naar zoekfilters en trefwoorden (er bestaat geen audit trail voor deze stap).
Platform Zoekopdracht: Analisten bevragen het derde partij platform TalentClue. De interne matching-, ranking- en weeglogica van het platform is propriëtair en opaak voor zowel de gebruiker als de auditors.
Gefilterde Resultaten: Het platform geeft een subset van profielen terug; de uitgesloten pool wordt niet geregistreerd.
Eindbeoordeling: Menselijke analisten stellen shortlist-lijsten samen zonder formele protocollen of redenenregistratie.
Overdracht aan Werkgever: Werkgevers nemen de uiteindelijke wervingsbeslissingen; er worden geen data over de uitkomsten na de shortlist teruggegeven aan de instantie.

Analytische Benadering

De methodologie hanteert een driefasige analyse:

Pre-processing (Representativiteit): De demografische compositie van de kandidaatengroep wordt afgezet tegen de actieve beroepsbevolking van Barcelona (met behulp van EPA-data) om structurele uitsluiting bij de instap te identificeren.
In-processing (Disparate Impact & Stratificatie): De audit berekent de Disparate Impact Ratio (DIR) voor de transities tussen de verschillende pijplijnfasen. Een DIR < 0,80 wordt gehanteerd als benchmark voor adverse impact. Cruciaal is dat de analyse verder gaat dan geaggregeerde metrieken door middel van gestratificeerde conditionele analyse (per sector, salarisband, contracttype, opleiding en leeftijd) en intersectionele analyse (bijv. leeftijd × gender). Statistische significantie wordt getest met chi-kwadraat of Fisher's exact tests.
Post-processing (Temporele Consistentie): Shortlist-percentages worden jaarlijks geanalyseerd (2017–2022) om de stationariteit van fairness-eigenschappen over de tijd te beoordelen.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen aan het veld van algoritmische auditing:

End-to-End Operationele Audit: Het biedt de eerste onafhankelijke fairness audit van een semi-geautomatiseerd wervingssysteem met behulp van longitudinale operationele data, waarbij de scope van de beoordeling wordt uitgebreid van de geautomatiseerde component naar de gehele wervingspijplijn.
Bewijs van Gemaskeerde Dispariteiten: Het toont aan dat geaggregeerde genderpariteit kan samengaan met substantiële, statistisch significante dispariteiten over specifieke pijplijnfasen, demografische intersecties, salarisniveaus en sectoren.
Informatie-asymmetrie tussen Vendor en Gebruiker: Het documenteert hoe het gebrek aan toegang tot de matching-logica en evaluatiedata van een derde partij-platform de gebruiker in staat stellen het systeem te beheren, waarbij deze opaciteit als een kritieke auditbevinding wordt geïdentificeerd.
Bewijs voor Continue Evaluatie: Het toont empirisch aan dat fairness-uitkomsten niet-stationair zijn en veranderen over de tijd, zelfs zonder her-training van het model, wat pleit tegen de voldoendeheid van punt-in-tijd-beoordelingen.

Belangrijkste Resultaten

1. Geaggregeerde Pariteit Maskeert Structurele Ongelijkheid

Geaggregeerde uitkomsten lijken rechtvaardig: vrouwen vormen 51,5% van de geregistreerde kandidaten en 49,8% van de aangenomen kandidaten, een verschil dat niet statistisch significant is. Een audit van de modeloutput die beperkt blijft tot deze cijfers, zou concluderen dat het systeem eerlijk is. Echter, disaggregatie onthult ernstige dispariteiten.

2. Pijplijn-specifieke Dispariteiten

Salarisniveaus: Vrouwen ervaren een adverse impact bij de shortlistvorming voor middeninkomens (€15.000–€24.000) met een DIR van 0,786 ( $p < 0,001$ ). Terwijl rollen met een laag salaris pariteit vertonen, wordt de kloof groter bij hogere economische belangen.
Sectorale Segregatie: Vrouwen zijn ondervertegenwoordigd in de shortlists voor door mannen gedomineerde sectoren (bijv. Vastgoed, Engineering), zelfs wanneer zij aanwezig zijn in de gematchte kandidaatengroep. Omgekeerd zijn zij oververtegenwoordigd in sectoren zoals de Gezondheidszorg.
Contracttype: Voor fulltime functies is er sprake van adverse impact voor vrouwen (DIR = 0,758, $p < 0,001$ ), terwijl er voor parttime functies geen dispariteit is.
Salariskloof: Zelfs binnen dezelfde sectoren worden vrouwen gematcht met vacatures waarvan het gemiddelde minimumsalaris €1.147 lager ligt dan dat van mannen ( $p < 0,001$ ). Deze kloof blijft bestaan in 15 van de 20 sectoren.

3. Intersectionele en Demografische Uitsluiting

Leeftijd en Gender: Oudere vrouwen (46–55) kampen met een gecombineerd nadeel met een DIR van 0,77.
Structurele Afwezigheid van Ouderen: Kandidaten van 55 jaar en ouder zijn volledig afwezig uit de pijplijn, ondanks dat zij 15,6% van de actieve beroepsbevolking van Barcelona uitmaken.
Non-binaire Kandidaten: Non-binaire kandidaten worden in minder dan 3,51% van de gevallen op de shortlist geplaatst vergeleken met 11,89% voor mannen (DIR = 0,295, $p < 0,001$ ). Tijdens de auditperiode werd nul non-binaire kandidaten doorgegeven aan werkgevers. Opmerking: Deze bevinding wordt als indicatief beschouwd vanwege een kleine steekproefomvang (N=285).
Opleidingsparadox: Kandidaten met een hogere opleiding worden 40–42% minder vaak op de shortlist geplaatst dan kandidaten met een middelbare schoolopleiding. Aangezien de categorieën hogere opleiding sterk vrouwelijk georiënteerd zijn, treft dit mechanisme vrouwen onevenredig veel.
Land van Herkomst: Spaanse kandidaten worden aanzienlijk vaker op de shortlist geplaatst dan EU-kandidaten (DIR = 0,565) en niet-EU-kandidaten (DIR = 0,631).

4. Temporele Dynamiek

De genderkloof in de shortlistvorming kromp van 6,5 procentpunten in 2017 naar 1,3 procentpunten in 2022. Deze convergentie ging echter gepaard met een daling van de algehele shortlist-percentages voor beide groepen (van ~18% naar ~9%), wat suggereert dat de verandering eerder gedreven wordt door toegenomen concurrentie dan door substantiële verbeteringen in fairness. Dit benadrukt dat fairness-eigenschappen niet-stationair zijn.

Betekenis en Claims

Het artikel betoogt dat beoordeling op modelniveau alleen onvoldoende is om fairness in ingezette systemen te begrijken. De centrale empirische claim is dat de kloof tussen geaggregeerde fairness-metrieken en pijplijn-specifieke dispariteiten waarschijnlijk de regel is, en niet de uitzondering, in AI-ondersteunde beslissingssystemen.

De auteur stelt dat:

Sociotechnische Context Cruciaal is: Fairness-uitkomsten worden gevormd door de interactie van geautomatiseerde verwerking, menselijke discretie, datapraktijken en organisatorische procedures.
Opaciteit een Barrière is: Het onvermogen van de gebruiker (Barcelona Activa) om toegang te krijgen tot de interne logica van de vendor (TalentClue) verhindert effectief bestuur en onafhankelijke verificatie van fairness.
Continue Monitoring Noodzakelijk is: Omdat het gedrag van systemen verandert over de tijd door verschuivende arbeidsmarkten, de praktijk van analisten en platformupdates, zijn periodieke audits weliswaar noodzakelijk maar onvoldoende. Een continue evaluatielaag is vereist om opkomende dispariteiten in realtime te detecteren.

De studie concludeert dat effectieve verantwoording vereist dat de evaluatie wordt uitgebreid van enkel modeloutputs naar de bredere sociotechnische pijplijn, dat gebruikers toegang moeten hebben tot de benodigde informatie voor systemen van derden, en dat mechanismen voor continue monitoring moeten worden vastgesteld. Dit werk biedt empirische ondersteuning voor de verschuiving naar sociotechnische en end-to-end benaderingen van algoritmische fairness, in het bijzonder in de context van opkomende regelgeving zoals de EU AI Act.