🤖 machine learning

Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool

Dit artikel beschrijft een audit van een Nederlands overheidsalgoritme voor risicoprofielen waarbij een onbewaakte biasdetectietool, ondanks het ontbreken van demografische data, succesvol ongelijkheden tussen studenten met een niet-Europese en een Nederlandse of Europese migratieachtergrond heeft aangetoond.

Oorspronkelijke auteurs: Floris Holstege, Mackenzie Jorgensen, Kirtan Padh, Jurriaan Parie, Krsto Prorokovic, Joel Persson, Lukas Snoek

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Floris Holstege, Mackenzie Jorgensen, Kirtan Padh, Jurriaan Parie, Krsto Prorokovic, Joel Persson, Lukas Snoek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Detective zonder Geheime Dossier: Hoe je Bias opspoort zonder Gegevens

Stel je voor dat je een grote, saaie fabriek hebt die beslissingen neemt over duizenden mensen. In dit geval is het DUO (het Nederlandse uitvoeringsorgaan voor onderwijs), dat studententoeslagen uitdeelt.

Tussen 2012 en 2023 gebruikte DUO een simpele computerrekenmachine (een algoritme) om te beslissen: "Wie is verdacht? Wie moet ik controleren of hij of zij echt alleen woont?"

🚩 Het Probleem: De "Onzichtbare" Vooroordelen

De computer keek naar drie dingen:

Wat voor school je doet (bijv. mbo of universiteit).
Hoe oud je bent.
Hoe ver je van je ouders woont.

Op papier leek dit eerlijk. Maar in de praktijk bleek dat de computer bepaalde groepen mensen (jongeren op het mbo die dicht bij hun ouders woonden) veel vaker als "verdacht" bestempelde. Het bleek later dat deze groepen vaker een niet-Europese migratieachtergrond hadden. De computer discrimineerde dus onbedoeld, maar niemand zag het, omdat de computer geen "ras" of "migratieachtergrond" in zijn database had staan.

De grote uitdaging: Hoe kun je bewijzen dat een computer vooroordelen heeft, als je de gevoelige gegevens (zoals ras of herkomst) niet mag of kunt gebruiken vanwege privacywetten? Je kunt de computer niet vragen: "Heb je deze groep onterecht gestraft?" als je niet weet wie die groep is.

🔍 De Oplossing: Een "Onbewuste" Detectivemethode

De auteurs van dit artikel hebben een slimme truc bedacht. Ze gebruikten een onbewaakte (unsupervised) bias-detectietool.

De Analogie: Het Sorteren van een Grote Berg Muren
Stel je hebt een enorme berg muren (de studenten) en je wilt weten of er een ongelijkheid in zit. Je mag de muren niet op naam sorteren (want dat is privé). Wat doe je dan?

Je gooit de muren in een grote machine die ze automatisch in stapels verdeelt op basis van hun uiterlijk (leeftijd, schooltype, afstand tot ouders).

Stapel A: Jonge mbo-studenten die dicht bij huis wonen.
Stapel B: Oudere universiteitsstudenten die ver weg wonen.
Stapel C: Iets anders.

Vervolgens kijkt de machine: "Hoe vaak wordt iemand uit Stapel A als 'verdacht' gemarkeerd, vergeleken met Stapel B?"

Als Stapel A veel vaker als verdacht wordt gemarkeerd dan Stapel B, dan is er iets mis. De machine heeft een groep gevonden die oneerlijk wordt behandeld, zonder dat we wisten wie ze waren voordat we begonnen.

🧪 Wat Vonden Ze?

Toen ze deze tool toepasten op de DUO-data (meer dan 250.000 studenten), gebeurde er iets fascinerends:

De tool vond automatisch een groep studenten die extreem vaak als "hoog risico" werden bestempeld (50% van deze groep!).
Deze groep bleek uit studenten te bestaan die op het mbo zaten, jong waren (15-18 of 25-50) en dicht bij hun ouders woonden.
Toen de onderzoekers achteraf keken naar de officiële statistieken (die ze wel mochten gebruiken), zagen ze dat deze specifieke groep inderdaad een hoger percentage studenten met een niet-Europese achtergrond bevatte.

De conclusie: De computer had onbewust een "proxy" (een vervanger) gebruikt. Omdat mensen met een niet-Europese achtergrond vaker op het mbo zaten en dichter bij hun ouders woonden, werden ze door de simpele regels van DUO oneerlijk zwaar belast. De tool had deze onrechtvaardigheid gevonden zonder dat ze de "migratieachtergrond" als input hadden gebruikt.

🛠️ Waarom is dit belangrijk? (De Twee Bijdragen)

Een Spiegel voor de Overheid: Het toont aan dat zelfs simpele, "neutrale" regels (zoals "dichtbij ouders = verdacht") kunnen leiden tot grote onrechtvaardigheid. Het is een waarschuwing dat we algoritmen moeten controleren, zelfs als ze er simpel uitzien.
Een Openbaar Gereedschap: De onderzoekers hebben hun "detectivemachine" gratis beschikbaar gesteld als software. Iedereen (auditors, bedrijven, burgers) kan deze tool gebruiken om hun eigen systemen te testen op onrechtvaardigheid, zelfs als ze geen gevoelige gegevens hebben.

🎯 De Boodschap in Eén Zin

Je hoeft niet te weten wie iemand is om te zien of een systeem hen ongelijk behandelt; je kunt kijken naar de patronen in de data en de tool laat zien waar de "oneerlijke stapels" zitten, zodat mensen die beslissingen kunnen nemen om het recht te zetten.

Het onderzoek bevestigt wat we al wisten (DUO discrimineerde), maar bewijst ook dat we nieuwe, slimme manieren hebben om dit soort onrecht in de toekomst op te sporen, zelfs als de wet ons de "geheime dossiers" ontneemt.

1. Probleemstelling

Algoritmen worden steeds vaker ingezet om menselijke beslissingen te automatiseren of te ondersteunen, maar ze kunnen onbedoeld discriminatie vertonen tegenover wettelijk beschermde demografische groepen. Een groot obstakel bij het opsporen van deze bias is dat organisaties en externe auditors vaak geen toegang hebben tot gegevens over deze beschermde kenmerken (zoals etniciteit of migratieachtergrond) vanwege privacywetgeving, zoals de AVG (GDPR).

Het artikel richt zich op een specifiek geval van indirecte discriminatie in Nederland: het risicoprofileringssysteem van de Dienst Uitvoering Onderwijs (DUO). Tussen 2012 en 2023 gebruikte DUO een simpele, op regels gebaseerde algoritme om studenten te selecteren voor controle op de uitwonendenbeurs. Het algoritme baseerde zich op drie ogenschijnlijk neutrale variabelen:

Type opleiding (MBO, HBO, WO).
Leeftijd.
Afstand tot het ouderlijk adres.

Dit systeem leidde tot een onevenredig hoge risicoscore voor studenten met een niet-Europese migratieachtergrond, wat resulteerde in onterechte controles en uiteindelijk in een schandaal met een compensatieplan van €61 miljoen. De kernvraag is: hoe kan men bias detecteren in dergelijke systemen wanneer de beschermde demografische data ontbreekt?

2. Methodologie

De auteurs hebben een audit uitgevoerd met behulp van een onbewaakte (unsupervised) bias-detectietool. In tegenstelling tot "bewaakte" (supervised) methoden die expliciete labels voor demografische groepen vereisen, probeert deze tool groepen in de data te vinden die ongelijk behandeld worden, zonder vooraf te weten welke groepen dat zijn.

De aanpak:

Data: De audit omvatte meer dan 250.000 studenten (focus op 2014 en 2019). De auteurs hadden toegang tot de door het algoritme gegenereerde risicoscores, maar niet tot individuele migratiegegevens.
Algoritme: Ze gebruikten een verbeterde versie van het Hierarchical Bias-Aware Clustering (HBAC) algoritme (Misztal-Radecka & Indurkhya, 2021).
- Het algoritme start met alle data in één cluster en splitst iteratief het cluster met de grootste standaardafwijking in de bias-metriek op in twee subclusters.
- Er werd gebruik gemaakt van k-modes clustering om om te gaan met categorische variabelen (opleiding, leeftijdscategorie, afstand).
Bias-metriek: De gebruikte metriek is demografische pariteit. De hypothese is dat de kans om als "hoog risico" te worden geclassificeerd gelijk moet zijn voor studenten met een Nederlandse/Europese achtergrond en die met een niet-Europese achtergrond. Omdat de achtergrond niet bekend was, werd gekeken naar de verdeling van de risicoscores binnen de gegenereerde clusters.
Statistische validatie: Om te voorkomen dat toevallige variatie wordt geïnterpreteerd als bias, pasten de auteurs methodologische verbeteringen toe:
- Sample splitting: De dataset werd opgesplitst in een trainingsset (voor clustering) en een testset (voor statistische toetsing) om "overfitting" te voorkomen.
- Bonferroni-correctie: Om de kans op fout-positieven te verkleinen bij het testen van meerdere clusters.
- Pearson $\chi^2$ -test: Gebruikt om te testen of het verschil in het percentage "hoog risico" studenten tussen clusters statistisch significant is.

Validatie:
Hoewel de clustering onafhankelijk werd uitgevoerd van demografische data, gebruikten de auteurs geaggregeerde statistieken van het Centraal Bureau voor de Statistiek (CBS) post-hoc om te valideren of de gevonden clusters overeenkwamen met studenten met een niet-Europese migratieachtergrond.

3. Belangrijkste Resultaten

De onbewaakte tool slaagde erin om de bestaande discriminatie te detecteren zonder dat de auteurs de migratieachtergrond van individuele studenten kenden.

Detectie van Bias: Het algoritme splitste de data op in drie clusters. Cluster 3 vertoonde een extreem hoge bias: 50% van de studenten in dit cluster werd als "hoog risico" geclassificeerd, vergeleken met slechts 3% en 19% in de andere clusters.
Profiel van de getroffen groep: Studenten in het meest bevooroordeelde cluster (Cluster 3) hadden de volgende kenmerken:
- Zij volgden voornamelijk MBO-opleidingen (beroepsonderwijs).
- Zij waren relatief jong (15-18 jaar) of relatief oud (25-50 jaar).
- Zij woonden dicht bij hun ouders (kleine afstand).
Correlatie met Migratieachtergrond: Toen de auteurs de geaggregeerde CBS-data toepasten, bleek dat Cluster 3 inderdaad een veel hoger percentage studenten met een niet-Europese migratieachtergrond bevatte (geschat op 41%) dan de andere clusters (17% en 10%).
Proxy-discriminatie: De studie bevestigde dat de neutrale variabelen (opleidingstype, leeftijd, afstand) fungeren als proxies voor de beschermde eigenschap (migratieachtergrond). Studenten met een niet-Europese achtergrond zijn statistisch vaker in het MBO, wonen vaker bij hun ouders en vallen vaker in specifieke leeftijdsgroepen. Het algoritme strafte deze combinaties onterecht af.
Resultaten 2019: De analyse werd gerepliceerd voor het jaar 2019 (waarbij alleen MBO-studenten in aanmerking kwamen). Ook hier werd een significante bias gevonden met een vergelijkbaar patroon.

4. Bijdragen

Het artikel levert twee belangrijke bijdragen:

Grootschalige Audit van Indirecte Discriminatie: Het biedt een gedetailleerd, real-world gevalstudie van een overheidsalgoritme dat indirecte discriminatie veroorzaakte. Het toont aan dat zelfs simpele, op regels gebaseerde systemen (niet alleen complexe ML-modellen) ernstige discriminatie kunnen bevatten.
Open Source Tool: De auteurs hebben de onbewaakte bias-detectiemethode beschikbaar gesteld als een open-source Python-pakket en een webapplicatie. Dit maakt het mogelijk voor niet-technische auditors en organisaties om hun eigen datasets te testen op potentiële bias zonder toegang tot beschermde demografische data te hebben. De tool bevat methodologische verbeteringen die de fout-positieve rate aanzienlijk verlagen.

5. Betekenis en Conclusie

De studie onderstreept dat onbewaakt leren (unsupervised learning) een cruciaal hulpmiddel kan zijn bij het auditeren van algoritmen in een privacybewuste omgeving. Hoewel de tool alleen de clusters kan identificeren die mogelijk onrechtvaardig worden behandeld, en niet direct juridisch bewijs van discriminatie levert, fungeert het als een krachtig startpunt voor deliberatieve beoordeling door menselijke experts.

Het onderzoek bevestigt dat de onbewaakte tool succesvol de "vermomde" discriminatie in het DUO-systeem heeft blootgelegd. Het biedt een schaalbare methode voor toezichthouders, interne en externe auditors om schijnbaar neutrale regels te onderzoeken op verborgen vooroordelen, wat essentieel is voor naleving van de Europese AI-wetgeving en het Handvest van de Grondrechten.