Technische Samenvatting: Ongelijke Onzekerheid: Het heroverwegen van algoritmische interventies voor het beperken van discriminatie door AI

1. Probleemstelling

Het artikel behandelt de juridische en ethische risico's die gepaard gaan met voorspellende onzekerheid in systemen voor Kunstmatige Intelligentie (AI) die worden gebruikt bij besluitvorming met grote impact (bijv. consumentenkrediet en strafrecht). Hoewel machine learning (ML) modellen vaak een vergelijkbare geaggregeerde prestatie vertonen, is de voorspellende onzekerheid vaak ongelijk verdeeld over demografische groepen, vaak geconcentreerd bij ondervertegenwoordigde populaties als gevolg van gegevensschaarsheid of historische bias.

Het kernproblek is hoe men deze onzekerheid kan beheren zonder discriminatie te verergeren. De auteurs analyseren twee veelvoorkomende algoritmische interventies die zijn ontworpen om als "vangrails" te dienen voor mens-AI-interactie:

1. Selectieve Onthouding (Selective Abstention): Het onthouden van modelvoorspellingen aan menselijke besluitvormers wanneer de onzekerheid een drempelwaarde overschrijdt, waardoor een beslissing uitsluitend op basis van ongeassisteerde menselijke oordeelsvorming moet worden genomen.
2. Selectieve Frictie (Selective Friction): Het presenteren van de modelvoorspelling aan de menselijke besluitvormer, maar deze markeren met een waarschuwing (bijv. een "geel vlaggetje") wanneer de onzekerheid hoog is, wat aanzet tot reflectie zonder de voorspelling te verwijderen.

Het artikel betoogt dat hoewel deze interventies bedoeld zijn om fouten te beperken, ze onbedoeld onrechtmatige discriminatie kunnen veroorzaken onder het Verenigd Koninkrijk (VK) recht, met name door het creëren van procedurele asymmetrieën waarbij ondervertegenwoordigde groepen onevenredig vaak worden onderworpen aan ongeassisteerde menselijke oordeelsvorming of bevooroordeelde overrides.

2. Methodologie

De auteurs hanteren een hybride methodologie die formele technische definities combineert met doctrinaal juridische analyse en casestudy-toepassing.

2.1 Formele Definities en Aannames

• Taak: Binaire classificatie ($\hat{y} \in \{0, 1\}$) waarbij een model $f$ labels voorspelt voor inputs $x$.
• Onzekerheidsmetriek: De auteurs gebruiken Shannon-entropie ($H(\hat{p})$) om voorspellende onzekerheid te kwantificeren, waarbij $\hat{p}$ de voorspelde waarschijnlijkheid van het model is. Entropie is 0 voor zekere voorspellingen en 1 voor maximale onzekerheid ($\hat{p}=0.5$).
• Interventiedrempel: Een drempelwaarde $\tau$ wordt ingesteld zodat als $H(\hat{y}) \geq \tau$, een interventie wordt getriggerd.
• Kalibratie-aanname: Er wordt vanuit gegaan dat het model goed gekalibreerd is op populatieniveau, maar potentieel slecht gekalibreerd is binnen specifieke demografische subgroepen (falen van kalibratie binnen de groep). Dit leidt tot systematische verschillen in entropiewaarden tussen groepen.
• Menselijke Besluitvormer: Gemodelleerd als een functie $r(x)$ (ongeassisteerd) of $r(x; f(x))$ (geassisteerd). Het artikel gaat ervan uit dat besluitvormers cognitieve vooroordelen kunnen vertonen, zoals automatisering-bias (overmatige afhankelijkheid) of ongepaste overrides.

2.2 Casestudies

De interventies worden toegepast op twee specifieke domeinen om de gevolgen voor getroffen groepen te analyseren:

1. Consumentenkrediet: Het voorspellen van het risico op wanbetaling van leningen. De studie onderzoekt hoe onthouding of frictie de goedkeurings-/afwijzingspercentages van leningen en de verwerkingstijden voor ondervertegenwoordigde groepen beïnvloedt.
2. Risico op Recidive: Het voorspellen van de kans op herhaling van strafbare feiten in de strafrechtspleging. De studie analyseelt de vonnisuitspraken (streng versus licht) en de impact van de Public Sector Equality Duty (PSED).

2.3 Juridisch Kader

De analyse is gebaseerd op het Britse recht, specifiek:

• The Equality Act 2010: Analyse van directe en indirecte discriminatie, met de focus op de vraag of interventies een "Provision, Criterion, or Practice" (PCP) vormen die een beschermde groep in een bijzonder nadelige positie brengt.
• Public Sector Equality Duty (PSED): Verplichtingen onder Sectie 149 voor overheidsinstanties.
• Gegevensbeschermingswetgeving: De Britse AVG (UK GDPR) en de nieuw voorgestelde Data (Use and Access) Act 2025 (DUAA), specifiek met betrekking tot "betekenisvolle menselijke betrokkenheid" en uitsluitend geautomatiseerde besluitvorming.

3. Belangrijkste Bijdragen

Het artikel levert twee primaire bijdragen:

1. Doctrinaal Juridische Analyse: Het biedt de eerste doctrinaal juridische analyse van onzekerheidsgebaseerde algoritmische interventies onder het Britse recht. Het toont aan dat formeel neutrale onzekerheidsdrempels discriminerende effecten kunnen genereren, met name onder het kader van indirecte discriminatie.
2. Vergelijkende Evaluatie van Interventies: Het betoogt dat selectieve frictie juridisch preferabel is aan selectieve onthouding. Hoewel beide risico's met zich meebrengen, behoudt frictie de toegang tot de voorspelling van het model en is het waarschijnlijker dat het voldoet aan de proportionaliteitstoets die vereist is onder de Equality Act 2010.

4. Resultaten en Analyse

4.1 Analyse van Selectieve Onthouding

• Mechanisme: Wanneer de onzekerheid hoog is, wordt de modelvoorspelling verborgen en neemt de mens een beslissing zonder AI-ondersteuning.
• Discriminatierisico: Omdat ondervertegenwoordigde groepen vaak een hogere voorspellende onzekerheid hebben (door gegevensbias), worden zij onevenredig vaak naar de "ongeassisteerde" beslissingspaden geleid.
• Juridische Bevinding: Dit creëert een procedurele asymmetrie. Aanvragers uit beschermde groepen worden geconfronteerd met langere verwerkingstijden en de variabiliteit van individuele menselijke oordeelsvorming, terwijl anderen gestandaardiseerde AI-ondersteunde beslissingen ontvangen. De auteurs stellen dat dit wordt beschouwd als indirecte discriminatie onder de Equality Act 2010. Het is moeilijk te rechtvaardigen als "proportioneel" omdat er minder discriminerende alternatieven bestaan (zoals herkalibratie of frictie) die de informatie van het model niet weggooien.
• Resultaat: Onthouding verwijdert het risico op discriminatie niet; het verschuift de last van de onzekerheid naar specifieke groepen.

4.2 Analyse van Selectieve Frictie

• Mechanisme: De modelvoorspelling wordt altijd getoond, maar bij voorspellingen met een hoge onzekerheid wordt een waarschuwing toegevoegd.
• Discriminatierisico: Het risico ligt in de manier waarop mensen de waarschuwing interpreteren. Als besluitvormers (bijv. kredietbeambten of rechters) onzekere voorspellingen systematisch overriden op een manier die correleert met beschermde kenmerken (bijv. het weigeren van leningen aan gemelde minderheden), treedt discriminatie op.
• Juridische Bevinding: Selectieve frictie is minder waarschijnlijk onrechtmatig te worden bevonden dan onthouding. Het behoudt het "AI-ondersteunde" karakter van de beslissing en voorkomt het tweesporenstelsel. Het voldoet waarschijnlijker aan de proportionaliteitseis omdat het een minder restrictief middel is om het legitieme doel van foutenreductie te bereiken. De rechtmatigheid ervan is echter afhankelijk van empirisch bewijs dat het in de praktijk de uitkomsten voor beschermde groepen niet systematisch verslechtert.
• Menselijke Betrokkenheid: Onder de voorgestelde DUAA 2025 kan frictie voldoen aan de vereiste van "betekenisvolle menselijke betrokkenheid", wat beslissingen potentieel vrijstelt van strengere waarborgen tegen geautomatiseerde besluitvorming. De auteurs waarschuwen echter dat dit kan leiden tot "tokenistische" naleving als mensen de voorspelling ondanks de waarschuwing simpelweg goedkeuren (rubber-stamping).

4.3 Casestudy Scenario's

Het artikel schetst vier scenario's voor zowel krediet als strafmaat:

1. Overeenstemming (Onzeker $\to$ Ongunstig): Mens is het eens met een onzekere negatieve voorspelling. Risico op overmatige afhankelijkheid van een bevooroordeeld model.
2. Override (Onzeker $\to$ Ongunstig): Mens overrulet een onzekere positieve voorspelling om tot een ongunstige uitkomst te komen. Geïdentificeerd als het meest problematische scenario voor discriminatie, aangezien menselijke bias een (potentieel meer neutrale) suggestie van het model kan overrulen.
3. Overeenstemming (Onzeker $\to$ Gunstig): Mens is het eens met een onzekere positieve voorspelling.
4. Override (Onzeker $\to$ Gunstig): Mens overrulet een onzekere negatieve voorspelling om tot een gunstige uitkomst te komen. Hoewel theoretisch gunstig, suggereert empirisch bewijs dat overrides niet systematisch ten goede komen aan ondervertegenwoordigde groepen.

5. Betekenis en Claims

Het artikel claimt als eerste de doctrine van het Britse recht rigoureus toe te passen op onzekerheidsgebaseerde interventies. De centrale stelling is dat technische neutraliteit (gebruik van entropiedrempels) geen juridische neutraliteit garandeert.

• Juridische Voorkeur: De auteurs concluderen dat selectieve frictie de superieure ontwerpkeuze is vanuit het oogpunt van juridische naleving, omdat het de integriteit van de mens-AI-samenwerking behoudt en de procedurele nadelen van onthouding vermijdt.
• Empirische Onzekerheid: Het artikel stelt expliciet dat of selectieve frictie in de praktijk de kwaliteit van de besluitvorming verbetert, een open empirische vraag is. Dit hangt af van de training van besluitvormers, de kalibratie van de onzekelijkheidsschattingen en de institutionele cultuur.
• Toekomstig Werk: De auteurs identificeren de noodzaak voor empirische studies naar de vraag of onzekerheidsflags verschillende override-percentages over demografische groepen heen triggeren, en technisch onderzoek naar de vraag of groepsspecifieke kalibratie de onevenredige impact van deze interventies kan beperken.

Het artikel beweert niet dat onzekerheidsgebaseerde interventies inherent onrechtmatig zijn, maar dat de implementatie ervan zorgvuldig moet worden gecontroleerd om te voorkomen dat ze de Equality Act 2010 schenden door beschermde groepen onevenredig te belasten.