Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI
Dit artikel bekritiseert de benadering van de EU AI Act met betrekking tot automatisering-bias, waarbij wordt betoogd dat de huidige focus op het verplichten van door aanbieders gestuurde bewustwording, in plaats van het direct reguleren van ontwerp en context, onvoldoende is, en stelt geharmoniseerde standaarden voor die gebaseerd zijn op empirisch onderzoek om gedeelde verantwoordelijkheid tussen aanbieders en gebruikers te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Plaatje: Het "Human in the Loop"-probleem
Stel je voor dat je in een auto rijdt met een zeer geavanceerde autopilot. De wet zegt dat je je handen aan het stuur moet houden en klaar moet zijn om over te nemen als de auto een fout maakt. Dit is wat de Europese Unie de AI Act "menselijk toezicht" noemt.
De auteurs van dit artikel wijzen echter op een gevaarlijke glitch in de menselijke psychologie genaamd Automation Bias (automatisering-bias). Dit is als een passagier die de GPS zo erg vertrouwt dat hij niet meer naar de weg kijkt, zelfs niet wanneer de GPS hem een meer in leidt. Mensen hebben de natuurlijke neiging om te veel op machines te vertrouwen, uitgaande van de veronderstelling dat de machine altijd gelijk heeft en hun eigen oordeel onjuist is.
De AI Act is de eerste wet die dit probleem expliciet benoemt. De wet stelt dat bedrijven die deze AI-systemen bouwen, ervoor moeten zorgen dat de mensen die toezicht houden zich bewust zijn van het feit dat ze te veel vertrouwen kunnen hebben in de machine.
Het Hoofdprobleem: Wie is Verantwoordelijk voor de "Glitch"?
Het artikel betoogt dat er een mismatch in de wet zit, vergelijkbaar met een bouwbedrijf dat de architect vertelt de architect moet oplossen wat alleen de bouwer kan oplossen.
- De Architect (De AI-aanbieder): De wet vertelt het bedrijf dat de AI bouwt, om ervoor te zorgen dat de menselijke operator zich bewust is van het risico op overmatig vertrouwen in de machine. Zij moeten het systeem zo ontwerpen dat de mens alert blijft.
- De Bouwer (De AI-gebruiker/deployer): Dit is het bedrijf of de persoon die de AI daadwerkelijk gebruikt (bijv. een ziekenhuis dat AI gebruikt om patiënten te diagnosticeren, of een bank die het gebruikt om leningen goed te keuren).
De Mismatch: Het artikel legt uit dat "Automation Bias" niet alleen wordt veroorzaakt door het ontwerp van de machine. Het wordt ook veroorzaakt door de omgeving. Is de menselijke operator moe? Staan ze onder te veel druk? Is het kantoor luidruchtig? Is de training die ze hebben gekregen goed?
- De Architect (Aanbieder) kan niet controleren hoe moe de werknemers van de Bouwer (Gebruiker) zijn.
- De Bouwer (Gebruiker) controleert de werkomgeving, de training en de werkdruk.
De auteurs stellen dat het onrechtvaardig is om alleen de Architect de schuld te geven van een probleem dat plaatsvindt op de werkplek van de Bouwer. Beide partijen moeten verantwoordelijk zijn voor het alert houden van de menselijke operator.
De "Bewustzijn"-val: Kun je Bewijzen dat Iemand "Bewust" was?
De wet vereist dat mensen "bewust" worden gemaakt van hun bias. De auteurs stellen een lastige juridische vraag: Hoe bewijs je in de rechtszaal dat iemand niet bewust was?
- Het "Gedachtenlezen"-probleem: Je kunt niet in iemands brein kijken om te zien of diegene dacht: "Ik moet dit even dubbelchecken."
- Het "Ground Truth"-probleem: Om te weten of een mens een bevooroordeelde fout heeft gemaakt, moet je weten wat het "juiste" antwoord is. Maar in veel gevallen (zoals bij wervingsbeslissingen of juridische uitspraken) is er niet één enkel "juist" antwoord waar iedereen het over eens is. Als een AI zegt: "Neem deze persoon aan," en een mens zegt: "Nee," wie heeft er dan gelijk? Als de mens "Ja" zegt omdat hij blindelings de AI vertrouwde, hoe bewijs je dan dat hij bevooroordeeld was, tenzij je de werkelijke waarheid weet, die mogelijk niet eens bestaat?
Vanwege dit alles suggereert het artikel dat het bewijzen van een overtreding van deze wet erg moeilijk zal zijn. Het zal waarschijnlijk afhangen van deskundigen (psychologen) die getuigen over de vraag of het systeem zo is ontworpen dat het bias in de hand werkt, in plaats van alleen te kijken naar een enkele slechte beslissing.
Het Risico op "Overcorrectie"
De auteurs waarschuwen ook voor een bijeffect. Als we mensen vertellen: "Vertrouw de AI niet!", kunnen ze de andere kant op doorslaan.
- De Analogie: Stel je voor dat een leraar een leerling vertelt: "Vertrouw je rekenmachine niet." De leerling kan dan juist de rekenmachine gaan negeren, zelfs als deze het goed heeft, en zelf de sommen gaan maken en daarbij fouten maken.
- Dit wordt Algorithm Aversion (algoritme-aversie) genoemd. Als mensen overcorrigeren en de AI te veel negeren, verliezen ze de voordelen van de technologie. De wet richt zich momenteel alleen op het risico van te veel vertrouwen in de AI, maar kan onbedoeld een nieuwe bias creëren waarbij mensen de AI juist te veel wantrouwen.
De "Loophole" in de Regels
Het artikel wijst op een sluiproute. De AI Act heeft een lijst van "hoog-risico" systemen die aan deze strikte regels moeten voldoen. Er is echter een regel die zegt: "Als de AI slechts een mens helpt en deze niet vervangt, is het misschien geen 'hoog-risico'."
De auteurs stellen dat dit gevaarlijk is. Zelfs als een AI alleen maar "helpt", kunnen mensen nog steeds blindelings het advies opvolgen (Automation Bias). Door bedrijven zelf te laten beslissen of hun AI "hoog-risico" is, kan de wet gevaarlijke situaties door de mazen van het net laten glippen waarbij mensen nog steeds te veel op machines vertrouwen, zonder dat er iemand op toezicht houdt.
De Oplossing: Kijk naar de Wetenschap, Niet Alleen naar de Wet
De auteurs concluderen dat de wet momenteel te vaag is en leunt op een enkel psychologisch concept (Automation Bias) zonder uit te leggen hoe het opgelost moet worden.
Zij stellen een oplossing voor: Geharmoniseerde Standaarden.
Beschouw deze standaarden als de "instructiehandleidingen" die de wet vereist. De auteurs suggereren dat deze handleidingen:
- Verwijzen naar de nieuwste wetenschap: In plaats van alleen te zeggen "wees bewust", zouden de regels moeten zeggen: "Volg het huidige beste onderzoek naar hoe mensen met AI interageren."
- Alle biases bevatten: Focus niet alleen op het te veel vertrouwen van de AI; kijk naar alle manieren waarop mensen fouten maken met technologie.
- Iedereen verantwoordelijk houden: Zowel de mensen die de AI bouwen als de mensen die de AI gebruiken, moeten verantwoordelijk zijn voor het feit dat de menselijke operator scherp blijft.
Samenvatting
Het artikel is een waarschuwing dat de nieuwe AI-wet van de EU probeert een menselijk psychologisch probleem op te lossen (het te veel vertrouwen in machines), maar nog niet precies heeft uitgezocht wie verantwoordelijk is voor het oplossen ervan of hoe te bewijzen dat het is opgelost. De auteurs willen dat de wet flexibeler is, gebaseerd op echt wetenschappelijk onderzoek, en dat zij zowel de makers als de gebruikers van AI de verantwoordelijkheid geven om de mens in controle te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.