Identifying Harm in Personalized, Generative AI Systems Requires User-Centered Auditing at the Interaction Level

Stel je een gesprek voor met een machine die alles onthoudt wat je ooit hebt gezegd, je voorkeuren leert kennen en langzaam haar eigen persoonlijkheid vormgeeft om perfect bij jou te passen. Dit is de belofte van gepersonaliseerde generatieve kunstmatige intelligentie, een technologie die nu verschijnt in chatbots en schrijfassistenten die hun toon, stijl en advies aanpassen op basis van jouw eerdere interacties. In tegenstelling tot oudere computerprogramma's die simpelweg kiezen uit een vaste lijst met antwoorden, creëren deze nieuwe systemen volledig nieuwe reacties ter plekke, waarbij hun gedrag verandert naarmate de relatie met de gebruiker verdiept. Hoewel deze aanpassingsvermogen het gevoel geeft dat interacties relevanter zijn, introduceert het ook een verborgen gevaar: precies datgene wat het systeem voor de één behulpzaam maakt, kan voor de ander kwetsend of vervreemdend aanvoelen, en deze schade wordt vaak pas na weken of maanden van gesprekken zichtbaar, niet in een enkele test.

Onderzoekers proberen al lang problemen in kunstmatige intelligentie op te lossen door simulaties uit te voeren, waarbij ze de computer steeds opnieuw dezelfde vragen stellen om te zien of deze bevooroordeelde of beledigende antwoorden produceert. Deze methode werkt goed voor het vinden van statische fouten, zoals een kaart die altijd een specifieke stad foutief weergeeft. Echter, een nieuw artikel van Hannah Cha van Microsoft Research en Stanford University betoogt dat deze aanpak faalt in het detecteren van de werkelijke schade die optreedt in gepersonaliseerde systemen. De studie suggereert dat omdat deze machines evolueren met de gebruiker, de definitie van wat schadelijk is, in de loop van de tijd verandert en sterk varieert, zelfs tussen mensen die dezelfde achtergrond delen. De onderzoekers ontdekten dat het proberen te herstellen van dit probleem door de personalisatie nog dieper te maken, de situatie juist erger kan maken voor gemarginaliseerde groepen, waardoor zij extra werk moeten verrichten om hun pijn uit te leggen of te veel privé-informatie prijs te geven, enkel om de machine veilig te laten functioneren.

De kern van het probleem ligt in de manier waarop we schade momenteel meten. De meeste bestaande tests gaan ervan uit dat een schadelijke output een vast object is, zoals een kapot onderdeel in een auto, dat geïdentificeerd kan worden voordat de auto de weg op gaat. In de wereld van gepersonaliseerde AI betogen de onderzoekers dat schade meer lijkt op een gesprek dat misgaat. Een reactie die voor een onderzoeker in een laboratorium onschuldig lijkt, kan voor een gebruiker diep beledigend aanvoelen vanwege hun specifieke geschiedenis met het systeem. Bijvoorbeeld: een machine kan beginnen met het doen van voedingsaanbevelingen die in het begin behulpzaam lijken, maar na maanden van interactie realiseert de gebruiker zich dat de suggesties gebaseerd zijn op stereotypen over hun cultuur, waardoor een behulpzaam gebaar verandert in een microagressie. Deze vormen van schade ontstaan uit de stroom van de relatie, niet uit een enkele fout, wat betekent dat traditionele tests die naar de machine in isolatie kijken, het gevaar volledig missen.

Verder wijst het artikel erop dat huidige methoden vaak groepen mensen behandelen alsof ze allemaal hetzelfde voelen. Audits controleren vaak of een systeem "vrouwen" of "zwarte mensen" als geheel eerlijk behandelt. Maar de onderzoekers laten zien dat binnen elke enkele groep mensen verschillende levens, verschillende trauma's en verschillende grenzen hebben. Wat de één in een gemeenschap beledigend vindt, vindt een ander acceptabel, en een derde merkt het misschien niet eens op. Wanneer een systeem probeert te leren van het gemiddelde gedrag van een groep, vlakt het deze complexe verschillen vaak af tot een enkele, vereenvoudigde versie van die groep. Dit kan leiden tot een situatie waarin de machine de voorkeuren van de meest dominante stemmen in een gemeenschap leert en de rest negeert, waardoor de unieke ervaringen van degenen aan de marge effectief worden uitgewist.

De onderzoekers verkenden ook een verleidelijke oplossing: wat als de machine precies leert wat elke individuele gebruiker schadelijk vindt? Hoewel dit ideaal klinkt, betoogt het artikel dat dit een onrechtvaardige last creëert. Om een machine te leren wat pijn doet, moet een gebruiker constant blijven aanwijzen waar de fout zit, wat constante emotionele arbeid vereist. Voor mensen wiens ervaringen al afwijken van de standaardinstellingen van de machine, betekent dit dat zij het zware werk moeten verrichten om het systeem te corrigeren, terwijl anderen die in de standaard passen een soepele ervaring krijgen zonder inspanning. Daarnaast moeten gebruikers, om de machine te onderwijzen, mogelijk gevoelige details over hun identiteit of hun eerdere pijn prijsgeven, wat een privacyval creëert waarbij zij moeten kiezen tussen het verdragen van schade of het overhandigen van hun persoonlijke gegevens. Deze dynamiek riskeert de meest kwetsbare gebruikers de technologie volledig te doen mijden.

In plaats van te proberen de capaciteit van de machine om te raden wat gebruikers willen te perfectioneren, stelt het artikel voor om de focus te verleggen naar hoe we deze systemen ontwerpen. De auteur suggereert het bouwen van een infrastructuur die gebruikers in staat stelt om op te spreken over schade terwijl deze plaatsvindt, en niet pas achteraf. Dit zou inhouden dat er instrumenten zijn waarmee gebruikers een reactie als problematisch kunnen markeren en kunnen uitleggen waarom, zonder dat het systeem ervan uitgaat dat de klacht van één persoon de definitieve waarheid voor iedereen is. Cruciaal is dat zo'n systeem gebruikers ook de mogelijkheid biedt om te zien hoe anderen in hun gemeenschap soortgelijke situaties hebben geïnterpreteerd, wat hen helpt beslissen of een gedeelde uitleg resoneert met hun eigen ervaring. Het doel is om weg te bewegen van een model waarbij de machine stilzwijgend leert en de gebruiker passief ontvangt, naar een partnerschap waarbij de gebruiker de controle behoudt over hoe de machine zich aanpast.

De onderzoekers erkennen dat deze aanpak geen eenvoudige oplossing is. Het vereist het opbouwen van vertrouwen in systemen die vaak opaak zijn, en het roept moeilijke vragen op over hoe men om moet gaan met conflicterende meningen binnen een gemeenschap. Als de één zegt dat een opmerking schadelijk is en een ander zegt dat het prima is, moet het systeem in staat zijn beide waarheden vast te houden zonder één enkel antwoord op te leggen. Het artikel beweert niet dat het deze technische uitdagingen heeft opgelost, maar benadrukt dat het huidige pad van statische testen en diepe personalisatie onvoldoende is. Door te erkennen dat schade een vloeiend, evoluerend proces is dat gevormd wordt door de geschiedenis en context van de gebruiker, kunnen we beginnen met het ontwerpen van AI die de complexiteit van de menselijke ervaring respecteert in plaats van te proberen deze weg te versimpelen. De uiteindelijke bevinding is dat het beschermen van gebruikers in een gepersonaliseerde wereld vereist dat we hen een stem geven in het gesprek, in plaats van er alleen maar op te hopen dat de machine de juiste les leert op eigen houtje.