In het afgelopen decennium hebben computers geleerd om kunst te maken, verhalen te schrijven en gesprekken te voeren met een vloeiendheid die ooit onmogelijk leek. Deze generatieve systemen, die afbeeldingen, tekst en video kunnen produceren op basis van eenvoudige instructies, zijn nu verweven met het weefsel van het dagelijks leven. Toch volgt er een hardnekkige schaduw bij hen naarmate deze hulpmiddelen krachtiger worden: de neiging om maatschappelijke ongelijkheden te reproduceren en te versterken. Wanneer een computer een afbeelding van een arts genereert, kiest het vaak standaard voor een man; wanneer het een verhaal over een leider schrijft, kiest het vaak een specifiek geslacht of een specifieke ras. Dit is niet louter een fout in de code, maar een reflectie van de data waarvan de machines hebben geleerd, een spiegel die wordt gehouden voor de vooroordelen uit de menselijke geschiedenis. Jarenlang hebben onderzoekers en regelgevers geprobeerd dit op te lossen door methoden te ontwikkelen om deze onrechtvaardige patronen te detecteren en te verminderen. Het doel is altijd geweest om ervoor te zorgen dat deze krachtige instrumenten alle mensen met gelijke waardigheid en nauwkeurigheid behandelen.

Echter, een nieuw perspectief suggereert dat het probleem niet het gebrek aan betere oplossingen is, maar eerder de manier waarop we meten of de oplossingen werken. Een team van onderzoekers voert aan dat het vakgebied vastzit in een cyclus van verwarring omdat de tests die gebruikt worden om eerlijkheid te beoordelen te flexibel zijn. Net zoals een liniaal van rubber verschillende metingen geeft afhankelijk van hoe je hem uitrekt, veranderen de huidige methoden voor het testen van AI-eerlijkheid hun resultaten op basis van kleine, vaak ongerapporteerde keuzes gemaakt door de onderzoekers. De ene studie kan een specifieke manier gebruiken om een vraag te stellen en concluderen dat de AI eerlijk is, terwijl een andere studie met een iets andere formulering kan concluderen dat dezelfde AI diepgaand bevooroordeeld is. Beide studies kunnen technisch correct zijn binnen hun eigen nauwe regels, maar ze vertellen het publiek en beleidsmakers toch tegenstrijdige verhalen. Deze inconsistentie maakt het onmogelijk om te weten of de technologie daadwerkelijk verbetert of dat we slechts verschillende hoeken van hetzelfde probleem zien.

De onderzoekers achter dit nieuwe werk, Mariia Vladimirova en haar collega's, gingen op zoek naar de oorzaak van waarom eerlijkheid in generatieve modellen een zo hardnekkig probleem blijft. Ze stelden niet simpelweg een nieuw algoritme voor om AI beleefder te maken; in plaats daarvan onderzochten ze het evaluatieproces zelf. Door middel van een reeks gecontroleerde experimenten toonden zij aan dat het oordeel over de vraag of een AI eerlijk of oneerlijk is, vaak volledig afhangt van het "protocol" dat wordt gebruikt om het te testen. In een opvallende demonstratie namen ze een enkele, onveranderlijke AI-modellen en testten deze tegen een raster van verschillende scenario's. Ze varieerden de manier waarop vragen werden gesteld, de stijl van de verwachte antwoorden en de instellingen die werden gebruikt om de tekst te genereren. Ze ontdekten dat hetzelfde model onder één set omstandigheden als een ernstig eerlijkheidsprobleem kon worden beoordeeld en onder een andere set als perfect gebalanceerd.

Bijvoorbeeld, wanneer de onderzoekers het model vroegen om een verhaal te schrijven over een persoon in een specifieke baan, waren de resultaten sterk gekanteld naar stereotypen. Maar wanneer ze hetzelfde model vroegen om een professionele memo over diezelfde persoon te schrijven, verdween de bias. In een andere test veranderden ze de manier waarop de computer zijn woorden selecteert, een instelling die bekend staat als het "decoding regime". Een kleine verschuiving in deze instelling, die in andere studies vaak aan het toeval of aan standaardinstellingen wordt overgelaten, was genoeg om de conclusie te laten omslaan van "bevooroordeeld" naar "onbevooroordeeld". De onderzoekers ontdekten dat deze variaties geen willekeurige ruis waren, maar systematische verschuivingen die schade konden verbergen of onthullen, afhankelijk van de keuzes van de evaluator. Dit betekent dat een bedrijf een model kan uitbrengen met een rapport waarin staat dat het eerlijk is, simpelweg omdat ze een specifieke testmethode hebben gekozen die toevallig goede resultaten liet zien, terwijl een andere methode significante problemen zou hebben onthuld.

Het artikel stelt dat dit gebrek aan standaardisatie de werkelijke flessenhals is. Het is niet dat we niet weten hoe we eerlijkere modellen moeten bouwen, maar dat we niet betrouwbaar kunnen zeggen of we zijn geslaagd. Het huidige landschap is gevuld met "ad-hoc" controles, waarbij onderzoekers een paar voorbeelden kiezen om te testen en de resultaten te rapporteren. Deze aanpak staat wat de auteurs "cherry-picking" noemen toe, waarbij een systeem er goed uitziet omdat de test is ontworpen om het er goed uit te laten zien, of waarbij een echte verbetering wordt gemist omdat de test te nauw was. Bovendien benadrukten de onderzoekers dat moderne AI-systemen vaak veiligheidslagen bevatten die bepaalde vragen weigeren te beantwoorden. Als een model weigert een vraag te beantwoorden voor bepaalde groepen mensen maar deze wel beantwoordt voor anderen, dan is dat een vorm van oneerlijkheid die "toegangsdispariteit" wordt genoemd. Toch negeren veel huidige tests deze weigeringen of behandelen ze als fouten die genegeerd moeten worden, waardoor het feit effectief wordt verborgen dat sommige mensen worden monddood gemaakt terwijl anderen wel gehoord worden.

Om dit op te lossen, stelt het team een nieuwe standaard voor genaamd een "Fairness Card" (Eerlijkheidscijfer). Stel je een voedingswaardetabel voor op een voedselverpakking, maar dan voor AI-systemen. Net zoals een voedingswaardetabel precies vertelt wat er in het voedsel zit, hoeveel suiker het bevat en hoe het is verwerkt, zou een Fairness Card elk detail vermelden over hoe de AI is getest. Het zou specifiek aangeven welke vragen zijn gesteld, hoe vaak de test is uitgevoerd, welke instellingen zijn gebruikt om de antwoorden te genereren en hoe de onderzoekers met weigeringen of veiligheidsblokkades zijn omgegaan. Dit document zou niet dicteren wat "eerlijk" betekent, maar het zou het proces van het meten van eerlijkheid transparant en reproduceerbaar maken. Als twee verschillende onderzoekers hun resultaten willen vergelijken, zouden ze precies weten hoe ze de test moeten repliceren, zodat ze zeker weten dat ze appels met appels vergelijken in plaats van appels met peren.

De onderzoekers testten dit idee door een gedetailleerde Fairness Card voor hun eigen experiment te creëren. Ze documenteerden elke variabele, van de specifieke woorden in de prompts tot de "random seeds" die de keuzes van de computer beïnvloedden. Toen ze deze details publiceerden, toonden ze aan dat hetzelfde model een breed scala aan eerlijkheidsscores kon produceren, afhankelijk van welk deel van de kaart je bekijkt. Onder één type prompt vertoonde het model een hoog percentage stereotype taalgebruik; onder een ander type was er bijna niets van te merken. Door al deze cijfers in een enkel, gestandaardiseerd formaat te presenteren, bewezen ze dat de "waarheid" over de eerlijkheid van het model niet één enkel getal is, maar een complex beeld dat pas duidelijk wordt wanneer alle variabelen zichtbaar zijn.

Deze aanpak verschuift de focus van het proberen te vinden van een perfecte, universele definitie van eerlijkheid naar het bouwen van een systeem waar de evaluatie zelf eerlijk en volledig is. De auteurs erkennen dat dit niet elk probleem zal oplossen. Ze merken op dat sommige bedrijven hun gegevens nog steeds kunnen verbergen en dat verschillende culturen verschillende ideeën kunnen hebben over wat eerlijk is. Ze argumenteren echter dat zonder een gedeeld, gedetailleerd verslag van hoe een systeem is getest, er geen vooruitgang kan worden geboekt. Het is onmogelijk om te verbeteren wat je niet consistent kunt meten, en het is onmogelijk om oplossingen te vergelijken als de spelregels constant veranderen.

Het artikel sluit af met een oproep tot actie voor onderzoekers, ontwikkelaars en regelgevers. Ze dringen aan op het feit dat telkens wanneer een nieuw AI-systeem wordt uitgebracht of er een claim wordt gemaakt over de eerlijkheid ervan, er een Fairness Card moet worden verstrekt. Dit document moet worden beschouwd als een verplicht onderdeel van de release, net als een handleiding of een gebruikersgids. Het moet de specifieere groepen mensen beschrijven die zijn getest, de exacte methoden die zijn gebruikt om vragen te stellen, en het volledige bereik van de resultaten, inclusief de slechtst denkbare scenario's. Door deze keuzes expliciet te maken, kan het vakgebied zich bewegen van vage beloften naar een toekomst waarin eerlijkheid een meetbaar, traceerbaar en verantwoord onderdeel is van hoe deze krachtige instrumenten worden gebouwd en gebruikt. Het doel is niet om alle vooroordelen te elimineren, wat misschien onmogelijk is, maar om ervoor te zorgen dat we allemaal naar hetzelfde bewijs kijken wanneer we beslissen of een systeem veilig is om te gebruiken.