Stars, Stripes, and Silicon: Unravelling the ChatGPT's All-American, Monochrome, Cis-centric Bias

De Digitale Echokamer: Waarom AI klinkt als een specifiek soort mens

Stel je een gigantische, digitale bibliotheek voor die bijna alles bevat wat ooit op het internet is geschreven. Stel je nu een superintelligente robotbibliothecaris voor die elk boek, elke website en elk forumbericht in die bibliotheek heeft gelezen. Deze robot "denkt" niet of "weet" dingen zoals wij dat doen; in plaats daarvan is het een meester in patroonherkenning. Het leert door op te merken welke woorden meestal op andere woorden volgen. Als je het een vraag stelt, zoekt het niet naar een feit op; het voorspelt het meest waarschijnlijke volgende woord op basis van de miljarden voorbeelden die het heeft gezien. Dit is de wereld van Large Language Models (LLM's), de technologie achter chatbots zoals ChatGPT.

De grote vraag die wetenschappers op dit moment stellen is: Wat gebeurt er als deze robotbibliothecaris slechts een heel specifiek deel van de bibliotheek heeft gelezen? Als de robot vooral leert van Amerikaanse websites geschreven door mannen, zal hij dan denken dat dit is hoe de hele wereld werkt? Dit artikel duikt in dat exacte probleem. Het onderzoekt waarom deze AI-systemen vaak bevooroordeeld, giftig of onbetrouwbaar klinken, en betoogt dat de fout niet in het "brein" van de robot zit (de code), maar in het "dieet" dat het gevoerd is (de data). Het begrijpen hiervan is cruciaal omdat we, naarmate we deze robots gaan gebruiken voor alles van het schrijven van nieuwsberichten tot het geven van medisch advies, er zeker van moeten zijn dat ze niet per ongeluk schadelijke stereotypen of leugens verspreiden.

---

De Grote Onthulling van het Papier: Het is de Data, Niet het Brein

Federico Torrielli's paper, getiteld "Stars, Stripes, and Silicon," fungeert als een detectiveverhaal dat onderzoekt waarom AI-chatbots vaak handelen als "All-American, Monochrome, Cis-centric" personages. De auteur betoogt dat het probleem niet de architectuur van de AI zelf is — de "motor" is niet kapot. In plaats daarvan draait de motor perfect op een brandstoftank die gevuld is met ongecureerde, rommelige data van het internet.

Beschouw een LLM als een papegaai die miljoenen gesprekken heeft onthouden. Als die papegaai alleen rondhangt in één specifieke buurt waar iedereen spreekt met een zwaar lokaal accent en zeer specifieke meningen heeft, zal de papegaai precies klinken als die buurt. De papegaai zal niet "bevooroordeeld" zijn omdat het een slechte vogel is; het zal bevooroordeeld zijn omdat dat alles is wat het weet. Het paper suggereert dat de huidige "groter is beter"-aanpak — simpelweg steeds meer data tegen het model aan smijten — niet de oplossing is. Sterker nog, het dataset groter maken zonder het op te schonen, is als het toevoegen van meer pagina's aan een boek dat al typefouten bevat; je eindigt gewoon met een groter boek vol typefouten.

De "Amerikaanse Vlag" in de Code

Het paper wijst op een groot probleem: de data die wordt gebruikt om deze modellen te trainen is sterk scheefgetrokken. Het is grotendeels Amerikaans Engels, grotendeels geschreven door mannen, en grotendeels afkomstig van bronnen zoals Wikipedia (waar minder dan 15% van de bijdragers vrouw is). Omdat de AI leert op basis van frequentie — hoe vaak het bepaalde woorden of ideeën ziet — versterkt het van nature de meerderheidsstem.

Stel je een plaatselijke bijeenkomst voor in een gemeentehuis waar 90% van de mensen één mening schreeuwt en 10% een andere mening fluistert. Als je een robot vraft om de vergadering samen te vatten, zal hij rapporteren dat de schreeuwende mening de enige waarheid is die bestaat. Het paper betoogt dat deze "frequentiebias" betekent dat minderheidsstandpunten worden overstemd. De AI probeert niet oneerlijk te zijn; het doet gewoon wiskunde op een dataset die niet wiskundig divers is.

Het "Waluigi-effect" en de Veiligheidsval

Het paper behandelt ook waarom deze robots soms verschrikkelijke dingen zeggen, zelfs wanneer we proberen dat te voorkomen. De auteur bespreekt een fenomeen genaamd het "Waluigi-effect". Stel je voor dat je een robot traint om een "goed persoon" te zijn (zoals Mario), maar je laat hem ook miljoenen voorbeelden zien van "slechte personen" (zoals Waluigi), puur zodat hij weet wat hij niet moet doen. Het paper sugggeert dat door een perfecte simulatie te creëren waarin de robot precies weet hoe hij slecht moet zijn, je hem per ongeluk de vrijheid kunt geven om te improviseren en dat slechte personage te worden wanneer hij wordt misleid.

Het paper merkt op dat hoewel veiligheidsfilters en menselijke feedback (RLHF) helpen om de robot onbeleefdheden te laten vermijden in normale chats, ze niet onfeilbaar zijn. Als iemand een slim verhaal of een "prompt injection" (een strikvraag) gebruikt om de robot af te leiden, kan hij een fout maken en schadelijke inhoud, racisme of toxiciteit genereren. Het paper benadrukt dat de meest effectieve manier om dit op te lossen niet alleen het plaatsen van een groter "Niet Betreden"-bord (veiligheidsfilters) is, maar het daadwerkelijk schoonmaken van de bibliotheekplanken (het cureren van de trainingsdata), zodat de robot die slechte patronen niet eens leert.

Waarom dit Er in het Echte Leven Toe Doet

Het paper waarschuwt dat als we deze problemen niet oplossen, de gevolgen kunnen doorwerken in gevaarlijke gebieden.

• Gezondheidszorg: Als een robot medisch advies geeft op basis van bevooroordeelde data, kan hij verkeerde informatie aan patiënten geven.
• Code-veiligheid: Het kan computercode schrijven die er goed uitziet, maar verborgen beveiligingslekken bevat.
• Journalistiek: Het kan helpen bij het verspreiden van nepnieuws of artikelen schrijven die professioneel klinken maar eigenlijk misleidend zijn.
• Spam: Net zoals het kan helpen bij het filteren van spam, kan het ook door kwaadwillenden worden gebruikt om slimmere, moeilijker te detecteren spam te schrijven.

De "Lawine"-waarschuwing

Ten slotte klinkt het paper een waarschuwing uit voor de toekomst, waarbij het spreekt over het "Lawine-effect". Als we nieuwe AI-modellen blijven trainen op data die content bevat die gegenereerd is door oude AI-modellen, riskeren we een feedbackloop te creëren. De AI begint te leren van zijn eigen fouten en vooroordelen, waardoor deze sterker en extremer worden met elke generatie, als een lawine die maar blijft groeien.

De auteur concludeert dat het oplossen hiervan niet alleen een taak is voor computerwetenschappers. Het vereist een gezamenlijke inspanning — mensen uit verschillende disciplines die samenwerken om betere data te cureren, eerlijkere systemen te bouwen en regels te creëren die deze krachtige instrumenten verantwoordelijk houden. Het doel is niet om de technologie te stoppen, maar om ervoor te zorgen dat het de samenleving helpt in plaats van haar te schaden.