Stel je voor dat je probeert te achterhalen wat een gigantische, onzichtbare robot denkt over de wereld. Dit is geen robot die auto's bouwt of de was opvouwt; het is een "Large Language Model" (LLM), een superintelligent computerprogramma dat getraind is op bijna alles wat mensen ooit hebben geschreven. Deze modellen worden zo goed in praten dat bedrijven ze beginnen te laten fungeren als onafhankelijke agenten, die zelfstandig beslissingen nemen en met mensen communiceren. Maar hier zit de crux: we weten niet echt wat ze geloven. Hebben ze verborgen vooroordelen? Geven ze de voorkeur aan bepaalde landen of mensen boven anderen? Om dat te achterhalen, stellen wetenschappers de robot meestal duizenden willekeurige vragen en kijken ze naar de antwoorden, een beetje zoals je een vreemde een miljoen verschillende vragen stelt om hun persoonlijkheid te raden. Het probleem is dat wanneer je te veel willekeurige vragen stelt, je niet kunt zien of het antwoord van de robot kwam door een diepgewortelde overtuiging of gewoon omdat de vraag op een vreemde manier werd geformuleerd. Het is alsoast proberen de liefde van een persoon voor pizza te begrijpen door hen vragen te stellen over pizza, maar ook over hun lievelingskleur, schoenmaat en het weer allemaal door elkaar. Je krijgt veel data, maar je kunt de liefde voor pizza niet scheiden van de schoenmaat.

Dit is waar een nieuw artikel om de boel komt opruimen. De onderzoekers, Davood Wadi, Mohsen Ghodrat en Matthew Philp, besloten te stoppen met het stellen van willekeurige vragen en te beginnen met een gecontroleerd wetenschappelijk experiment. In plaats van te gissen, behandelden ze de robot als een proefpersoon in een psychologieklas. Ze gebruikten een speciale vorm van wiskunde die naar de "gedachten" van de robot kijkt nog voordat deze een woord heeft uitgesproken. Terwijl normale tests wachten tot de robot een antwoord typt (wat ruisachtig en willekeurig kan zijn), keken dit team direct naar de interne waarschijnlijkheidsscores van de robot—de exacte wiskundige kansen die het had voor het kiezen van elk mogelijk woord. Door dit te doen, konden ze de "houdingen" van de robot met perfecte precisie meten, zonder de ruis van willekeurig gokken. Ze testten deze methode op een specifiek onderwerp: "consumenten-etnocentrisme", wat in feeps betekent hoeveel een persoon (of robot) van zijn eigen land houdt en een afkeer heeft van buitenlandse landen. Ze wilden zien of robots die in verschillende landen zijn gebouwd, daadwerkelijk verschillende nationale vooroordelen hadden, en of die vooroordelen echt waren of slechts een illusie veroorzaakt door slechte testmethoden.

De Grote Robot Persoonlijkheidstest

Denk aan de oude manier van het testen van AI als een chaotisch spelletje "Pin de staart op de ezel". Je laat de robot ronddraaien, geeft hem een enorme zak met willekeurige vragen en kijkt wat hij zegt. Als de robot iets bevooroordeelds zegt, weet je dat hij bevooroordeeld is, maar je hebt geen idee waarom. Is het omdat de robot een hekel heeft aan vrouwen? Is het omdat de vraag over leiderschap ging? Of is het gewoon een toevalstreffer? De oude methode mengt al deze oorzaken door elkaar, waardoor het onmogelijk is om het verschil te zien tussen de kernpersoonlijkheid van een robot en een tijdelijke reactie op een verwarrende prompt.

De auteurs van dit artikel zeggen: "Stop met het ronddraaien van de ezel!" In plaats daarvan zetten ze een perfect georganiseerd rooster op, als een gigantische Sudoku-puzzel waarbij elk vakje een specifieke test is. Ze behandelden het experiment als een recept: ze namen elke mogelijke combinatie van "Welke Robot?" en "Welk Land wordt er gevraagd over?" en testten ze allemaal. Ze gebruikten vijf verschillende robots (uit de VS, China, Canada en Frankrijk) en vroegen hen naar vier verschillende landen. Dit "volledig gekruiste" ontwerp betekende dat ze wiskundig precies konden isoleren wat de vooroordelen veroorzaakte. Was het de robot zelf? Was het het land dat besproken werd? Of was het een vreemde mix van beide?

De Gedachten van de Robot Lezen (Zonder de Ruis)

Hier komt de coolste truc van hun methode. Meestal, wanneer we een AI een vraag stellen, kiest het een woord, dan nog een woord, en dan nog een, alsoals het dobbelstenen werpt om te beslissen wat het hierna zegt. Dit "dobbelen" (sampling genoemd) voegt veel ruis toe. Als je dezelfde vraag tien keer stelt, krijg je misschien tien licht verschillende antwoorden, en is het moeilijk te weten welk antwoord het "echte" antwoord is.

Dit artikel slaat het dobbelen volledig over. In plaats van te wachten tot de robot spreekt, keken de onderzoekers naar de interne "waarschijnlijkheidskaart" van de robot (een Probability Mass Function, of PMF genoemd). Stel je voor dat de robot een geheim dashboard heeft dat de exacte procentuele kans laat zien dat hij "1", "2", "3", enzovoort zegt voor een beoordelingsschaal van "1" tot "7". De onderzoekers wachtten niet tot de robot er één koos; ze bekeken het hele dashboard in één keer. Dit is als precies weten hoe een dobbelsteen gewogen is voordat je hem zelfs maar gooit. Door deze exacte kaart te analyseren, elimineerden ze alle willekeurige ruis. Ze konden de echte "mening" van de robot zien als een vloeiende, perfecte curve in plaats van een grillige, rommelige lijn.

De Bevindingen: Robots Hebben Nationale Identiteiten (Op een Bep certain manier)

Toen ze deze superprecieze methode toepasten op het onderwerp "houden van je eigen land", ontdekten ze enkele fascinerende zaken die de oude, rommelige methoden gemist zouden hebben.

Ten eerste ontdekten ze dat sommige robots ongelooflijk consistent zijn, terwijl andere een beetje chaotisch zijn. Bijvoorbeeld, de robot genaamd "Ministral" (uit Frankrijk) had moeite om zich aan de regels te houden en gaf vaak antwoorden die alle kanten op gingen. Maar de robots uit de VS (Llama en Gemma) en China (Qwen) waren zeer gefocust en consistent.

Ten tweede ontdekten ze dat robots inderdaad "nationale vooroordelen" lijken te hebben, maar het is ingewikkeld. De in Amerika gemaakte robots (Llama en Gemma) toonden een duidelijke voorkeur voor Noord-Amerikaanse landen (VS en Canada) en een afkeer van China. Dit is wat je "ingroup favoritisme" zou kunnen noemen. Het was echter geen simpel verhaal van "ik hou van mijn land". De Canadese robot (Aya) en de Chinese robot (Qwen) vertoonden niet hetzelfde soort sterke "hou van mijn eigen land"-vooroordeel. Sterker nog, de Chinese robot vertoonde bijna geen specifiek vooroordeel tegenover zijn eigen land in deze test, waarbij de interactie-effect nabij nul schommelde.

De belangrijkste ontdekking was echter hoe de oude methoden ons voor de gek hielden. Als je simpelweg een groot gemiddelde zou nemen van alle antwoorden (de oude manier), zou je denken dat elke robot een hekel heeft aan Frankrijk en China. Maar toen de onderzoekers hun nieuwe "exacte wiskunde"-methode gebruikten, zagen ze dat dit niet klopte. De Franse robot (Ministral) hield eigenlijk van Frankrijk! De Canadese robot (Aya) hield eigenlijk van China! De oude methode had deze specifieke, positieve gevoelens verborgen omdat deze werden vermengd met de negatieve gevoelens van de andere robots. De nieuwe methode pelde de lagen af en liet zien dat vooroordelen niet een "one-size-fits-all" ding zijn; het hangt er volledig vanaf welke robot je test en precies wat je vraat.

Waarom Dit Belangrijk Is

Het artikel toonde ook aan dat de oude manier van testen gevaarlijk onbetrouwbaar is. Omdat van het willekeurige "dobbelen", krijgen de oude methoden vaak de richting van het vooroordeel verkeerd. Soms denken ze dat een robot positief is terwijl hij eigenlijk negatief is, gewoon door willekeurige ruis. De auteurs berekenden dat met de oude methoden er een redelijke kans is dat de richting van het vooroordeel (het teken) per toeval wordt omgedraaid. Hun nieuwe methode, die naar de exacte wiskunde binnen de robot kijkt, maakt deze fout nooit.

Kortom, dit artikel betoogt dat als we willen begrijpen wat deze krachtige AI-agenten echt denken, we moeten stoppen met ze te behandelen als zwarte dozen die willekeurige tekst uitspugen. We moeten ze behandelen als wetenschappelijke instrumenten, waarbij we naar hun interne wiskunde kijken om hun ware waarden te zien. Door dit te doen, kunnen we eindelijk de echte persoonlijkheid van de robot scheiden van de ruis van de test, zodat we zeker weten wat voor vooroordelen ze met zich meebrengen wanneer we deze agenten in de echte wereld inzetten.