Human-AI Perceptual Alignment by Playing Hues and Cues

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet zien, niet alleen door vormen te herkennen, maar door het gevoel van dingen te begrijpen. In de wereld van kunstmatige intelligentie is er een speciaal type brein dat een "Vision-Language Model" wordt genoemd. Denk aan deze modellen als superintelligente studenten die miljarden boeken hebben gelezen en miljarden foto's van het internet hebben bekeken. Ze zijn erg goed in zeggen: "Dat is een hond," of "Dat is een auto." Maar kunnen ze de kleur van een hond begrijpen? Kunnen ze weten dat een banaan meestal geel is, niet omdat hij in elke individuele foto fysiek geel is, maar omdat ons brein een "geheugen" heeft dat bananen geel zijn? Dit is het lastige deel: menselijke kleur gaat niet alleen over licht dat op onze ogen valt; het gaat over onze cultuur, onze herinneringen en onze gedeelde verhalen. Wetenschappers willen weten of deze AI-studenten leren zien zoals mensen, of dat ze gewoon gokken op basis van de vreemde patronen die ze in hun enorme datapileën hebben gevonden.

Om dit te ontdekken, besloot een team onderzoekers een spelletje te spelen. Ze gebruikten geen saaie grafieken of complexe wiskundige tests. In plaats daarvan gebruikten ze een bordspel genaamd "Hues and Cues". Stel je een gigantisch bord voor met 480 kleine vierkantjes, elk een net iets andere kleur, gerangschikt als een regenboogkaart. Het spel werkt als volgt: iemand zegt een woord (zoals "Banaan" of "Hoop") en jij moet naar het vierkantje op het bord wijzen dat het beste bij dat woord past. Het klinkt simpel, maar het onthult hoe onze hersenen woorden met kleuren verbinden. De onderzoekers gebruikten dit spel om 162 verschillende AI-modellen te testen, waarbij ze ze lieten meespelen met 325 echte mensen. Ze wilden zien of de "gokken" van de AI overeenkwamen met de "geheugen" van de menigte, of dat de AI verdwaald raakte in zijn eigen hoofd.

Hier is wat er gebeurde toen de robots aan tafel gingen zitten.

De Opzet: Een Digitaal Bordspel
De onderzoekers bouwden een digitale versie van het "Hues and Cues"-bord. Dit bord had 480 verschillende kleurvierkantjes, in kaart gebracht zodat ze wetenschappelijk gemeten konden worden. Ze verzamelden een enorme groep van 325 mensen die het spel speelden op hun eigen telefoon of computer. Iedere persoon kreeg de opdracht om 100 verschillende woorden te koppelen aan de beste kleur op het bord. Sommige woorden waren makkelijk en fysiek, zoals "Banaan" of "Bloed". Anderen waren lastig en abstract, zoals "Hoop", "Feminisme" of "Popcultuur".

Om er zeker van te zijn dat de AI niet afweek van het protocol, gaven de onderzoekers de modellen exact hetzelfde digitale bord. De taak van de AI was om naar een woord te kijken en de top 5 kleurvierkantjes te kiezen die volgens hen het best pasten. De onderzoekers vergeleken vervolgens de keuzes van de AI met de "Menselijke Consensus"—het gemiddelde antwoord dat door de echte mensen werd gegeven. Ze berekenden zelfs een "Menselijke Foutmarge", wat in feite is hoeveel mensen het oneens zijn met elkaar. Dit gaf hen een perfecte baseline: als een AI net zo goed is als een mens, zou hij ongeveer dezelfde hoeveelheid "fouten" moeten maken als een persoon.

De Grote Ontdekking: De "Blauwe" Crash
De resultaten waren een mix van indrukwekkende overwinningen en een zeer vreemde, systematische fout.

Eerst het goede nieuws: wanneer de woorden over echte, fysieke objecten gingen, was de AI verrassend goed. Voor concrete zaken als "Banaan", "Pompoen" of "Varken", kozen de AI-modellen vaak exact dezelfde kleuren als de mensen. Ze begrepen dat bananen geel zijn en varkens roze. Sterker nog, voor sommige van deze fysieke objecten was de AI zo precies dat hij zelfs de "geïdealiseerde" herinneringskleur koos die mensen hebben, in plaats van alleen de letterlijke kleur van een specifieke foto. Dit suggereert dat wanneer er een duidelijke, fysieke realiteit is, de AI de menselijke "vibe" kan leren.

Echter, toen het spel overging op abstracte of culturele concepten, liep de AI tegen een muur aan. Voor woorden als "Hoop", "Woede", "Feminisme" of zelfs "Tractor" (wat een specifieke culturele betekenis heeft in Spanje), begon de AI geen zin meer te maken. In plaats van een kleur te kiezen die paste bij het gevoel of de cultuur, begon de AI iets vreemds te doen: alle modellen stortten in naar één enkele, standaardkleur.

De onderzoekers ontdekten dat wanneer de AI het antwoord niet wist, hij niet willekeurig gokte. In plaats daarvan koos hij bijna altijd een specifieke tint blauw (een coördinaat die ze "I18" op het bord noemen). Het was alsocht of de hersenen van de AI kortsluiting maakten en zeiden: "Ik weet niet wat dit betekent, dus ik kies gewoon blauw." Dit gebeurde keer op keer, ongeacht of het woord "Winter", "Stitch" (uit de film) of "Axolotl" was.

Waarom gebeurde dit?
Het team zocht dieper naar de oorzaak van deze obsessie van de AI met blauw. Ze testten de modellen met "onzinwoorden"—dingen die totaal geen betekenis hebben, zoals willekeurige letters of stopwoorden zoals "de" en "en". Ze ontdekten dat ongeveer 42% van de modellen een ingebouwde bias had. Wanneer ze onzin zagen, gokten ze niet willekeurig; ze vielen terug op specifieke kleuren, vaak diezelfde blauwe kleur of soms geel.

Dit onthulde een kritiek gebrek: de AI begreep het woord "Hoop" niet echt. Het volgde slechts een patroon dat het had geleerd van zijn trainingsdata. Omdat het internet vol staat met foto's van de lucht en water (die blauw zijn), leerde de AI dat wanneer hij in de war is, "blauw" een veilige gok is. Het is alsof een student, wanneer hij het antwoord niet weet op een geschiedenisvraag, gewoon "Blauw" opschrijft omdat hij dat woord veel in zijn tekstboek heeft gezien.

De Rol van Datakwaliteit
De onderzoekers keken ook naar hoe de AI getraind was. Ze vergeleken modellen die getraind waren op enorme, rommelige stapels internetdata (zoals de LAION-dataset) met modellen die getraind waren op kleinere, zorgvuldig schoongemaakte en gecureerde datasets.

Ze ontdekten dat de rommelige, enorme datasets de AI niet echt slimmer maakten op het gebied van kleur. Sterker nog, modellen die getraind waren op de zorgvuldig gecureerde, hoogwaardige data, waren veel beter in het matchen van menselijke kleuren. De enorme omvang van de data maakte niet zoveel uit als de kwaliteit van de data. Het is als studeren voor een toets: het lezen van een miljoen willekeurige, onbewerkte blogposts kan je veel feiten geven, maar het lezen van een goed bewerkt tekstboek helpt je om de concepten beter te begrijpen. De "schone" modellen maakten minder fouten en waren minder geneigd om in die standaardblauwe kleur te crashen.

De Conclusie
Dus, wat betekent dit allemaal? Het artikel laat zien dat hoewel AI heel goed wordt in het herkennen van fysieke objecten en hun kleuren, het nog steeds worstelt met de rommelige, culturele en emotionele kant van de menselijke perceptie. Wanneer de AI in de war raakt, geeft hij niet toe dat hij het niet weet; hij valt terug op een "veilige" kleur, meestal blauw, gebaseerd op wat hij het vaakst zag in zijn trainingsdata.

De onderzoekers suggereren dat om AI echt ons te laten begrijpen, we hem niet alleen meer data kunnen voeren. We moeten hem leren om met onzekerheid om te gaan zonder vast te lopen, en we moeten betere, schonere data gebruiken om hem te helpen de subtiele, culturele regels van kleur te leren die mensen van nature volgen. Het spel "Hues and Cues" bewees dat zelfs de slimste AI-modellen nog een lange weg te gaan hebben voordat ze de wereld echt kunnen zien zoals wij dat doen.