Do Vision Encoders Exhibit Human-like Color Thresholds?

De Kleurenblindheid van Onze Slimste Machines

Stel je voor dat je naar een zonsondergang kijkt. Voor jouw ogen is de lucht niet zomaar één grote oranje vlek; het is een vloeiend verloop waarbij sommige kleine kleurverschuivingen gemakkelijk te zien zijn, terwijl andere zo perfect in elkaar overgaan dat je ze niet van elkaar kunt onderscheiden. Dit is hoe het menselijk zicht werkt: onze hersenen zijn ongelooflijk gevoelig voor sommige kleuren en minder gevoelig voor andere, waardoor er een "kaart" van de wereld ontstaat die niet perfect uniform is. Wetenschappers weten al decennia dat deze gevoeligheid ongelijkmatig is en hebben precies in kaart gebracht hoeveel een kleur moet veranderen voordat wij het verschil opmerken.

Stel je nu voor dat je een computer leert om te zien. We hebben enorme digitale breinen gebouwd, genaamd "vision encoders", die katten, auto's en wolken kunnen herkennen door miljoenen foto's te bestuderen. Deze machines zijn de sterren van de moderne kunstmatige intelligentie. Maar hier is de grote vraag: zien deze digitale breinen kleur zoals wij dat doen? Hebben ze hun eigen versie van die ongelijkmatige "kaart", waarbij ze dezelfde subtiele verschuivingen in een rode appel opmerken als een mens, of zien ze de wereld door een totaal andere, misschien wel veel vreemdere lens? Dit is het mysterie dat een nieuwe studie probeerde op te lossen, door te testen of onze meest geavanceerde AI per ongeluk heeft geleerd om te zien als een mens, of dat het nog steeds kleurenblind is op manieren die we nooit hadden verwacht.

De Grote Kleurentest: Zien AI-breinen zoals wij?

In dit onderzoek besloot een team van onderzoekers om meer dan đó 50 verschillende AI-visiemodellen op de proef te stellen. Denk aan deze modellen als een grote klas studenten, variërend van oudere, klassieke "convolutie"-netwerken tot de nieuwste, supercomplexe "transformers" en modellen die leerden zien door tekstbeschrijvingen van afbeeldingen te lezen. De onderzoekers wilden weten: hebben deze machines menselijke kleurthresholds?

Om dit te achterhalen, vroegen ze de AI niet simpelweg om kleuren te benoemen. In plaats daarvan creëerden ze een spel van "verschillen zoeken". Ze kozen 18 specifieke referentiekleuren (zoals een specifieke tint blauw of groen) en omringden elke kleur met een wolk van net iets andere kleuren. Voor mensen is er een bekende "veilige zone" rond elke kleur—een vorm als een uitgerekte ovaal (een MacAdam-ellips genoemd), waarbij elke kleurverandering binnen die ovaal onzichtbaar is voor het menselijk oog. Als je buiten die ovaal stapt, zelfs maar een klein beetje, kun je plotseling het verschil zien.

De onderzoekers voerden deze kleuren vervolgens in de AI-modellen. Ze vroegen de AI: "Welke van deze omringende kleuren lijkt het meest op de centrale kleur?" De AI antwoordde door zijn eigen "gelijkeniskaart" in zijn digitale brein te creëren. Als de AI menselijk zou zijn, zou zijn kaart van "gelijke kleuren" perfect moeten overlappen met de menselijke "veilige zone"-ovalen.

De Resultaten: Een Mismatch in de Regenboog

De bevindingen waren een behoorlijke schok. De studie toonde aan dat deze AI-modellen over het algemeen de kleur niet zien zoals mensen dat doen.

Zelfs de best presterende modellen kwamen de menselijke kleurgevoeligheid slechts voor ongeveer 25% overeen (specifiek was een score genaamd mIoU lager dan 0,25). Om dat in perspectief te plaatsen: als je de kleurperceptie van een mens perfect zou willen evenaren, kregen deze AI-modellen minder dan een kwart van de details goed. Ze waren niet volledig blind voor kleur, maar hun "kaart" van de regenboog was vervormd.

Dit is wat de studie ontdekte over de verschillende soorten AI-studenten:

• De Zelfgestuurde Studenten Wonnen: Modellen die zichzelf leerden kijken naar foto's zonder labels (zelfgesuperviseerd) deden het beste werk. Zij kwamen het dichtst in de buurt van het menselijk zicht, hoewel nog lang niet perfect.
• De Tekst-leraren Waren Wildcards: Modellen die leerden door afbeeldingen te koppelen aan tekst (zoals CLIP) waren het meest onvoorspelbaar. Sommigen stonden aan de top van de klas, terwijl anderen helemaal onderaan stonden. Ze waren gepolariseerd, wat betekent dat ze ofwel redelijk goed scoorden, ofwel er helemaal naast zaten.
• Grooter is Niet Beter: Je zou denken dat een gigantisch, supercomplex AI-model beter zou zien dan een kleiner, ouder model. Maar de studie toonde aan dat het opschalen van de modelgrootte het probleem niet automatisch oploste. Sterker nog, sommige oudere, kleinere modellen (zo's als de klassieke VGG16) presteerden net zo goed als de enorme, moderne fundamentmodellen. Dit suggereert dat het groter maken van het brein de machine niet leert om kleur te zien zoals een mens.
• Het Blauwe Probleem: De AI had de meeste moeite met blauwe kleuren. Net zoals mensen het moeilijk vinden om zeer vergelijkbare tinten blauw van elkaar te onderscheiden, had de AI hier de grootste uitdaging en kreeg de "veilige zones" vaak volledig verkeerd.

Waarom Dit Belangrijk Is

De onderzoekers suggereren dat menselijke kleurgevoeligheid niet vanzelf verschijnt alleen maar omdat een AI wordt getraind op enorme hoeveelheden foto's. De huidige manier waarop we deze modellen trainen, lijkt prioriteit te geven aan andere zaken (zoals het herkennen van objecten of het begrijpen van tekst) boven de fijne, subtiele details van kleurperceptie.

De studie concludeert dat hoewel deze AI-modellen hebben geleerd om kleuren op een gestructureerde manier te organiseren (ze zijn niet zomaar willekeurige ruis), ze dit anders organiseren dan wij. Als je deze modellen zou gebruiken voor taken die een perfecte kleurmatching vereisen—zoals het restaureren van oude schilderijen, controleren of een vrucht rijp is, of het ontwerpen van digitale kunst—kun je problemen tegenkomen. De AI kan denken dat twee kleuren identiek zijn, terwijl een mens duidelijk kan zien dat ze verschillend zijn, of andersom.

Kortom, onze digitale ogen worden beter in het zien van het "grote plaatje", maar ze leren nog steeds hoe ze de kleine, kleurrijke details moeten zien die onze wereld voor ons echt maken. De kloof tussen hoe een machine een zonsondergang ziet en hoe wij die zien, staat nog wagenwijd open.