What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
Dit artikel introduceert de "Embedded Stroop"-benchmark en de "What-Color-Is-the-Text" (WCIT)-dataset om aan te tonen dat Multimodale Grote Taalmodellen vaak lijden aan "Stroop-hallucinaties", waarbij ze onjuist antwoorden met de semantische betekenis van de tekst ingebed in een afbeelding in plaats van de werkelijke kleur van die tekst, wat onthult dat semantische leesbaarheid de visuele kleurperceptie kan overstijgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse systemen bekend als multimodale grote taalmodellen. Dit zijn digitale geesten die afbeeldingen kunnen zien en tekst kunnen lezen, en vervolgens die twee zintuigen combineren om vragen over de wereld te beantwoorden. Ze zijn opmerkelijk goed geworden in het beschrijven van een foto of het oplossen van een puzzel op basis van een afbeelding. Echter, net als mensen, zijn deze systemen niet immuun voor verwarring. Ze kunnen soms in de strik worden gelokt door wat ze zien, of nauwkeuriger gezegd, door hoe ze interpreteren wat ze zien. Een klassiek voorbeeld van deze verwarring komt van een beroemde psychologische test genaamd het Stroop-effect. In deze test wordt een persoon getoond een woord zoals "ROOD" gedrukt in blauwe inkt. Als er wordt gevraagd de kleur van de inkt te benoemen, struikelt het menselijk brein vaak omdat het automatisch het woord "ROOD" leest voordat het zich op de blauwe kleur kan concentreren. Het brein moet hard werken om de betekenis van het woord te negeren en zich alleen op de visuele kleur te concentreren. Jarenlang hebben wetenschappers zich afgevraagd of deze geavanceerde computermodellen onder dezelfde soort mentale glitch lijden wanneer ze naar afbeeldingen kijken.
Een team onderzoekers aan de Beihang Universiteit in China besloot deze vraag te testen met een nieuw experiment dat specifiek voor machines is ontworpen. Ze creëerden een benchmark genaamd "What Color Is the Text" (Welke kleur heeft de tekst), die de computer een eenvoudige maar misleidende afbeelding presenteert. In plaats van de computer een vraag te stellen in een apart tekstvak, schreven ze de vraag direct op de afbeelding zelf. Stel je een wit vierkant voor met de woorden "What color is the text?" geschreven in zwarte inkt. Binnen diezelfde afbeelding staat een ander woord, zoals "BLUE", maar dit woord is gedrukt in rode inkt. De computer krijgt de opdracht de kleur te identificeren van de inkt die gebruikt is voor het woord "BLUE". De uitdaging is dat de computer de betekenis van het woord "BLUE" moet negeren en moet rapporteren dat de inkt eigenlijk rood is. Deze opzet dwingt de machine om te kiezen tussen wat de tekst zegt en wat de ogen zien.
Toen de onderzoekers deze test uitvoerden op zestien verschillende kunstmatige intelligentiemodellen, variërend van open-source projecten tot krachtige commerciële systemen, waren de resultaten opmerkelijk. De machines faalden veel vaker dan ze slaagden. Sterker nog, wanneer de vraag direct in de afbeelding was ingebed, negeerden de modellen vaak de werkelijke kleur van de inkt en gaven simpelweg de kleur aan die in de tekst werd genoemd. Bijvoorbeeld, als het woord "GREEN" in paarse inkt was geschreven, zou het model vol vertrouwen "green" zeggen. Dit gebeurde zelfs wanneer de modellen de kleur correct konden identificeren als de vraag in een apart tekstvak werd gesteld in plaats van geschreven op de afbeelding. De studie vond dat dit specifieke type fout, waarbij de machine wordt afgeleid door de betekenis van de woorden in plaats van de visuele realiteit, voorkwam in een aanzienlijk deel van de pogingen. In sommige gevallen was meer dan de helft van de fouten gemaakt door de modellen te wijten aan deze specifieke verwarring, waarbij ze de tekst boven de kleur prioriteit gaven.
De onderzoekers wilden zeker weten dat dit niet slechts een geval was van modellen die slecht waren in het benoemen van kleuren in het algemeen. Om dit te controleren, bekeken ze een groep afbeeldingen waarbij de modellen eerder succesvol waren geweest in het correct benoemen van kleuren wanneer de vraag apart werd gesteld. Zelfs toen de modellen de kleurnamen kenden, liepen ze in de val wanneer de vraag in de afbeelding was ingebed. Dit bewees dat het probleem niet een gebrek aan vocabulaire of een simpel onvermogen om kleuren te zien was, maar een dieper probleem waarbij het vermogen van de machine om tekst te lezen het vermogen om visuele details te zien oversteeg. De studie testte ook wat er zou gebeuren als ze de tekst moeilijker leesbaar maakten. Wanneer ze de afbeelding ondersteboven draaiden of delen van de woorden afdekten met zwarte blokken, maakten de modellen minder fouten. Dit suggereert dat de verwarring voortkomt uit het vermogen van de machine om de semantische betekenis van de woorden duidelijk te lezen. Wanneer de tekst verstoord of verborgen is, vertrouwt de machine meer op de visuele kleur, en verbetert de prestatie.
Ondanks deze bevindingen merkten de onderzoekers op dat het probleem niet eenvoudig opgelost kan worden door de machine simpelweg te vertellen dat hij moet opletten. Ze probeerden de modellen speciale instructies te geven om hen te waarschuwen voor de truc, en hoewel dit het aantal keren verminderde dat de modellen in de tekst trapten, maakte het hen niet veel beter in het daadwerkelijk zien van de juiste kleur. De modellen begonnen simpelweg andere soorten fouten te maken. De studie concludeert dat huidige systemen van kunstmatige intelligentie een fundamentele zwakte hebben: wanneer visuele informatie en tekst conflicteren, wint de tekst vaak. Dit suggereert dat deze modellen de wereld niet echt "zien" op de manier waarop mensen dat doen, maar in plaats daarvan zwaar beïnvloed worden door de patronen van taal die ze hebben geleerd. Terwijl deze systemen worden ingezet in real-world situaties, zoals het lezen van verkeersborden of het identificeren van objecten in complexe omgevingen, zou deze neiging om tekst boven zicht te vertrouwen tot onbetrouwbare beslissingen kunnen leiden. Het werk dient als een duidelijke waarschuwing dat voor deze machines werkelijk robuust te worden, moeten ze leren hoe ze moeten balanceren tussen wat ze lezen en wat ze zien, in plaats van toe te staan dat één zintuig het andere volledig domineert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.