💻 computer science

Hidden Meanings in Plain Sight: RebusBench for Evaluating Cognitive Visual Reasoning

Dit paper introduceert RebusBench, een benchmark van 1.164 raadsels die aantoont dat huidige Large Vision-Language Models ondanks hun visuele en linguïstische vaardigheden ernstig tekortschieten in het cognitieve redeneren dat nodig is om complexe visuele aanwijzingen te vertalen naar abstracte betekenissen.

Oorspronkelijke auteurs: Seyed Amir Kasaei, Arash Marioriyad, Mahbod Khaleti, MohammadAmin Fazli, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seyed Amir Kasaei, Arash Marioriyad, Mahbod Khaleti, MohammadAmin Fazli, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "RebusBench": Waarom slimme AI's vastlopen op een raadsel

Stel je voor dat je een heel slimme robot hebt die foto's kan bekijken en beschrijven. Als je hem een foto van een hond toont, zegt hij direct: "Dat is een hond." Als je een foto van een regenboog laat zien, zegt hij: "Kijk, een regenboog." Dit noemen we zichtbare herkenning. De robot is hierin uitstekend, net als een mens die snel door een raam kijkt en ziet wat er buiten gebeurt.

Maar wat gebeurt er als je diezelfde robot een rebus laat zien?

Een rebus is een oud raadsel waarbij je woorden en plaatjes moet combineren om een geheim woord te ontdekken. Het is alsof je een puzzel oplost waarbij de oplossing niet direct op de foto staat, maar in je hoofd moet worden "gebakken".

Het Grote Probleem: De Robot is te snel

De auteurs van dit paper (uit Sharif University of Technology) hebben een nieuw testje bedacht, genaamd RebusBench. Ze hebben 1.164 van deze rebussen verzameld om te kijken of de slimste AI's van vandaag (zoals Qwen, InternVL en LLaVA) dit soort raadsels kunnen oplossen.

Het resultaat is verbazingwekkend en een beetje triest: De robots falen bijna volledig.

Zelfs de grootste, duurste en slimste modellen scoren minder dan 10% goed. Dat betekent dat als je 10 rebussen geeft, de robot er 9 verkeerd heeft. En het ergste is: het maakt niet uit hoe groot je de robot maakt. Een robot met 32 miljard "hersencellen" (parameters) doet het nauwelijks beter dan een kleinere versie. Ook als je de robot voorbeelden geeft ("Kijk, hier is een voorbeeld van hoe het werkt"), helpt dat niet echt.

Waarom lukt het ze niet? (De Analogie van de Koffie)

Om dit te begrijpen, gebruiken we een analogie:

Systeem 1 (De Automatische Barista): Stel je een barista voor die alleen doet wat hij ziet. Als hij een kopje koffie ziet, schenkt hij koffie in. Als hij een suikerpot ziet, doet hij suiker erbij. Dit is wat de AI's nu doen: ze kijken naar de pixelletjes op de foto en zeggen wat ze zien. "Ik zie een rode letter E en twee keer het woord 'GO'."
Systeem 2 (De Creatieve Chef): Om een rebus op te lossen, moet je echter niet kijken naar wat er staat, maar naar wat het betekent.
- Voorbeeld: Als je een rode 'E' ziet en twee 'GO's, moet je denken: "Rode E klinkt als 'Ready', en twee GO's zijn 'to go'." Het antwoord is dus: "Ready to go".
- De AI moet de visuele hints (kleur, positie, herhaling) koppelen aan een taalgevoel en idiomen die niet op de foto staan.

De paper stelt dat de huidige AI's de koffiebarista zijn, maar de rebus vraagt om een creatieve chef. De AI's hebben alle ingrediënten (ze kunnen lezen, ze kunnen zien), maar ze missen de "lijm" die de ingrediënten combineert tot een nieuw, abstract idee. Ze blijven hangen in de letterlijke betekenis.

Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat we niet zomaar door het vergroten van de AI's (meer rekenkracht, meer data) dit probleem oplossen. Het is alsof je een auto steeds sneller maakt, maar de bestuurder blijft vastlopen in een spagaat. De AI's hebben een fundamentele tekortkoming in abstract redeneren.

Ze kunnen goed beschrijven wat er is, maar ze zijn slecht in het bedenken van wat er bedoeld is.

Kortom:
De slimste AI's van 2026 zijn geweldig in het beschrijven van een foto, maar als je ze een raadsel geeft waarbij ze moeten "nadenken" en associëren, zakken ze door de vloer. Ze zijn nog niet zo slim als een mens die een raadsel oplost; ze zijn nog te veel een "letterlijke vertaler" en te weinig een "creatieve denker".

Deze studie is een wake-up call: we moeten AI's niet alleen groter maken, maar ze leren om te denken buiten de pixellijnen.

Probleemstelling

Grote Visueel-Taalmodellen (LVLMs) hebben aanzienlijke prestaties geboekt in expliciete visuele herkenning en het beschrijven van wat direct zichtbaar is in een afbeelding. Er is echter een kritieke cognitieve kloof wanneer visuele input slechts als aanwijzing dient en niet als het antwoord zelf. Bestaande benchmarks (zoals VQA v2, GQA, CLEVR) testen voornamelijk "referentiële grounding" (het koppelen van taal aan zichtbare objecten), wat overeenkomt met snelle, intuïtieve "Systeem 1"-verwerking.

Deze modellen worstelen met complexe, meerstaps redenering waarbij informatie niet expliciet wordt afgebeeld, maar moet worden afgeleid door visuele elementen te combineren met abstracte taalkennis (zoals idiomen). Het paper identificeert dat huidige modellen de cognitieve "lijm" missen om visuele waarneming te verweven met symbolische redenering ("Systeem 2"), wat nodig is om puzzels op te lossen die een creatieve herschikking van visuele en tekstuele elementen vereisen.

Methodologie: RebusBench

Om deze specifieke cognitieve vaardigheid te evalueren, stellen de auteurs RebusBench voor. Dit is een nieuw benchmark-dataset bestaande uit 1.164 rebus-puzzels (visuele raadsels) die zijn verzameld uit diverse bronnen en handmatig geverifieerd om ambiguïteiten te elimineren.

Kenmerken van de dataset:

Cognitieve Spectrum: De dataset dekt een continuüm van visueel-dominante puzzels (waarbij geometrische vervorming van tekst de hint is, bijv. een stukje taart uit het woord "CAKE" gesneden) tot symbolisch-dominante puzzels (waarbij afwezigheid of logische patronen de hint zijn, bijv. het ontbreken van het getal 1 in een reeks naast het woord "BLAME").
Taakdefinitie: Het is een open-ended generatieve taak. Gegeven een afbeelding $I$ , moet het model een idiomatische uitdrukking $T$ genereren. Dit vereist het onderdrukken van de letterlijke beschrijving van de afbeelding ten gunste van een abstracte interpretatie.
Vereiste vaardigheden: Het oplossen vereist het extraheren van visuele attributen (kleur, positie, grootte), het ophalen van linguïstische voorkennis (fonologie, idiomen) en het uitvoeren van abstracte mapping.

Experimenten en Evaluatie

De auteurs hebben een reeks state-of-the-art open-weight LVLMs getest, waaronder:

LLaVA-1.5 (7B)
InternVL 3.5 (4B, 8B, 30B)
Qwen 2.5 (3B, 7B, 32B)
Qwen 3 (4B, 8B)

Evaluatie-instellingen:

Prompting: Getest in One-shot en Three-shot In-Context Learning (ICL) settings.
Metrics:
1. Exact Match (EM): Een strenge metric voor exacte tekstuele overeenkomst.
2. Semantische Score: Een beoordeling door een GPT-4o "Judge" die semantische gelijkenis meet (0.0 tot 1.0) om synoniemen en variaties in formulering te accepteren.

Belangrijkste Resultaten

De resultaten tonen een alarmerend gebrek aan vermogen bij huidige modellen om abstract visueel redenering uit te voeren:

Extreem lage prestaties: Alle geteste modellen scoren onder de 10% op Exact Match (EM), ongeacht het modeltype of de grootte. Zelfs de grootste modellen (zoals Qwen 2.5-32B) halen slechts ~7-8% EM.
Geen schaalvoordeel: Het vergroten van het aantal parameters (van 4B naar 30B) levert geen significante verbetering op. Dit suggereert dat meer rekenkracht of data op zichzelf de cognitieve kloof niet overbrugt.
Ineffectiviteit van ICL: Few-shot prompting (het geven van voorbeelden) helpt nauwelijks. In sommige gevallen (zoals InternVL 3.5 4B) daalt de prestatie zelfs bij het toevoegen van meer voorbeelden.
Semantische plafond: Zelfs met de soepelere GPT-4o beoordeling, blijft de prestatie steken onder de 20% (maximaal ~0.17 score).

De conclusie is dat modellen wel de visuele en linguïstische componenten bezitten, maar falen in het "verweven" (entanglement) van deze componenten om tot een niet-literalistische betekenis te komen.

Bijdragen en Significantie

Belangrijkste bijdragen:

Introductie van RebusBench, een rigoureuze benchmark die specifiek ontworpen is om "Systeem 2"-redenering en neurosymbolische integratie te testen, in tegenstelling tot bestaande benchmarks die zich richten op oppervlakkige perceptie.
Het blootleggen van een fundamentele beperking in de architectuur van huidige LVLMs: het onvermogen om visuele waarneming te combineren met abstracte taalkennis voor creatieve inferentie.
Het aantonen dat schalen van modellen (meer parameters) en standaard prompting-strategieën (ICL) ontoereikend zijn om dit specifieke cognitieve probleem op te lossen.

Significantie voor het veld:
Dit paper biedt een kritische waarschuwing voor de gemeenschap dat "slimmer" worden (via schaling) niet automatisch leidt tot "menselijker" denken (diepe redenering). Het stelt een nieuwe standaard voor evaluatie die modellen dwingt om verder te kijken dan pixel-herkenning en zich te bezighouden met symbolische manipulatie en idioma. Het benadrukt de noodzaak van nieuwe architecturale benaderingen die expliciet gericht zijn op het versterken van de verbinding tussen visuele en conceptuele representaties.