ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models
Het artikel introduceert ROSE, een gecontroleerde benchmark die aantoont dat multimodale grote taalmodellen lijden onder een significante prestatiekloof tussen visueel tellen en context-geconditioneerde acties, wat een duidelijke bottleneck onthult in het vertalen van gedeelde visuele bewijslast naar taakspecifieke gedragingen ondanks een hoge menselijke prestatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een gigantisch rooster van 100 identieke stickers op een muur kijkt. Plotseling zie je dat er drie van hen net even anders zijn — misschien is er één ondersteboven, of heeft er een klein krasje.
Stel je nu voor dat er een robot naast je staat. Je stelt de robot drie verschillende vragen over dezelfde muur:
- De Telling: "Hoeveel vreemde stickers zijn er in totaal?"
- De Zone: "Hoeveel vreemde stickers zitten in de linkerbovenhoek?"
- De Actie: "Wijs met je vinger naar elke vreemde sticker in de linkerbovenhoek."
Volgens het paper ROSE zijn veel van de slimste AI-modellen van vandaag erg goed in de eerste twee vragen, maar verschrikkelijk in de derde. Ze kunnen de vreemde stickers perfect tellen, maar wanneer je ze vraagt om fysiek aan te wijzen waar de juiste stickers zitten op basis van een specifieke regel, raken ze in de war en wijzen ze naar de verkeerde stickers, of wijzen ze naar stickers buiten de zone.
Hier is een overzicht van wat het paper heeft ontdekt, met behulp van eenvoudige analogieën:
1. Het Probleem: "Ik zie het wel, maar ik kan er niet op handelen"
De onderzoekers noemen dit de "Perceptie-naar-Actie Kloof" (Perception-to-Action Gap).
Denk aan een AI als een zeer intelligente bibliothecaris die je direct kan vertellen hoeveel rode boeken er op een plank staan. Maar als je hen vraagt: "Ga naar de derde plank, zoek de rode boeken en haal ze eruit," kunnen ze bevriezen. Ze weten waar ze naar moeten kijken, maar ze worstelen met het vertalen van die kennis naar een specifieke, precieze actie onder een nieuwe set regels.
Het paper vond dat zelfs de beste AI-modellen (zoals GPT-5.5 of Gemini) hun prestaties aanzienlijk zien dalen wanneer ze overschakelen van alleen "tellen" naar "specifieke plekken aanklikken." Sommige modellen daalden in nauwkeurigheid met bijna 45%, puur omdat de taak veranderde van "noem het aantal" naar "toon de locatie."
2. De Test: Het "Odd-One-Out" Rasterspel
Om dit te bewijzen, bouwde het team een benchmark genaamd ROSE.
- De Opzet: Ze creëerden duizenden rasterafbeeldingen gevuld met bijna identieke items (zoals Chinese karakters die er heel erg op elkaar lijken, of emoji's die in een iets andere stijl zijn weergegeven).
- De Twist: In elke afbeelding is er een "meerderheid" item (het normale item) en een paar "uitzonderingen" (de vreemde items).
- De Uitdaging: De AI moet een spel spelen waarbij de regels elke keer veranderen, maar de afbeelding hetzelfde blijft.
- Ronde 1: Tel alle vreemde items.
- Ronde 2: Tel alleen de vreemde items binnen een specifiek kader.
- Ronde 3: Klik op de vreemde items binnen dat kader.
- Ronde 4: Klik op de vreemde items buiten dat kader.
Het is als het spelen van een spelletje "Waar is Waldo?" waarbij de regels veranderen van "Zoek Waldo" naar "Zoek Waldo alleen in de keuken" naar "Raak Waldo in de keuken aan." De afbeelding verandert niet, maar de instructies voor de AI wel.
3. De Resultaten: De "Tellen versus Klikken" Kloof
De resultaten waren verrassend:
- Mensen: Bijna perfect. Als je een mens de rasterafbeelding zou laten zien en zou vragen om te tellen, en daarna zou vragen om te klikken, zouden ze beide met bijna 100% nauwkeurigheid kunnen doen.
- AI-modellen: Ze konden meestal correct tellen (Perceptie). Maar wanneer ze werden gevraagd om de specifieke locaties aan te klikken (Actie), faalden ze vaak.
- Voorbeeld: Een model kan correct zeggen: "Er zijn 3 vreemde stickers." Maar wanneer het wordt gevraagd om de stickers in de linkerbovenhoek aan te klikken, klikt het misschien 3 stickers aan, waarvan er één eigenlijk buiten de hoek valt, of het klikt op de verkeerde 3.
Het paper laat zien dat het weten van het antwoord niet hetzelfde is als het kunnen uitvoeren van het antwoord. De AI raakt "gestrikt" op het globale beeld en vergeet de lokale regel toe te passen (zoals het specifieke kader of de uitsluitingszone).
4. Waarom gebeurt dit?
De onderzoekers hebben uitgezocht waarom de AI faalt. Het is niet alleen dat de AI slecht is in rekenen of de pixels niet kan zien.
- Het is geen formatteringsfout: De AI typt niet alleen de verkeerde woorden. De AI kiest daadwerkelijk de verkeerde coördinaten.
- Het is een "Context"-probleem: De AI heeft moeite met het nemen van een globaal begrip ("Ik zie 3 vreemde dingen") en het herkalibreren hiervan voor een specifieke context ("Maar ik wil alleen de dingen in dit blauwe kader").
- De "Verankering" (Anchoring) Fout: Soms wordt de AI "verankerd" aan het totale aantal. Als de AI ziet dat er in totaal 3 vreemde dingen zijn, en je vraagt om de dingen in een kader, kan de AI nog steeds proberen om 3 dingen aan te klikken, zelfs als er slechts 2 in het kader zitten. Het kan het oorspronkelijke aantal niet loslaten.
5. De Conclusie
Het paper concludeert dat hoewel AI erg goed wordt in het zien en beschrijven van de wereld, het nog steeds moeite heeft met het handelen in die wereld met precisie wanneer de regels veranderen.
Denk aan een bestuurder die uitstekend een rood licht kan spotten van een kilometer afstand (Perceptie), maar moeite heeft om precies op de rem te trappen wanneer het licht op rood springt, vooral als er andere auto's of borden het zicht verwarren (Actie).
De ROSE benchmark is een nieuw instrument dat ontworpen is om precies deze kloof te meten. Het helpt onderzoekers inzien dat voor AI om echt nuttig te zijn in real-world taken (zoals het klikken op knoppen op een scherm of het navigeren door een kamer), de AI beter moet worden in het nemen van wat het ziet en het omzetten in de exacte juiste beweging voor de huidige situatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.