See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

Dit onderzoek toont aan dat het integreren van symbolische representaties de prestaties van Vision-Language Models in interactieve omgevingen verbetert, mits de symbolen betrouwbaar worden geëxtraheerd, aangezien perceptiekwaliteit een kritieke beperkende factor blijft.

De kern

Stel je voor dat je een zeer slimme, maar blinde assistent hebt die je helpt bij het spelen van videospelletjes. Deze assistent (een Vision-Language Model of VLM) kan prachtige beschrijvingen geven van wat hij ziet, maar hij heeft een groot probleem: hij is niet goed in het vertalen van wat hij ziet naar precieze bewegingen. Hij kan zeggen "er is een bal", maar hij weet niet precies waar die bal is of hoe hij hem moet raken.

De auteurs van dit onderzoek wilden weten: Kan we deze assistent helpen door hem niet alleen de afbeelding te geven, maar ook een "lijstje" met feitelijke gegevens?

Hier is een simpele uitleg van hun onderzoek, vol met vergelijkingen:

1. Het Probleem: De "Blindeman" die probeert te vissen

Stel je voor dat je probeert te vissen in een meer, maar je bent blind. Je kunt alleen voelen wat er in je hand zit.

• Alleen beeld (Frame-only): De assistent kijkt naar het scherm. Hij ziet een wazige vorm die op een bal lijkt, maar hij is niet zeker. Hij probeert te raden waar de bal is. Vaak mist hij de bal of slaat hij in de lucht.
• Het idee van de onderzoekers: Wat als we de assistent ook een GPS-lijstje geven? Een lijstje met de exacte coördinaten: "De bal is op punt X, de paddle (het batje) is op punt Y."

2. De Drie Manieren om te Spelen

De onderzoekers testten drie verschillende manieren om deze assistent te laten spelen in spelletjes als Pong, Breakout en Space Invaders:

• Manier A: Alleen kijken (Frame-only).
  De assistent krijgt alleen het scherm te zien. Hij moet alles zelf raden.

  • Resultaat: Hij doet het vaak slecht, vooral in complexe spelletjes. Hij raakt de bal niet goed.

• Manier B: Kijken + Perfecte GPS (Frame + Ground-Truth).
  De assistent krijgt het scherm én een lijstje met perfecte, door de computer gegenereerde gegevens over waar alles is.

  • Resultaat: Dit werkt fantastisch! De assistent wordt een super-speler. Hij weet precies waar alles is en maakt de juiste bewegingen.

• Manier C: Kijken + Zelf het GPS-lijstje maken (Frame + Self-Extracted).
  Dit is de spannende test. De assistent krijgt het scherm, maar hij moet zelf het GPS-lijstje maken door naar het scherm te kijken en de coördinaten op te schrijven. Vervolgens gebruikt hij dat lijstje om te spelen.

  • Resultaat: Hier komt de twist.
    • Als de assistent slim genoeg is om het lijstje goed te maken (zoals het model Claude-4-Sonnet), wordt hij een super-speler.
    • Als de assistent niet goed genoeg is in het lezen van het scherm (zoals GPT-4o of Gemini in complexe situaties), maakt hij fouten in het lijstje. Hij schrijft bijvoorbeeld op dat de bal links is, terwijl hij rechts is. Dit is erger dan niets doen! De assistent vertrouwt op zijn eigen foutieve lijstje en speelt dan nog slechter dan wanneer hij alleen naar het scherm keek.

3. De Grote Leerlessen (De "Aha!"-momenten)

A. De kwaliteit van de "vertaler" is cruciaal
Het hebben van een lijstje met gegevens is alleen nuttig als dat lijstje juist is.

• Vergelijking: Stel je voor dat je een blindeman een kaart geeft. Als de kaart perfect is, vindt hij zijn weg. Maar als de kaart vol fouten zit (bijv. "de brug is hier" terwijl hij daar niet is), zal hij in een ravijn vallen. Het is beter om zonder kaart te lopen en te voelen, dan met een slechte kaart.

B. Beeld is nog steeds nodig
Zelfs als je de assistent perfecte coördinaten geeft (zonder het scherm te tonen), kan hij het spel niet spelen.

• Vergelijking: Het is alsof je iemand de exacte coördinaten van een schat geeft, maar je vertelt niet wat de schat is of wat de omgeving eromheen doet. De assistent heeft het beeld nodig om te begrijpen waarom hij die coördinaten moet gebruiken. Het beeld is de "context", het lijstje is de "precisie".

C. Hoe scherper, hoe beter
De onderzoekers ontdekten dat als ze het scherm groter en scherper maakten (hogere resolutie), de assistent veel beter in staat was om het lijstje zelf te maken.

• Vergelijking: Als je door een wazig raam kijkt, zie je een vlek. Als je door een groot, schoon raam kijkt, zie je duidelijk dat het een vogel is. Een scherper beeld helpt de assistent om zijn eigen "GPS-lijstje" correct te schrijven.

4. Conclusie in het kort

Deze studie zegt eigenlijk: "Symbolische gronding" (het geven van feitelijke gegevens) is een geweldig idee, maar het werkt alleen als de robot die die gegevens verzamelt, goed genoeg is om te zien wat er aan de hand is.

Als de robot slecht ziet, is het beter om hem gewoon naar het scherm te laten kijken dan hem te laten proberen coördinaten op te schrijven. De grootste bottleneck is niet het spel zelf, maar de kwaliteit van het zien. Zolang robots niet perfect kunnen "lezen" wat ze zien, kunnen we ze niet volledig vertrouwen op hun eigen beschrijvingen van de wereld.

Kort samengevat: Geef een slimme robot een lijstje met gegevens, maar zorg eerst dat hij die gegevens ook echt goed kan aflezen van het scherm. Anders maakt hij meer fouten dan hij oplost.

Technische samenvatting

1. Probleemstelling

Vision-Language Models (VLMs) zijn uitstekend in het beschrijven van visuele scènes, maar hebben moeite om deze waarneming om te zetten in precieze, verankerde acties in interactieve omgevingen. Bestaande VLMs falen vaak bij ruimtelijke redenering in games (zoals het volgen van ballen of paddles in Atari-games), wat leidt tot het herhalen van inefficiënte acties of het niet uitvoeren van nauwkeurige controles.

De kernvraag van dit onderzoek is: Kan het aanbieden van zowel visuele frames als symbolische representaties (objectcoördinaten) de prestaties van VLMs verbeteren? En belangrijker nog: hangt dit voordeel af van de nauwkeurigheid waarmee het model die symbolen zelf uit het beeld kan extraheren?

2. Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd over drie state-of-the-art VLMs: Claude-4-Sonnet, GPT-4o en Gemini-2.5-Pro. De tests vonden plaats in verschillende omgevingen met toenemende complexiteit:

• Atari-games: Pong, Breakout en Space Invaders (varierend in objectaantal van 2-4 tot 20-50).
• Complexere omgevingen: VizDoom (3D first-person shooter) en AI2-THOR (fotorealistische embodied AI taak in een keuken).

Er werden vier verschillende pijplijnen (pipelines) vergeleken om de impact van symbolische grounding te isoleren:

1. Frame-only (F): Het model ontvangt alleen het ruwe game-frame.
2. Frame + Ground-Truth Symbols (F+S-GT): Het model ontvangt het frame én perfecte symbolische data (object-ID's en coördinaten) direct uit het game-RAM (via OCAtari). Dit dient als de theoretische bovengrens.
3. Frame + Self-Extracted Symbols (F+S-self): Het model moet eerst de symbolische informatie (coördinaten) zelf uit het frame extraheren en deze vervolgens gebruiken voor besluitvorming.
4. Symbol-Only (S-GT): Het model ontvangt alleen de perfecte coördinaten, zonder visuele context.

Evaluatiemetrics:

• Gameplay: Cumulatieve beloning (geschaald naar 0-100%).
• Detectie: F1-score en Intersection over Union (IoU) om de kwaliteit van de door het model gegenereerde symbolen te meten ten opzichte van de ground truth.

3. Belangrijkste Bevindingen en Resultaten

A. Symbolische Grounding is tweesnijdend

Het toevoegen van symbolische informatie verbetert de prestaties alleen wanneer de symbolen accuraat zijn.

• Claude-4-Sonnet: Dit model presteerde zeer goed in het zelf extraheren van symbolen (hoge F1-score van 0.715). Voor dit model leidde de "Frame + Self-Extracted Symbols" pijplijn tot aanzienlijke prestatieverbeteringen, vaak bijna gelijk aan de "Ground-Truth" bovengrens.
• GPT-4o en Gemini-2.5-Pro: Deze modellen hadden moeite met het nauwkeurig extraheren van symbolen uit complexe scènes (lage F1-scores van respectievelijk 0.124 en 0.189). Voor hen leidde het toevoegen van zelf-geëxtraheerde symbolen vaak tot verslechtering van de prestaties, vooral in complexe games zoals Space Invaders, omdat de foutieve coördinaten het redeneerproces verstoorden.

B. Visuele context is onmisbaar

De "Symbol-Only" pijplijn (zonder visueel frame) resulteerde in een instorting van de prestaties, zelfs wanneer de coördinaten perfect waren. Dit bewijst dat VLMs visuele context nodig hebben om de symbolische data te interpreteren en te vertrouwen. Symbolen alleen zijn niet voldoende; visuele grounding fungeert als een essentieel raamwerk.

C. Invloed van Resolutie en Ruis

• Resolutie: De kwaliteit van de objectdetectie is sterk afhankelijk van de invoerresolutie. Bij de native Atari-resolutie (160x210) was de detectie nauwkeurigheid laag (F1 < 0.35), wat schadelijk was. Het verhogen van de resolutie naar 1280x720 verdubbelde de F1-score (naar ~0.68) en maakte symbolische grounding effectief.
• Ruisgevoeligheid: Zelfs kleine hoeveelheden ruis in de coördinaten (simulatie van detectiefouten) leiden tot een significante daling in de spelprestaties. Bij een ruisniveau van slechts 10% (σ=0.1) daalden de scores met 30-40%.

4. Bijdragen aan het Veld

1. Systematische Evaluatie: Het paper biedt de eerste uitgebreide vergelijking van hoe VLMs presteren met verschillende combinaties van visuele en symbolische input in zero-shot settings.
2. Identificatie van de Bottleneck: Het onderzoek identificeert perceptiekwaliteit (het vermogen om nauwkeurige symbolen uit beelden te halen) als de centrale bottleneck, en niet het concept van symbolische grounding zelf.
3. Praktische Richtlijnen: Het stelt vast dat symbolische grounding alleen nuttig is voor modellen die voldoende hoge detectienauwkeurigheid bezitten of wanneer de invoerresolutie hoog genoeg is om fouten te minimaliseren.

5. Significatie en Conclusie

De studie concludeert dat het simpelweg toevoegen van symbolische data aan VLMs geen garantie is voor betere prestaties. Integendeel, als het model de symbolen niet betrouwbaar kan extraheren, introduceert dit ruis die de besluitvorming verslechtert.

De kernboodschap is dat voor het succesvol inzetten van VLMs als agenten in interactieve omgevingen, de focus moet verschuiven van het ontwerpen van complexe redeneerarchitecturen naar het verbeteren van de perceptie en symbolische extractie. Toekomstig werk moet zich richten op robuuste methoden voor het extraheren van objectcentrische representaties (bijvoorbeeld via hybride detectoren of fine-tuning van visuele modules) om de kwaliteit van de symbolische input te waarborgen. Zonder betrouwbare perceptie blijft symbolische grounding een potentieel gevaar in plaats van een voordeel.