Token Warping Helps MLLMs Look from Nearby Viewpoints

Titel: Token Warping helpt MLLMs om vanuit nabije gezichtspunten te kijken

Auteurs: Phillip Y. Lee, Chanho Park, Mingue Park, Seungwoo Yoo, Juil Koo, Minhyuk Sung (KAIST)

---

1. Het Probleem

Multimodale Large Language Models (MLLMs) presteren goed in visuele redenering, maar zijn kwetsbaar voor veranderingen in het gezichtspunt (viewpoint changes). Wanneer een model gevraagd wordt om een scène te beschrijven vanuit een ander perspectief dan de invoerafbeelding, falen ze vaak.

Bestaande oplossingen hebben beperkingen:

• Pixel-warping: Het vervormen van pixels op basis van dieptekaarten is extreem gevoelig voor kleine fouten in de dieptheschatting. Dit leidt tot ernstige geometrische vervormingen en artefacten, waardoor de semantische coherentie van de afbeelding verloren gaat.
• Generatieve methoden: Methoden die nieuwe pixels genereren (zoals diffusion-modellen) kunnen hallucineren (objecten verzinnen die er niet zijn) of bestaande objecten verliezen.
• 3D-supervisie: Het toevoegen van expliciete 3D-training helpt niet voldoende voor het simuleren van perspectiefveranderingen.

De kernvraag is: Kunnen we tokens (de semantische eenheden in Vision Transformers) in plaats van pixels vervormen om een model te helpen een scène vanuit een nieuw gezichtspunt te "visualiseren"?

2. Methodologie: Token Warping

De auteurs inspireren zich op cognitieve theorieën over mentale beelden, die suggereren dat mensen perspectiefveranderingen baseren op part-level structurele representaties (onderdelen van objecten) in plaats van holistische objecten of individuele pixels.

De voorgestelde methode, Token Warping, werkt als volgt:

1. Token als Perceptuele Atomen: In plaats van pixels te manipuleren, worden de image tokens (die elk een patch van de afbeelding vertegenwoordigen) verplaatst. Tokens zijn robuuster tegen ruis in positie-informatie dan individuele pixels.
2. Forward vs. Backward Warping:
   • Forward Warping: Projecteert tokens van de bronafbeelding naar het doelgezichtspunt. Dit resulteert vaak in een onregelmatig, verspreid rooster met gaten, wat slecht presteert bij MLLMs die getraind zijn op dichte roosters.
   • Backward Warping (De gekozen methode): Definieert een dicht, regelmatig rooster op het doelgezichtspunt en zoekt voor elk punt in dit rooster de corresponderende token op de bronafbeelding op. Dit behoudt de structuur die MLLMs nodig hebben.
3. Fetch-strategieën:
   • Nearest Fetching: Kiest de token van het dichtstbijzijnde grid-punt op de bronafbeelding.
   • Adaptive Fetching: Maakt een nieuwe patch (crop) exact gecentreerd op de berekende coördinaat.
   • Resultaat: De auteurs vinden dat Backward Warping met Nearest Fetching even goed presteert als de complexere Adaptive variant, maar met minder rekentijd.

Validatie van Robuustheid:
De auteurs tonen aan dat MLLMs zeer tolerant zijn voor kleine verschuivingen in de positie van de patches (positional noise). Zelfs als tokens worden opgehaald van lichtjes verschoven posities (wat onvermijdelijk is bij warping met onnauwkeurige dieptekaarten), blijft het model de inhoud herkennen. Dit bevestigt dat tokens een geschikt substraat zijn voor perspectiefverandering.

3. ViewBench: Een Nieuw Benchmark

Om deze hypothese te testen, hebben de auteurs ViewBench ontwikkeld, een benchmark specifiek voor ruimtelijk redeneren vanuit nabije gezichtspunten.

• Data: Gebaseerd op ScanNet-scènes met paren van afbeeldingen met een overloop van 5% tot 35%.
• Taken:
  1. View-Conditioned Spatial Reasoning: Vragen over de links-rechts relatie van objecten die veranderen na rotatie (bijv. "Is punt A links of rechts van punt B vanuit het nieuwe gezichtspunt?").
  2. Target-View Object Description: Het beschrijven van objecten zoals ze zouden lijken vanuit het nieuwe gezichtspunt.
• Metingen: Nauwkeurigheid voor redeneringstaken en een score (1-10) voor objectbeschrijvingen, geëvalueerd door een ander MLLM.

4. Resultaten

De experimenten tonen aan dat Token Warping significant beter presteert dan alle bestaande baselines:

• Superioriteit: Backward Token Warping overtreft pixel-wise warping, generatieve warping (GenWarp), en gespecialiseerde MLLMs die zijn getraind op ruimtelijke datasets (zoals SpatialReasoner en VLM-3R).
• Kwaliteit: In tegenstelling tot pixel-warping, dat vaak leidt tot vervormde objecten en verkeerde antwoorden, behoudt token-warping de semantische coherentie. Bijvoorbeeld, bij het sorteren van objecten of het beschrijven van details, geeft de token-warping methode correcte antwoorden waar pixel-methoden falen door artefacten.
• Robuustheid: De methode werkt ook goed met geschatte (niet-perfecte) dieptekaarten van bestaande modellen (zoals Depth Anything v2), wat aantoont dat het niet afhankelijk is van perfecte geometrische grondwaarheid.
• Efficiëntie: De methode vereist geen extra fine-tuning van het MLLM en voegt slechts minimale rekentijd toe tijdens inferentie.

5. Belang en Bijdrage

De belangrijkste bijdragen van dit werk zijn:

1. Paradigmaverschuiving: Het demonstreert dat het manipuleren van tokens (in plaats van pixels) een robuustere manier is om perspectiefveranderingen te simuleren in MLLMs. Dit sluit aan bij cognitieve theorieën over mentale beelden.
2. Nieuwe State-of-the-Art: Het biedt een eenvoudige, niet-generatieve techniek die momenteel de beste resultaten behaalt voor ruimtelijk redeneren vanuit nieuwe gezichtspunten, zonder de complexiteit van 3D-modellering of generatieve AI.
3. ViewBench: De introductie van een rigoureuze benchmark om de capaciteit van MLLMs om "in hun hoofd" te draaien en een scène vanuit een ander oogpunt te zien, te evalueren.
4. Praktische Toepasbaarheid: De methode is lichtgewicht, werkt met bestaande modellen en is compatibel met onnauwkeurige diepteschattingen, wat het zeer bruikbaar maakt voor robotica en autonome agents die in dynamische omgevingen moeten redeneren.

Conclusie:
Door te wippen met tokens in plaats van pixels, kunnen MLLMs betrouwbaarder redeneren over hoe een scène eruitziet vanuit een naburig gezichtspunt. Dit opent de deur voor slimme agents die niet alleen zien wat er nu is, maar ook kunnen anticiperen op wat er te zien zou zijn als ze zich zouden verplaatsen.