Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs

1. Het Probleem

Multimodale Taalmodellen (MLLM's) worden steeds vaker gecombineerd met visuele hulpmiddelen (zoals diepteclassificatie, optische stroming, en visuele correspondentie) om visuele redenering te verbeteren. Ondanks dat deze modellen toegang hebben tot de gegenereerde visuele aanwijzingen, presteren ze vaak slecht.

De kern van het probleem is een representatiemismatch:

• Huidige aanpak: Ruwe tool-uitvoer (bijv. dieptekaarten of optische stromingsvectoren) wordt direct aan het MLLM aangeboden als dichte, pixel-niveau tokens.
• Het gevolg: Deze dichte, numerieke data sluit niet aan bij de "taal-native" redeneerkracht van Large Language Models (LLM's). Het model negeert vaak de visuele informatie en leunt in plaats daarvan op taalkundige aannames (priors), wat leidt tot een gebrek aan visuele gronding (perceptie). Zelfs met accurate tools blijven MLLM's falen in taken die visuele interpretatie vereisen.

2. Methodologie: Perception Programs (P2)

De auteurs introduceren Perception Programs (P2), een trainingsvrije, model-agnostische methode die ruwe tool-uitvoer herschrijft naar compacte, gestructureerde, taal-native samenvattingen. In plaats van pixels te tonen, worden visuele aanwijzingen vertaald naar een leesbaar formaat voor het taalmodel.

Kernprincipes van P2:

• Symbolische Samenvatting: P2 vertaalt visuele data naar een gestructureerd formaat (YAML-achtig) dat beschrijft: wat er waar is (het perceptuele signaal), waar het zich bevindt (ruimtelijke verankering), en hoe delen met elkaar relateerend zijn.
• Constructie:
  1. Het visuele domein wordt opgedeeld in primitieven (bijv. een rooster van patches).
  2. Voor elke primitief wordt een "read-out" gegenereerd (bijv. de gemiddelde diepte, de richting van de stroming, of een match-score).
  3. Relaties tussen primitieven worden als symbolische triples weergegeven (bijv. "A is voor B", "links van").
• Toepassing op Modaliteiten:
  • Diepte: Een rooster van patches met min/max dieptewaarden en relaties zoals "voor/in-front-of".
  • Optische Stroming: Gemiddelde horizontale beweging per patch (links/rechts).
  • Visuele Correspondentie: Genormaliseerde coördinaten van matchende punten.
  • Objectdetectie: Lijsten van objecten met coördinaten en betrouwbaarheidsscores.

Voordelen:

• Geen finetuning of architecturale wijzigingen nodig.
• Geen extra tool-calls tijdens inferentie.
• Werkt als een "plug-and-play" module voor elke bestaande MLLM.

3. Belangrijkste Bijdragen

1. Unificatie van Representatie: P2 biedt een uniek raamwerk dat visuele tool-uitvoer omzet in een taal-native formaat dat door MLLM's direct kan worden "gelezen" en geredeneerd, in plaats van geïnterpreteerd via dichte pixels.
2. Uitgebreide Evaluatie: De methode is getest op zes perceptie-gerichte taken binnen de BLINK-benchmark (waaronder multi-view redenering, relatieve diepte, en objectlocalisatie).
3. Analyse van Bottlenecks: Het paper demonstreert dat de beperking niet ligt in het aantal tool-calls of de grootte van het model, maar puur in de representatie van de visuele informatie. Zelfs geavanceerde modellen zoals GPT-5 Mini falen bij ruwe tool-uitvoer, maar slagen met P2.

4. Resultaten

De resultaten tonen aanzienlijke verbeteringen ten opzichte van zowel standaard MLLM's als modellen die ruwe tool-uitvoer ontvangen:

• GPT-5 Mini:
  • Multi-view redenering: Van 41,35% naar 86,47%.
  • Relatieve diepte: Van 52,42% naar 81,45%.
  • Totale verbetering: +19,66% gemiddeld over alle taken.
• Kleinere Open-Source Modellen:
  • Modellen zoals InternVL3.5-4B en Qwen3VL-4B laten een absolute verbetering van 21-25% zien ten opzichte van tool-varianten die op pixel-niveau werken.
  • Deze modellen presteren met P2 vaak beter dan eerdere state-of-the-art methoden die gebruikmaken van geavanceerde agent-architecturen of reinforcement learning.
• Vergelijking met SOTA: P2 overtreft bestaande methoden zoals Visual Sketchpad, MMFactory, en Thyme op bijna alle taken, vaak met een aanzienlijke marge, zonder dat er extra training nodig is.

5. Betekenis en Conclusie

Het paper stelt een fundamentele verschuiving voor in hoe MLLM's visuele hulpmiddelen gebruiken. De belangrijkste inzichten zijn:

• Representatie is cruciaal: Het toevoegen van meer tools of grotere modellen lost het probleem van visuele onderbenutting niet op; het is de manier waarop de informatie wordt gepresenteerd die telt.
• Taal-native Redenering: Door visuele cues te vertalen naar een taalformaat dat past bij de native redeneerkracht van LLM's, kunnen deze modellen visuele informatie betrouwbaar "lezen" in plaats van erop te gokken.
• Efficiëntie: P2 is niet alleen effectiever, maar ook efficiënter (minder tokens per sample) dan methoden die proberen visuele redenering via code-generatie of complexe agent-workflows te simuleren.

Kortom, Perception Programs bieden een eenvoudige, krachtige interface tussen visuele perceptie en taalredenering, waardoor bestaande MLLM's direct kunnen worden verbeterd tot state-of-the-art prestaties op visuele taken.