Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

Probleemstelling

Visuele-taalmodellen (VLMs) zoals CLIP, BLIP en LLaVA presteren uitstekend in taken zoals beeldbeschrijving en beeldtekst-retrieval. Ze falen echter consequent bij compositional reasoning (compositional redenering). Dit is het vermogen om de structurele relatie tussen woorden te begrijpen, zelfs als de inhoudelijke woorden identiek zijn.

Een klassiek voorbeeld is het onderscheid tussen "De hond jaagt de kat na" en "De kat jaagt de hond na". Beide zinnen bevatten dezelfde woorden, maar de roltoewijzing (agent-patiënt) is omgekeerd. Bestaande VLMs, die vaak vertrouwen op "bag-of-words"-statistieken, geven vaak vergelijkbare scores voor beide zinnen bij een afbeelding, waardoor ze dit fundamentele test falen. De Winoground-benchmark operationaliseert dit probleem met 400 zorgvuldig samengestelde paren van afbeeldingen en teksten die alleen verschillen in hun relationele structuur.

Methodologie

De auteurs stellen een unificerend evaluatie- en augmentatieramenwerk voor dat vier architecturaal verschillende VLMs test: CLIP, BLIP, LLaVA en Qwen3-VL-8B-Thinking. De aanpak bestaat uit drie kerncomponenten:

1. TextSceneGraphParser (TSGP):

   • Een parser gebaseerd op spaCy die zinnen omzet in een afhankelijkheidsboom.
   • Deze extraheert subject-relatie-object (SVO) triples uit vijf syntactische constructies: SVO, prepositioneel, existentieel, koppelwerkwoord en bezitsrelaties.
   • Het resultaat is een tekstuele scene graph $G(c) = \{\langle s_k, r_k, o_k \rangle\}$ per caption.

2. Graph Asymmetry Scorer:

   • Een mechanisme om structurele asymmetrie te kwantificeren, specifiek gericht op het omkeren van agent-patiënt rollen.
   • Het berekent een asymmetrie-score $A(t_a, t_b)$ tussen triples door de cosine-afstand tussen de embedding van het subject van de ene triple en het object van de andere (en vice versa) te vergelijken.
   • Via het Hungariaanse algoritme (optimale bipartiete matching) wordt een totale score $\Delta_{SG}$ berekend voor de volledige grafieken.

3. Augmentatiestrategieën (Inference-Time):

   • Additieve augmentatie (voor CLIP, BLIP, Qwen3): De $\Delta_{SG}$-score wordt als een prior toegevoegd aan de basisscore van het model: $s_{SG} = s_{base} + \lambda \cdot \Delta_{SG}$.
   • Prompt-injectie (voor generatieve modellen zoals LLaVA): De geëxtraheerde triples worden direct in de prompt opgenomen om het model te instrueren om te letten op de structuur.
   • Multi-turn SG Filtering (voorgesteld voor Qwen3): Een tweestapsproces:
     • Ronde 1: Het model genereert een visueel relevante subset van de triples via greedy decoding (filteren van ruis).
     • Ronde 2: De gefilterde triples worden gebruikt voor de definitieve match-query. Dit vermindert de impact van parserfouten en irrelevante informatie.

Belangrijkste Bijdragen

1. Unificerend Framework: Een gestandaardiseerde evaluatie van vier verschillende VLM-architecturen op de Winoground-benchmark.
2. TextSceneGraphParser: Een robuuste parser die diverse syntactische constructies afhandelt zonder visuele scene-graph-generatie nodig te hebben.
3. Graph Asymmetry Scorer: Een wiskundig onderbouwde methode om relationele omkeringen te detecteren via optimaal bipartiet matchen.
4. Ablatiestudie: Systematische experimenten waarbij onderwerpen en objecten in captions worden gemaskeerd of geswapped, wat inzicht geeft in de afhankelijkheid van modellen van entiteitsidentiteit versus relationele syntaxis.
5. Nieuwe State-of-the-Art: Een multi-turn strategie die een nieuwe open-source prestatiehoogte bereikt zonder hertraining.

Resultaten

• Prestaties: Het Qwen3-VL-8B-Thinking model presteert al aanzienlijk beter dan encoder-based modellen met een groepsscore van 62,8%.
• Augmentatie-effect:
  • Voor zwakkere modellen (CLIP, BLIP) levert de SG-augmentatie verwaarloosbare of zelfs negatieve winst op, omdat hun basiscompositionaliteit te zwak is om het signaal te benutten.
  • Voor LLaVA leidt prompt-injectie tot een prestatiedaling (van 27,5% naar 20,3%), wat wijst op een "over-specification" falen waarbij het model te veel vertrouwt op de gepromptte tekst in plaats van visuele bewijzen.
  • Voor Qwen3-VL werkt de Multi-turn SG filtering uitstekend. De score stijgt van 62,8% (plain) naar 66,0% met de gefilterde strategie.
• Vergelijking: De score van 66,0% verslaat de vorige open-source state-of-the-art (SCRAMBLe-Molmo-7B met 54,8%) met 11,2 punten, en benadert menselijke prestaties (85,5%) zonder enige vorm van hertraining (fine-tuning).

Significantie en Conclusie

Het paper demonstreert dat inference-time structurele redenering een krachtig alternatief is voor training-time preference tuning, mits het basismodel voldoende capaciteit heeft om visuele en structurele prioren te integreren.

• Capaciteit-Augmentatie Trade-off: Structuurpriors helpen alleen modellen die al een redelijke visuele grondslag hebben. Ze kunnen zwakkere modellen niet redden en kunnen sterke generatieve modellen verstoren als ze niet correct worden geïntegreerd (zoals bij LLaVA's prompt-injectie).
• Gestructureerde Zelfconsistentie: De multi-turn aanpak wordt gepresenteerd als een vorm van "structured self-consistency", waarbij het model eerst relevante relaties filtert voordat het een definitieve beslissing neemt. Dit reduceert ruis en optimaliseert de inferentie-rekenkracht.
• Diagnostisch Hulpmiddel: De voorgestelde ablatie-experimenten (masking/swapping) bieden een reproduceerbaar protocol om te voorspellen of een nieuw VLM baat zal hebben bij structurele augmentatie.

Samenvattend toont dit werk aan dat het combineren van tekstuele scene graphs met een slimme, multi-turn inferentie-aanpak de compositional redenering van open-source VLMs aanzienlijk kan verbeteren, zonder de kosten van hertraining.