Technische Samenvatting: ROVER

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben aanzienlijke vooruitgang geboekt in visueel-taalredenering, met name door middel van Chain-of-Thought (CoT)-paradigma's. Echter, bestaande benaderingen voor gegronde redenering met meerdere afbeeldingen staan voor structurele beperkingen:

1. Beperkingen rondom regio's: Huidige methoden voor "visuele CoT" vertrouwen vaak op het injecteren van bijgesneden Regio's van Interesse (RoI's) of RoI-specifieke kenmerken in de redeneerstream. Dit ontwerp heeft de neiging om regio's te isoleren, waardoor het holistische begrip van de scène door het model en het vermogen om inter-objectrelaties te modelleren, verzwakt worden. Bovendien schaalt de decodiekost mee met de ruimtelijke grootte en het aantal RoI's, waardoor verwerking van hoge resoluties en meerdere objecten duur wordt.
2. Uitdagingen bij adaptieve selectie: Alternatieve benaderingen die adaptieve visuele kenmerkselectie of -pruning omvatten, vereisen vaak fijne supervisie, complexe heuristieken, of zijn beperkt tot scenario's met één afbeelding, wat de schaalbaarheid voor redenering met meerdere afbeeldingen belemmert.
3. Complexiteit van tool-augmentatie: Methoden die externe tools of uitvoerbare programma's gebruiken om iteratief bewijs te verwerven, leiden vaak tot hoge latentie, complexiteit en broosheid bij uitvoering.

Er is behoefte aan een decodie-efficiënt mechanisme dat geïsoleerde regio's overstijgt om holistisch scenabegrip en het modelleren van inter-objectrelaties te faciliteren, zonder variabele lengte-decodiekosten op te leggen.

Methodologie: ROVER

De auteurs stellen ROVER (Routing Object-Centric Visual Evidence for grounded multi-image Reasoning) voor, een lichtgewicht, leerbare plugin die is ontworpen om globale visuele bewijzen te routeren tijdens autoregressieve generatie. ROVER werkt door een token-drietal met constante lengte toe te voegen aan de redeneerstream bij elke voorspelling van objectgrondering.

Kerncomponenten

1. Trigger- en Invoeginterface:

   • ROVER start de routering bij het detecteren van een geldig gronderingsgebeurtenis (bijv. <obj>...</obj><box>...</box>).
   • In plaats van variabele lengte-afbeeldingspatches in te voegen, wordt een vast Link/Sift/Weave (LSW) token-drietal ($T_k \in \mathbb{R}^{3 \times d}$) toegevoegd aan de invoegembeddingssequentie. Dit zorgt voor een constante decodiekost (3 tokens) per gegrondeerd object, onafhankelijk van de ruimtelijke grootte van het object.

2. Routeringsprimitieven (Het Token-drietal):

   • Link Token ($t_{Link}$): Absorbeert de evoluerende decodcontext en vat de huidige redeneertoestand compact samen.
   • Sift Token ($t_{Sift}$): Distilleert intra-afbeeldingsaanwijzingen. Het maakt gebruik van een Object-Centrisch Differentieel Aandacht mechanisme om complementaire context uit niet-RoI-regio's te aggregeren terwijl irrelevante afleiders worden onderdrukt.
   • Weave Token ($t_{Weave}$): Integreert geschiedenisbewijs. Het routeert en combineert relevante informatie van eerder gegrondeerde objecten over verschillende afbeeldingen heen.

3. Routeringsmodules:

   • Sift (via DiffAttn): Gegeven een object-boundingbox, berekent de module een compacte RoI-query via gemiddelde pooling. Het gebruikt vervolgens Differentieel Aandacht om de complementaire context (patches buiten de box) te bevragen terwijl afleiders worden onderdrukt. De aandachtsoperator is gedefinieerd als:
     $$\text{DiffAttn}(Q, K, V) = \left(\text{softmax}\left(\frac{Q_1 K_1^\top}{\sqrt{d_h}}\right) - \lambda \cdot \text{softmax}\left(\frac{Q_2 K_2^\top}{\sqrt{d_h}}\right)\right)V$$
     Dit stelt het model in staat scenaccontext te extraheren (bijv. verkeerslichten bij een remmende auto) zonder de volledige afbeelding opnieuw te coderen.
   • Weave (via VWS): Onderhoudt een Visuele Werkruimte (VWS), een uniforme, geschiedenis-geordende geheugen ($W_k$) die wordt gedeeld over alle routeringsgebeurtenissen. De Weave-token besteedt aandacht aan deze VWS met autoregressieve masking om historisch bewijs over objecten en afbeeldingen te integreren, wat "terugkerende fixaties" in menselijke visuele cognitie nabootst.

4. Trainingspijplijn:

   • De auteurs integreren ROVER in Qwen2.5-VL-7B en maken gebruik van een geünificeerde Interleaved SFT-naar-GRPO pijplijn.
   • Interleaved SFT: Traineert het model om nauwkeurige gronderingspatronen en taakspecifieke antwoorden te genereren, waarbij het LSW-drietal automatisch wordt ingevoegd na voltooiing van de grondering.
   • Interleaved GRPO: Gebruikt Group Relative Policy Optimization om trajectbeloningen (antwoordnauwkeurigheid) te optimaliseren, waarbij de ingevoegde routeringstokens worden uitgesloten van de verliesberekening om stabiele beleidsupdates te garanderen.

Belangrijkste Bijdragen

1. ROVER Plugin: Een lichtgewicht, leerbare mechanisme dat globale object-gecentreerde visuele bewijsroutering implementeert door een token-drietal met constante lengte toe te voegen na elke gronderingsvoorspelling, waardoor de overhead van variabele lengte-RoI-injectie wordt vermeden.
2. Nieuwe Architectuur: De introductie van een Object-Centrisch Differentieel Aandacht mechanisme om complementaire aanwijzingen te distilleren terwijl afleiders worden onderdrukt, gekoppeld aan een Visuele Werkruimte (VWS) voor geschiedenisbewuste routering over objecten en afbeeldingen.
3. Trainingskader: Een geünificeerde interleaved SFT-naar-GRPO trainingspijplijn die consistente winsten oplevert op zowel single-image als multi-image gegronde redeneringstaken onder gecontroleerde omstandigheden.

Experimentele Resultaten

De methode werd geëvalueerd op VideoEspresso (redenering met meerdere afbeeldingen) en MM-GCoT (gegronde redenering met één afbeelding), waarbij strikt werd vastgehouden aan de originele datasets en evaluatieprotocollen.

• VideoEspresso: ROVER behaalde de beste prestaties in een gecontroleerde setting, en presteerde beter dan de vorige beste baseline met +8,6% in antwoordnauwkeurigheid. Het toonde ook sterke overdraagbaarheid, waarbij het basismodel gemiddeld met +4,7% werd verbeterd over diverse benchmarks (bijv. Mantis, V-Star, TreeBench), ondanks dat het uitsluitend was gefinetuned op VideoEspresso.
• MM-GCoT: De methode behaalde state-of-the-art resultaten, met een verbetering van de antwoordnauwkeurigheid met +4,8% en de gronderingsnauwkeurigheid met +14,6% ten opzichte van de baseline.
• Efficiëntie: In vergelijking met RoI-resampling-methoden verkleinde ROVER het totale aantal outputtokens met 57,9% terwijl de redeneringskwaliteit werd verbeterd, wat superieure decod-efficiëntie aantoont.
• Ablatiestudies: Experimenten bevestigden dat Differentieel Aandacht (Sift) de gronderingsnauwkeurigheid aanzienlijk verbetert door afleiders te onderdrukken, en dat de VWS (Weave) cruciaal is voor het integreren van historisch bewijs over meerdere afbeeldingen.

Betekenis en Claims

Het artikel beweert dat ROVER de afweging tussen holistisch scenabegrip en decod-efficiëntie in gegronde redenering aanpakt. Door conceptueel aan te sluiten bij het dual-proces cognitieve kader (snelle frontend-aggregatie gevolgd door doelbewuste backend-redenering), stelt ROVER MLLM's in staat om:

• Visueel bewijs dynamisch te herbezoeken en te herorganiseren zonder de kosten van het opnieuw coderen van grote afbeeldingspatches.
• Inter-objectrelaties te modelleren en een globale context over meerdere afbeeldingen te behouden via de Visuele Werkruimte.
• Robuuste generalisatie te bereiken naar diverse multimodale domeinen (inclusief zero-shot transfer naar benchmarks zoals TreeBench en HallBench) zonder taakspecifieke finetuning of complexe externe tools.

De auteurs positioneren ROVER niet als een vervanging voor visuele perceptie, maar als een gestructureerd routeringsmechanisme dat lokale details en globale redenering met elkaar verbindt, en een schaalbare oplossing biedt voor complexe, multi-hop visuele redeneringstaken.