Technische Samenvatting: CASHEW – Stabiliseren van Multimodale Redenering via Iteratieve Traject-aggregatie

1. Probleemstelling

Vision-language modellen (VLM's) hebben aanzienlijk succes behaald in taken op het gebied van multimodale begrip en redeneren. Hun meerstaps redeneerprocessen blijven echter fragiel en instabiel. De belangrijkste problemen zijn:

• Instabiliteit: Herhaalde bemonstering op dezelfde input leidt vaak tot uiteenlopende redeneertrajecten en inconsistente uiteindelijke voorspellingen.
• Hallucinaties: Modellen zijn gevoelig voor visuele hallucinaties, waarbij redeneerstappen niet zijn geworteld in feitelijk visueel bewijs.
• Beperkingen van huidige Test-Time Scaling: Bestaande benaderingen volgen vaak een "sample-and-select"-paradigma, waarbij meerdere onafhankelijke ketens worden gegenereerd en gedeeltelijke inzichten uit afgewezen trajecten verloren gaan. Bovendien kan het simpelweg vergroten van de redeneerlengte of het aantal bemonsteringen zonder expliciete gronding de vroege perceptiefouten eerder versterken dan corrigeren, wat ertoe leidt dat modellen "langer denken" maar niet "beter denken".

2. Methodologie

Het artikel stelt twee complementaire benaderingen voor om deze beperkingen aan te pakken: CASHEW (een inference-time framework) en CASHEW-RL (een geleerde variant).

CASHEW: Iteratief Aggregatie-framework

CASHEW behandelt redeneren als een evolutionair proces waarbij een populatie van kandidaat-trajecten iteratief wordt gesynthetiseerd en verfijnd. Het werkt in vier stadia:

1. Populatie Initialisatie: Het basis-VLM genereert een initiële populatie van $N$ kandidaat redeneertrajecten.
2. Subset Sampling: In elke iteratie wordt een willekeurige subset van gelijke trajecten gesampled als referentie-kandidaten om diversiteit te introduceren en instorting naar één enkele redeneermodus te voorkomen.
3. Visuele Verificatie: Voordat aggregatie plaatsvindt, verifieert een lichtgewicht visueel-tekst grounding-module (geïmplementeerd met Grounding DINO) claims op object- en attribuutniveau tegen de visuele input. Alleen gegronde bewijslast wordt behouden om de daaropvolgende stappen te leiden.
4. Gegronde Aggregatie: Het model synthetiseert de gesamplede trajecten en hun geverifieerde visuele bewijslast om een bijgewerkt, kwalitatief hoogwaardiger redeneertraject te genereren. Dit proces herhaalt zich voor $T$ iteraties, wat culmineert in een definitief geconsolideerd traject.

CASHEW-RL: Geleerde Aggregatie via GSPO

CASHEW-RL internaliseert het aggregatiegedrag in een enkel model via een tweetraps post-training proces:

1. Supervised Fine-Tuning (SFT): Het model wordt getraind op een gestructureerd aggregatieformaat dat drie componenten bevat: een redeneerspoor (<thought>), een set geverifieerde visuele sleutels (<visual_keys>) en het uiteindelijke antwoord (<answer>). Dit vestigt een referentiebeleid ($\pi_{ref}$) en leert het model bewijs te articuleren en outputs te formatteren.
2. Reinforcement Learning (RL) via Group Sequence Policy Optimization (GSPO): Het model wordt geoptimaliseerd met behulp van een samengestelde beloningsfunctie die drie doelstellingen balanceert:
   • Antwoord Juistheid ($R_{acc}$): Exacte overeenkomst met de grondwaarheid.
   • Kwaliteit van Bewijsselectie ($R_{key}$): Een gebalanceerde precisie-recall formulering die de selectie van relevante visuele sleutels aanmoedigt terwijl ongecontroleerde proliferatie wordt vermeden.
   • Moeilheidsgraad-bewuste Lengtepenalty ($R_{len}$): Een adaptieve straf die excessieve verbositeit ontmoedigt bij eenvoudige taken (waar hoge succespercentages worden waargenomen), terwijl flexibiliteit wordt toegestaan voor moeilijke taken.

De training maakt gebruik van een curriculum-gebaseerde mix van offline door docenten gegenereerde trajecten en on-policy trajecten, waarbij het aandeel zelfgegenereerde data geleidelijk wordt vergroot om robuustheid te verbeteren en distributieverschuiving te verminderen.

3. Belangrijkste Bijdragen

• CASHEW: Een plug-and-play inference-time framework dat multimodale redenering stabiliseert door kandidaat-trajecten iteratief te aggregeren met expliciete visuele verificatie, waardoor hallucinaties effectief worden gefilterd en redeneren wordt gegrond in bewijs.
• CASHEW-RL: Een geleerde variant die traject-aggregatie internaliseert via GSPO en een samengestelde beloning, wat het model in staat stelt om robuuste, visueel gegronde aggregatie uit te voeren met adaptieve controle over de redeneerinspanning.
• Empirische Validatie: Uitgebreide experimenten die consistente prestatieverbeteringen aantonen over diverse model-backbones en modaliteiten.

4. Experimentele Resultaten

De methoden werden geëvalueerd op 13 benchmarks die beeldbegrip, video-begrip en video-redenering dekken.

• Prestatiewinst:
  • Beeld Benchmarks: CASHEW-RL bereikte significante verbeteringen, waaronder +26,2 procentpunt op ScienceQA (Qwen3-VL-4B) en +9,1 procentpunt op EgoSchema (InternVL3.5-8B).
  • Video Benchmarks: Consistente winsten werden waargenomen over Video-MME, LongVideoBench en MVBench. Zo verbeterde CASHEW-RL de EgoSchema scores met +9,1 punten voor InternVL3.5-8B.
• Vergelijking met SOTA: CASHEW presteerde beter dan bestaande test-time scaling baselines (Self-Consistency, Self-Selector en Self-Synthesizer) over alle metrieken. Opvallend genoeg overtrof het op de MME benchmark de sterkste baseline (Self-Synthesizer) met +48,2 en +82,6 punten op respectievelijk perceptie- en cognitiescores.
• Ablatie-studies: Het verwijderen van de visuele grounding-module (Grounding DINO) leverde nog steeds verbeteringen op ten opzichte van het basis-VLM, wat aangeeft dat iteratieve aggregatie de primaire drijfveer is van prestatieverbetering, waarbij visuele grounding de betrouwbaarheid verder versterkt.
• Efficiëntie: CASHEW-RL bereikte prestaties die vergelijkbaar zijn met diepere CASHEW-configuraties met minder aggregatie-iteraties, wat wijst op een verbeterde aggregatie-efficiëntie.

5. Betekenis en Claims

Het artikel claimt dat CASHEW en CASHEW-RL een robuuste oplossing bieden voor de instabiliteit van multimodale redenering. Door over te stappen van een "sample-and-select"-paradigma naar een "iteratieve aggregatie"-paradigma, zorgen de methoden ervoor dat de consensus in redenering verankerd is in visueel bewijs. De auteurs benadrukken dat hun aanpak modellen in staat stelt om "samen te denken" in plaats van alleen maar "langer te denken", wat effectief hallucinaties mitigeert en consistentie verbetert. De integratie van visuele verificatie en adaptieve redeneerinspanning via GSPO stelt het model in staat om antwoorden te produceren die niet alleen correct zijn, maar ook gegrond in minimaal doch voldoende visueel bewijs.

6. Beperkingen

De auteurs erkennen dat het huidige werk een vaste aggregatiebudget gebruikt om gecontroleerde vergelijkingen mogelijk te maken, wat mogelijk niet optimaal is voor toepassingen met beperkte middelen waar eenvoudige voorbeelden geen uitgebreide aggregatie vereisen. Hoewel CASHEW-RL dit gedeeltelijk aanpakt door aggregatiegedrag te internaliseren, wordt een systematische studie naar adaptieve budgetallocatie geïdentificeerd als toekomstig werk.