Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

Technische Samenvatting: Self-Questioning Vision-Language Modellen

Probleemstelling
Vision-Language Modellen (VLM's) blinken uit in directe patroonherkenningsopdrachten, zoals objectidentificatie of scènebeschrijving, maar hebben moeite met compositionele visuele redenering. Dit zijn meerstaps-problemen die het koppelen van tussenliggende operaties vereisen—bijvoorbeeld het lokaliseren van meerdere objecten, het tellen ervan en het vergelijken van de resultaten. Bestaande benaderingen om dit redeneervermogen te verbeteren, leunen zwaar op door mensen geannoteerde stapsgewijze verklaringen (bijv. Chain-of-Thought prompting of Supervised Fine-Tuning), die duur zijn om te creëren en moeilijk op te schalen. Bovendien zijn visuele programmeerbenaderingen afhankelijk van vooraf gedefinieerde toolbibliotheken, wat de generalisatie naar nieuwe vraagtypen beperkt. De kernuitdaging is het in staat stellen van VLM's om tussenliggende redeneerstappen te ontdekken en te gebruiken zonder expliciete menselijke demonstraties.

Methodologie
De auteurs stellen een self-questioning framework voor, getraind via Group Relative Policy Optimization (GRPO), een reinforcement learning (RL) algoritme. Het framework werkt als volgt:

• Modelarchitectuur: De studie maakt gebruik van Qwen2.5-VL-3B-Instruct, een vision-language model met 3 miljard parameters. Om de training haalbaar te maken op beperkte hardware, gebruiken de auteurs Low-Rank Adaptation (LoRA), waarbij minder dan 1% van de parameters wordt bijgewerkt terwijl de originele gewichten bevroren blijven.
• Trainingsdoel: In tegenstelling tot standaard RL, dat alleen de uiteindelijke antwoorden beloont, dwingt dit framework een gestructureerde output-formaat af. Het model wordt geprompt om een sequentie van <sub-question> en <sub-answer> paren te genereren voordat het een <final-answer> produceert.
• Beloningsfunctie: Het beloningssignaal is binair en strikt. Een voltooiing van het model ontvangt een beloning van +1.0 als het aan twee voorwaarden voldoet: (1) het houdt zich strikt aan het sub-vraag/antwoord formaat (bevatten van ten minste één paar), en (2) het uiteindelijke antwoord komt overeen met de grondwaarheid (ground truth). Anders ontvangt het -1.0.
• Geen menselijke demonstraties: Cruciaal is dat het model nooit voorbeelden te zien krijgt van hoe vragen te ontleden. Het gedrag om complexe queries op te splitsen in sub-vragen moet uitsluitend voortkomen uit het beloningssignaal dat het formaat en de correctheid stimuleert.
• Baseline Vergelijking: Om het effect van het self-questioning formaat te isoleren van algemene RL-voordelen, trainen de auteurs een Direct+GRPO baseline. Dit model gebruikt hetzelfde GRPO-algoritme en dezelfde datasets, maar wordt geprompt om alleen een direct antwoord te geven, met een beloningsfunctie die alleen de correctheid en beknoptheid van het antwoord controleert.

Belangrijkste Bijdragen

1. Emergent Decomposition: Het paper demonstreert dat een VLM kan leren om compositionele visuele vragen te ontleden in sub-vraag–antwoord paren, volledig door middel van reinforcement learning, zonder menselijk geschreven redeneersporen.
2. Eerste toepassing van GRPO op VLM's: Dit werk is de eerste toepassing van Group Relative Policy Optimization (GRPO) op een vision-language model voor compositionele redenering, waarbij de methode is aangepast van tekst-only LLM's (zoals DeepSeek-R1) naar de multimodale setting.
3. Belonen van Structuur: De auteurs introduceren een beloningsfunctie die expliciet het gebrek aan tussenliggende decompositie bestraft, waardoor de structurele onderverdeling van het probleem een primair trainingsdoel wordt naast de correctheid van het antwoord.

Experimentele Resultaten
Het framework werd geëvalueerd op twee benchmarks: CLEVR (synthetische geometrische scènes) en A-OKVQA (echte foto's die externe kennis vereisen).

• RL verbetert nauwkeurigheid: Zowel de Self-Questioning (SQ) als de Direct RL modellen presteerden aanzienlijk beter dan het ongetrainde basismodel op A-OKVQA. Het basismodel behaalde 46,8% nauwkeurigheid, terwijl Direct+GRPO 51,6% bereikte en SQ+GRPO 52,2%.
• Marginaal voordeel van Self-Questioning: Op A-OKVQA bood het self-questioning formaat slechts een marginale winst van +0,6% ten opzichte van standaard Direct RL. De auteurs concluderen dat het merendeel van de verbetering (+4,8%) voortkomt uit het RL-trainingssignaal zelf (het model richting correcte antwoorden sturen) in plaats van de decompositiestrategie.
• Cross-Domain Transfer: Een belangrijke bevinding is de overdraagbaarheid van de decompositiestrategie. Een model getraind op synthetische CLEVR-data met self-questioning verbeterde met +2,6% bij het testen op real-world A-OKVQA afbeeldingen. In contrast hiermee vertoonde het Direct+GRPO model getraind op CLEVR slechts een +0,2% winst op A-OKVQA. Dit suggereert dat de strategie om vragen te ontleden een domein-generieke vaardigheid is die beter overdraagbaar is dan de specifieke antwoord-niveau versterking die door standaard RL wordt geleerd.
• Format Tax op eenvoudige taken: Op eenvoudigere taken (bijv. CLEVR), introduceerde self-questioning een "format tax". Het SQ-getrainde model daalde naar 81,0% nauwkeurigheid op CLEVR wanneer het werd gedwongen het sub-vraag prompt te gebruiken, vergeleken met 97,4% voor het basismodel. Echter, wanneer geëvalueerd met een directe prompt, herstelde de nauwkeurigheid van het SQ-model naar 97,6%, wat aangeeft dat de visuele capaciteiten van het model intact bleven maar werden gehinderd door de onnodige overhead van decompositie bij eenvoudige queries.

Betekenis en Claims
Het paper claimt dat het aanleren van AI-systemen om zichzelf tussenliggende vragen te stellen een veelbelovende strategie is voor complexe visuele redenering, met name wanneer de moeilijkheidsgraad van een vraag expliciete stapsgewijze decompositie rechtvaardigt.

• Schaalbaarheid: Het framework biedt een schaalbaar alternatief voor kostbare menselijke annotaties voor meerstaps-redenering, aangezien het decompositiegedrag enkel voortkomt uit beloningssignalen.
• Conditionele Waarde: De auteurs merken bescheiden op dat de waarde van self-questioning afhankelijk is van de complexiteit van de vraag. Het biedt duidelijke voordelen voor taken die meerstaps-redenering vereisen (bijv. tellen, materiaalkenmerken identificeren) en faciliteert cross-domain transfer, maar kan de prestaties verslechteren op eenvoudigere taken waar decompositie onnodige ruis creëert.
• Toekomstige Richting: De resultaten suggeries dat praktische implementatie, vooral in veiligheidskritische domeinen zoals autonoom rijden of medische beeldvorming, kan profiteren van adaptieve prompting strategieën die selectief self-questioning toepassen wanneer de geschatte complexiteit van de vraag de overhead rechtvaardigt.