VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

Het paper introduceert VisionCoach, een adaptief versterkingsleerframework dat de ruimtelijk-temporele redenering in video's verbetert door tijdens het trainen visuele prompts te gebruiken om relevante bewijslast te versterken, waarna het model deze vaardigheid via zelfdistillatie internaliseert voor grondig redeneren op ruwe video's zonder externe hulpmiddelen tijdens de inferentie.

De kern

Stel je voor dat je een slimme, maar soms wat dromerige robot hebt die naar video's kijkt en vragen moet beantwoorden. Het probleem is dat deze robot vaak "hallucineert". Hij zegt bijvoorbeeld: "Ik zie een rode auto," terwijl er in de video helemaal geen auto te zien is, maar hij raadt het gewoon op basis van wat hij eerder heeft gelezen. Of hij zegt: "De auto komt na 10 seconden," terwijl hij eigenlijk bij 20 seconden verschijnt. Hij mist de precieze plek en het juiste moment.

Dit artikel introduceert VISIONCOACH, een slimme manier om deze robot te trainen zodat hij echt kijkt naar wat er gebeurt, in plaats van te gissen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Dromerige Robot

Normaal gesproken leert een AI door duizenden video's te bekijken. Maar als de vraag moeilijk is, begint de robot te fantaseren.

• De oude methode (Tekst-gecentreerd): De robot leest de vraag en bedenkt een verhaal. Hij kijkt niet echt goed naar het beeld.
• De andere methode (Tool-gebruik): Soms roepen ze een "magneet" of een "zoomlens" bij om te helpen. Dit werkt wel, maar het is traag en kost veel energie, alsof je voor elke vraag een extra hulpmiddel moet ophalen.

2. De Oplossing: VISIONCOACH (De Vrijwillige Coach)

VISIONCOACH is als een persoonlijke coach die tijdens de training bij de robot staat, maar niet tijdens het echte examen.

Het proces heeft drie stappen:

Stap A: De Coach Kiest de Juiste Hulp (De "Visual Prompt")

Stel, de robot krijgt een moeilijke vraag over een video. De coach (een klein onderdeel van het systeem) kijkt naar de vraag en de video en denkt: "Hm, deze robot ziet de rode bal niet omdat hij afgeleid wordt door de achtergrond."

De coach pakt dan een visuele hulpmiddel uit zijn gereedschapskist:

• Hij kan de achtergrond donker maken zodat alleen de bal oplicht.
• Hij kan een rode cirkel om de bal tekenen.
• Hij kan nummers op de frames zetten om de tijd duidelijker te maken.

Dit noemen ze "visuele prompting". Het is alsof je iemand wijs maakt die een zoektocht doet: "Kijk hier, de schat ligt onder deze rode cirkel!"

Stap B: De Robot Oefent met de Coach (Versterkend Leren)

Nu ziet de robot de video met de hulp van de coach. Omdat de coach de belangrijke dingen heeft gemarkeerd, ziet de robot de oplossing veel makkelijker en geeft hij het juiste antwoord.

• De robot krijgt een beloning (een puntje) omdat hij het goed heeft gedaan met de hulp.
• Als hij het zonder hulp fout had, maar met hulp goed, leert hij: "Ah, zo moet ik kijken!"

Stap C: De "Zelf-lerende" Stap (Zelf-Distillatie)

Dit is het magische deel. De robot moet niet voor altijd met de coach werken. Tijdens het examen (in de echte wereld) is de coach er niet.
Dus, na elke trainingssessie met de coach, doet de robot een oefening voor zichzelf:

• Hij kijkt terug naar de momenten waarop de coach hem hielp.
• Hij probeert diezelfde "kijk-methode" na te bootsen, maar dan zonder de rode cirkel of het donkere filter.
• Hij zegt tegen zichzelf: "Ik heb geleerd dat ik moet focussen op die plek, zelfs zonder de cirkel."

Na veel van deze oefeningen heeft de robot de vaardigheid geïnternaliseerd. Hij is nu zo slim geworden dat hij de "rode cirkel" in zijn hoofd ziet, zonder dat iemand hem er echt tekent.

Waarom is dit zo goed?

1. Geen trage hulpmiddelen: Bij het echte antwoord geven (inference) hoeft de robot geen extra tools te gebruiken. Hij is snel en efficiënt, alsof hij gewoon "kijkt".
2. Geen hallucinaties: Omdat hij is getraind om echt naar de beelden te kijken (door de coach), raakt hij niet meer in de war door zijn eigen fantasieën.
3. Slimme selectie: De coach is niet dom; hij weet precies wanneer de robot hulp nodig heeft. Bij makkelijke vragen doet hij niets, bij moeilijke vragen grijpt hij in.

Samenvattend in één zin:

VISIONCOACH is als een trainer die tijdens het sporten een flitslicht gebruikt om de speler op de bal te laten focussen; na veel oefening kan de speler die bal ook zien in het donker, zonder dat het flitslicht nog nodig is.

Het resultaat? Een AI die video's niet alleen "leest", maar echt "begrijpt" en precies kan vertellen wat er gebeurt, waar het is en wanneer het gebeurt.

Technische samenvatting

1. Het Probleem

Video-redenering vereist dat modellen relevante bewijsvoering over meerdere frames lokaliseren en bijhouden. Bestaande benaderingen kampen echter met twee fundamentele beperkingen:

• Onbetrouwbare ruimtelijk-temporele gronding (Grounding): Modellen die puur op tekst vertrouwen, genereren vaak hallucinaties die gebaseerd zijn op taalkennis in plaats van feitelijke visuele waarneming.
• Hoge kosten van externe tools: Benaderingen die externe perceptietools gebruiken (zoals het knippen van video's of inzoomen) om de gronding te verbeteren, leiden tot een aanzienlijke rekenkundige overhead tijdens de inferentie.
• Data-afhankelijkheid: Het verbeteren van gronding vereist vaak schaalvergroting van trainingsdata met dure annotaties of extra perceptiemodules.

Het doel is om een model te creëren dat gegronde redenering (het koppelen van antwoorden aan specifieke momenten en objecten in de video) leert tijdens het trainen, maar dit gedrag internaliseert zodat het tijdens de inferentie direct op ruwe video's kan werken zonder externe tools of prompts.

2. Methodologie: VISIONCOACH

VISIONCOACH is een input-adaptief Reinforcement Learning (RL)-framework dat visuele prompts gebruikt als "coach" tijdens de training, maar deze niet vereist tijdens de inferentie. Het framework bestaat uit twee hoofdcomponenten:

A. Visual Prompt Selector (VP-SELECTOR)

Dit is een lichtgewicht model dat voorspelt welk type visuele prompt het meest geschikt is voor een specifieke video-vraagcombinatie, vooral bij "moeilijke" voorbeelden.

• Functie: Het selecteert uit een kandidatenpool (bijv. een rood cirkeltje om een object, het verduisteren van irrelevante gebieden, frame-nummering, of aandachtspunten).
• Training: Het wordt getraind met Supervised Fine-Tuning (SFT) op een dataset die is gegenereerd door "proxy reasoners" (sterke modellen zoals GPT-4o of Gemini). Deze proxy's evalueren welke prompt de beste gronding en antwoorden oplevert voor een gegeven input.
• Toepassing: Tijdens de RL-training wordt de VP-SELECTOR gebruikt om alleen de moeilijke voorbeelden te "coach"en met de juiste visuele hint.

B. Spatio-Temporal Reasoner (ST-REASONER)

Dit is het hoofdmodel dat de daadwerkelijke redenering uitvoert. Het wordt geoptimaliseerd met Group Sequence Policy Optimization (GSPO).

• Visuele Prompting-Guided RL: Voor moeilijke samples (geïdentificeerd op basis van lage initiële beloningen) wordt de door de VP-SELECTOR gekozen visuele prompt toegepast op de keyframes. Het model genereert dan nieuwe redeneertrajecten.
• Object-Aware Spatial Grounding Reward: Een nieuwe beloningsfunctie die niet alleen kijkt naar de nauwkeurigheid van het antwoord, maar ook naar:
  1. Object-identiteitsconsistentie: Het voorspelde object moet overeenkomen met het grondwaarheid-object (niet alleen de locatie, maar ook de naam).
  2. Multi-region IoU: Het model wordt beloond voor het correct lokaliseren van meerdere objecten en hun ruimtelijke omhullende (bounding boxes) over de tijd.
• Self-Distillation: Dit is de kern van de efficiëntie. Wanneer de visuele prompt leidt tot betere redenering (hogere beloning), gebruikt het model deze verbeterde trajecten om zichzelf te distilleren. Het leert de "gecoachte" gedragingen te internaliseren.
  • Resultaat: Tijdens de inferentie hoeft het model geen prompts meer te ontvangen; het heeft de vaardigheid om zelf de relevante visuele informatie te selecteren en te focussen.

3. Belangrijkste Bijdragen

1. Input-Adaptief RL Framework: Een nieuw paradigma dat visuele prompting gebruikt als trainingshulpmiddel om gronding te verbeteren, maar via self-distillation een efficiënte, single-pass inferentie mogelijk maakt zonder externe tools.
2. Object-Aware Spatial Grounding Reward: Een innovatieve beloningsfunctie die objectidentiteit en multi-region overlap combineert, waardoor hallucinaties van objectnamen en locaties worden onderdrukt.
3. VP-SELECTOR met Proxy-Reasoning: Een methode om automatisch de beste visuele prompt te leren voor een specifieke vraag, in plaats van handmatige of statische prompts te gebruiken.
4. State-of-the-Art Prestaties: Het framework presteert beter dan bestaande modellen op diverse benchmarks, terwijl het lichter is dan tool-gebaseerde benaderingen.

4. Resultaten

VISIONCOACH werd geëvalueerd op meerdere benchmarks voor video-redenering, video-begrip en temporale gronding:

• V-STAR (Spatio-temporele redenering): VISIONCOACH behaalde state-of-the-art resultaten, met name een verbetering van +15.0% mAM en +25.1% mLGM ten opzichte van Qwen2.5-VL-7B. Het overtrof zelfs gespecialiseerde gesloten modellen zoals GPT-4o.
• Algemeen Video-Begrip: Op benchmarks zoals VideoMME, WorldSense, VideoMMMU en PerceptionTest presteerde het model consistent beter dan eerdere open-source VideoLLMs en tool-gebaseerde methoden.
• Temporale Gronding (Charades-STA): Het model toonde superioriteit in het lokaliseren van tijdsintervallen in video's.
• Efficiëntie: In tegenstelling tot tool-gebaseerde methoden (zoals EgoR1) die meerdere inferentiestappen vereisen, gebruikt VISIONCOACH tijdens de inferentie slechts één doorloop (single forward pass), wat de latentie aanzienlijk verlaagt.

5. Betekenis en Impact

Deze paper biedt een oplossing voor het fundamentele probleem van "hallucinaties" in multimodale modellen door de focus te verschuiven van inference-time interventie (duur en traag) naar training-time begeleiding.

• Internalisatie van vaardigheden: Het bewijst dat modellen kunnen leren om visuele aandacht te richten zonder afhankelijk te zijn van externe tools tijdens het gebruik.
• Kostenefficiëntie: Door het internaliseren van de gronding via self-distillation, wordt de rekenkracht tijdens de inferentie geminimaliseerd, wat het toepasbaar maakt voor real-time toepassingen.
• Robuustheid: De introductie van object-identiteitsconsistentie in de beloningsfunctie zorgt voor betrouwbaardere redenering in complexe scenario's met meerdere objecten.

Kortom, VISIONCOACH stelt een nieuwe standaard voor in hoe multimodale modellen kunnen worden getraind om niet alleen antwoorden te genereren, maar deze ook te onderbouwen met nauwkeurige visuele en temporale bewijsvoering.