DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

Op basis van de verstrekte paper volgt hier een gedetailleerde technische samenvatting van DynFrame.

Probleemstelling

Recente Multimodale Grote Taalmodellen (MLLM's) hebben het video-onderstanding verbeterd door stap-voor-stap redenering te koppelen aan visual evidence retrieval op aanvraag. Echter, bestaande "thinking-with-video"-systemen lijden aan twee structurele gaten:

1. Vaste Samplingdichtheid: Hoewel modellen kunnen beslissen waar ze moeten kijken (temporaal venster), is het frame-per-seconde-getal (samplingdichtheid) binnen dat venster doorgaans een vaste systeemhyperparameter. Bijgevolg vereist het herwinnen van fijnmazig bewijs vaak herhaalde retrievaloproepen, wat de inferentiecontextlengte opblaast en het trainen bemoeilijkt.
2. Ongelijkgewicht in Credit Assignment: Huidige benaderingen voor versterkend leren (RL) optimaliseren vaak de volledige generatietraject met één enkel voordeel-signaal. Dit verweeft de 'credit' voor de beslissing "waar te kijken" (retrieval-tokens) met de beslissing "hoe te antwoorden" (redeneertokens), wat leidt tot suboptimale leerresultaten wanneer één component correct is en de andere niet.

Methodologie

De auteurs stellen DynFrame voor, een end-to-end trainbaar framework dat adaptieve frame-retrieval verenigt met dynamisch verweven visueel-taalredenering. De kerncomponenten zijn:

1. Getokeniseerde Retrieval-interface
DynFrame behandelt aanpassing van het frame-per-seconde-getal als een leerbare beslissing binnen de autoregressieve generatietraject. In plaats van externe tooloproepen, geeft het model native tokens uit om de retrieval-opdracht te specificeren:

• <span>ts–te</span>: Definieert het temporaal venster.
• <fps>f</fps>: Definieert de sampling frame rate.
  Dit stelt het model in staat multi-granulair bewijs te verwerven (dichte frames voor beweging, spaarzame voor semantiek) in één enkele retrievalstap.

2. Dynamische Frame-injectie
Na het genereren van het sluitende </fps>-token triggert het systeem een injectiemechanisme op het moment zelf. Het extrahet $N$ frames uit het gespecificeerde venster bij de voorspelde frame rate, encodeert deze via een bevroren visuele encoder en voegt getimeerde visuele tokens toe aan de generatiebuffer. De decoder vult vervolgens de KV-standen opnieuw in om te zorgen dat de redenering na injectie bidirectioneel kan attenderen op de nieuw opgehaalde frames.

3. Segment-gedecoupleerde GRPO (SD-GRPO)
Om het ongeloof in credit assignment aan te pakken, introduceren de auteurs SD-GRPO, een versterkend leeralgoritme dat de rollout splitst bij de retrievalgrens ($T_{fps}$):

• Sampling Segment ($t \le T_{fps}$): Ontvangt een specifieke beloning ($R_{samp}$) gebaseerd op de overlap van de voorspelde temporele span met de ground truth en de nauwkeurigheid van de voorspelde FPS.
• Redenering Segment ($t > T_{fps}$): Ontvangt een antwoordspecifieke beloning ($R_{ans}$) gebaseerd op taakcorrectheid (bijv. exacte match of IoU).
  Token-niveau voordelen worden apart berekend voor deze segmenten, zodat het model expliciet wordt beloond voor het maken van goede retrievalbeslissingen, onafhankelijk van de kwaliteit van het uiteindelijke antwoord, en vice versa.

4. Data Curatie
Het framework wordt getraind op twee gecureerde datasets:

• DM-CoT-74k: Een dataset voor supervised fine-tuning (SFT) met verweven retrievalcommando's en onderbouwde redenering.
• DM-RL-45k: Een dataset voor versterkend leren met ground-truth temporele spannen en FPS-doelen, gebruikt om de gedecoupleerde beloningen te berekenen.

Belangrijkste Bijdragen

1. Native Getokeniseerde Adaptatie: DynFrame transformeert adaptieve temporele bewijsverwerving van een extern geplande toolbewerking naar een model-native redeneervermogen door temporele span en samplingdichtheid uit te geven als native tokens.
2. Segment-gedecoupleerde Optimalisatie: De introductie van SD-GRPO maakt gerichte credit assignment mogelijk, waarbij de optimalisatie van de samplingbeslissing wordt gescheiden van de antwoordredenering, wat de co-adaptatie van retrieval en redenering stabiliseert.
3. Gecureerde Datasets: De creatie van DM-CoT-74k en DM-RL-45k ter ondersteuning van de training van robuuste, native getokeniseerde adaptieve retrieval.

Experimentele Resultaten

DynFrame werd geëvalueerd op zes benchmarks die temporele grounding, grounded VideoQA en langdurig video-onderstanding bestrijken (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench).

• Prestaties: DynFrame-8B behaalde state-of-the-art resultaten op de meeste metrieken, en presteerde beter dan sterke 7B–8B baselines (waaronder Video-o3, VITAL en VideoChat-R1.5). DynFrame-4B was concurrerend met deze grotere baselines ondanks het hebben van de helft van de parameters.
• Efficiëntie: In tegenstelling tot multi-turn retrieval-methoden die de contextlengte aanzienlijk vergroten, bereikt DynFrame hoge nauwkeurigheid met één enkele retrievalronde, waardoor een beter hanteerbare inferentiecontext wordt behouden.
• Ablatiestudies:
  • Het verwijderen van de segmentdecoupling (met behulp van vanilla GRPO) resulteerde in lagere prestaties, wat de noodzaak van aparte credit assignment bevestigt.
  • Het vervangen van dynamische FPS-voorspelling door een vast tarief degradeerde de prestaties, wat de noodzaak van adaptieve dichtheid valideert.
  • Het model toonde robuustheid tegen spaarzame initiële sampling ($f_1$), en slaagde erin ontbrekend bewijs te herstellen via dynamische retrieval.

Betekenis

De paper beweert dat DynFrame een verschuiving vertegenwoordigt van rigide, systeemgedefinieerde visuele passes naar flexibele, modelgedreven bewijsverwerving. Door te leren beslissen zowel waar te kijken als hoe dicht te sample, kan het model taakadaptief, multi-granulair bewijs efficiënt verwerven. Het voorgestelde SD-GRPO-framework biedt een mechanisme om deze complexe retrieval-redeneringsgedragingen te trainen zonder de leersignalen voor verschillende stadia van het generatieproces te verweven. Deze aanpak stelt kleinere modellen (4B) in staat om te concurreren met grotere baselines en zet nieuwe prestatiestandaarden voor langdurig video-onderstanding.