Technische Samenvatting: Annotaties als Rollouts (OraRL)

Probleemstelling

Unified videoperceptie vereist Multimodale Large Language Models (MLLM's) om fijnmazige taken uit te voeren zoals temporele lokalisatie, ruimtelijke grounding, objecttracking en segmentatie. Hoewel recente algemene MLLM's deze capaciteiten integreren, presteren ze vaak ondermaats ten opzichte van taakspecifieke specialisten, wat suggereert dat modelomvang alleen onvoldoende is en dat post-training alignment de kritieke bottleneck is.

Huidige post-training paradigma's kampen met twee primaire beperkingen:

1. Supervised Fine-Tuning (SFT): SFT behandelt annotaties als maximum-likelihood targets, waarbij outputformaten worden afgedwongen, maar het slaagt er niet in om onderscheid te maken tussen bijna correcte en duidelijk onjuiste voorspellingen. Het mist taakspecifieke supervisie om het model naar precieze intervallen of maskers te leiden.
2. Reinforcement Learning (RL) met Group Relative Policy Optimization (GRPO): Bestaande video-RL-methoden (bijv. GRPO) samplen meerdere on-policy rollouts per prompt en vergelijken hun beloningen. Deze methoden vertrouwen echter uitsluitend op de kwaliteit van de gesamplede on-policy groep. Omdat on-policy rollouts zelden de exacte intervallen, boxen of maskers herstellen die door grondwaarheid (GT) annotaties zijn gespecificeerd, missen veel trainingsgroepen een betrouwbaar positief anker.
3. Chain-of-Thought (CoT) Beperkingen: Hoewel CoT-generatie wordt gebruikt om redenering te verbeteren, verlengt dit de rollouts, wat de trainings- en inferentiekosten verhoogt zonder prestatiewinsten te garanderen in fijnmazige perceptie-taken.

Een directe poging om GT-annotaties in de RL-rolloutgroep op te nemen als "oracle" rollouts faalt door advantage inversion (voordeel-inversie). Wanneer een hoog-belonende oracle wordt opgenomen in de groepnormalisatie, verhoogt dit de baseline-beloning. Bijgevolg ontvangen on-policy rollouts die beter zijn dan de oorspronkelijke policy (maar slechter dan de oracle) negatieve advantages, wat nuttige exploratie onderdrukt en de leercurve doet instorten richting eenvoudige imitatie.

Methodologie: OraRL

Het artikel introduceert OraRL (Annotation-as-Rollout Reinforcement Learning), een paradigma dat elke annotatie behandelt als een betrouwbaar positief doel (een "oracle rollout"), terwijl het de baseline-verschuiving voorkomt die advantage inversion veroorzaakt.

Kernmechanismen

1. Annotation-as-Rollout Constructie:
   In plaats van annotaties louter als score-referenties te gebruiken, serialiseert OraRL elke annotatie $y$ naar het responsformaat van het model om een oracle rollout $o_{gt}$ te creëren. Deze oracle wordt toegevoegd aan de groep van $n$ on-policy rollouts, waardoor een uitgebreide groep van grootte $n+1$ ontstaat. Dit biedt een betrouwbaar positief doel voor elke query zonder de on-policy exploratie te verminderen.

2. Ontkoppelde Advantage Estimatie:
   Om het probleem van advantage inversion op te lossen, ontkoppelt OraRL de advantage-berekening:

   • Policy Baseline: De baseline $\mu_{op}$ en standaarddeviatie worden berekend alleen op basis van de on-policy beloningen, exclusief de oracle. Dit zorgt ervoor dat elke on-policy rollout die de huidige policy overtreft, een niet-negatieve advantage ontvangt.
   • Directional Gain: Het verschil tussen de oracle-beloning en de on-policy distributie wordt gecodeerd als een directionele winst $g_q$. Deze winst schaalt de advantages van on-policy rollouts die boven het on-policy gemiddelde liggen, waardoor het signaal wordt versterkt wanneer de oracle aanzienlijk beter is dan de huidige policy.
   • Detached Oracle Advantage: Een aparte, begrensde advantage-term $A_{gt}$ wordt berekend voor de oracle rollout zelf. De schaal hiervan wordt gekalibreerd door een gewicht $w_q$ (gebaseerd op het resterende gat tussen de policy en de oracle) en wordt begrensd door het sterkste on-policy signaal om te voorkomen dat de oracle de update domineert.

3. Sign-Balanced Pruning:
   Om de efficiëntie te verbeteren, voert OraRL pruning uit op de rollout-groep vóór de back-propagation. In tegen tegenstelling tot magnitude-only pruning (die mogelijk alleen positieve of alleen negatieve samples behoudt), hanteert OraRL sign-balanced pruning:

   • De oracle wordt altijd behouden.
   • De resterende slots worden ingevuld door de sterkste positieve en negatieve on-policy rollouts te behouden, wat ervoor zorgt dat de gradiënt-update zowel versterkende als onderdrukkende signalen behoudt.
   • Een post-selection moment correction wordt toegepast om de advantages opnieuw te centreren en te schalen naar de statistieken van vóór de pruning, om bias in de update-magnitude te voorkomen.

4. Efficiëntie:
   Door de groep te prunen (bijv. het behouden van 4 van de 9 rollouts) en CoT-generatie te vermijden, bereikt OraRL een stap-tijd van slechts $2.2\times$ die van SFT, vergeleken met $4.9\times$ voor GRPO met CoT.

Belangrijkste Bijdragen

1. Annotation-as-Rollout: Een taakonafhankelijk mechanisme dat annotaties omzet in oracle rollouts, wat betrouwbare positieve supervisie biedt zonder CoT te vereisen of on-policy exploratie op te offeren.
2. Advantage Inversion Analyse: Identificatie van het "advantage inversion" fenomeen in naïeve oracle-mixing en een oplossing via ontkoppelde advantage-estimatie die policy-advantages scheidt van oracle-begeleiding.
3. Sign-Balanced Pruning: Een pruning-strategie die zowel de advantage-tekens als de oracle behoudt, gecombineerd met moment correction, wat een versnelling van $1.48\times$ oplevert ten opzichte van full-group optimalisatie.
4. Video-ORA: Een unified video-perceptiemodel getraind met OraRL, dat consistente verbeteringen laat zien over verschillende modelgroottes (0.8B tot 9B) en databudgets.

Experimentele Resultaten

De auteurs trainden Video-ORA (gebaseerd op Qwen3.5 backbones) en evalueerden dit over zeven taalfamilies: temporele grounding, ruimtelijke grounding, segmentatie, visuele tracking, spatio-temporele grounding, video QA en ruimtelijke intelligentie.

• Prestatiewinsten:

  • Temporal Grounding: Video-ORA-9B behaalde een mIoU van 61.8, 63.6 en 72.5 op de drie TimeLens benchmarks, waarmee het de temporele specialist TimeLens2-8B en propriëtaire modellen zoals GPT-5 en Gemini-3-Pro overtrof.
  • Visuele Tracking: Op GOT-10k behaalde Video-ORA-9B een Average Overlap (AO) van 78.2, waarmee het het vorige beste open-source model (OneThinker-8B) met 5.2 punten versloeg.
  • Segmentatie: Het behaalde leidende scores op RefCOCO (cIoU 79.4) en MeViS (J&F 61.3).
  • Ruimtelijke Intelligentie: Op VSI-Bench scoorde Video-ORA-9B 73.1, waarmee het GPT-5 (55.0) en Gemini-3-Pro (55.1) overtrof.
  • Video QA: Het rangschikte als eerste onder open-source modellen op vijf van de zeven Video QA benchmarks.

• Scaling en Efficiëntie:

  • Model Scaling: Video-ORA verbeterde de backbone op alle schalen (0.8B, 2B, 4B, 9B), waarbij de macro-gemiddelde winsten toenamen met de modelgrootte.
  • Data Scaling: OraRL presteerde beter dan GRPO en SFT over databudgets tot 100k prompts.
  • Inference Latency: Zonder CoT verminderde Video-ORA-9B de mediane end-to-end latentie op 10-minuten durende video's van 29.0s (CoT backbone) naar 24.3s.

Betekenis en Claims

Het artikel claimt dat OraRL "annotation-as-rollout" vestigt als een efficiënt en schaalbaar reinforcement learning principe voor unified videoperceptie. De auteurs stellen dat:

• Fijnmazige precisie in videoperceptie primair wordt bepaald door taak-gealigneerde post-training in plaats van enkel door modelomvang.
• Directe oracle-integratie, mits correct afgehandeld (via ontkoppelde advantages), een betrouwbaar positief doel biedt dat het tekort aan hoogwaardige on-policy rollouts overwint.
• CoT-redenering niet noodzakelijk is voor deze taken; directe oracle-supervisie levert betere nauwkeurigheid en efficiëntie op.
• De methode generaliseerbaar is over verschillende backbone-families (Qwen3-VL, Qwen3.5) en taaltypen (lokalisatie, tracking, QA, ruimtelijke redenering).

De auteurs merken beperkingen op, specifelijk dat de huidige formulering ervan uitgaat dat annotaties kunnen worden geserialiseerd als geldige oracle rollouts en kunnen worden geëvalueerd door scalaire beloningen, en dat het gedrag onder ambigue of ruisgevoelige supervisie niet is geëvalueerd. Ze erkennen ook dat hoewel Video-ORA in veel open-source vergelijkingen leidt, sommige complexe ruimtelijke redeneringstaken nog steeds achterlopen op de sterkste propriëtaire modellen.