OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

Dit paper introduceert OmniVideo-R1, een versterkt kader dat audio-visueel redeneren verbetert door query-intensieve grounding en modaal-attentieve fusie, wat leidt tot superieure prestaties op diverse benchmarks.

De kern

🎬 De Probleemstelling: De "Blinde" en de "Dove"

Stel je voor dat je een film kijkt. Als je de film alleen ziet (zonder geluid), mis je misschien de spanning van de muziek of wat iemand fluistert. Kijk je alleen naar het geluid (zonder beeld), mis je wie er spreekt of wat er gebeurt.

Mensen zijn experts in het combineren van beeld en geluid. Onze hersenen werken als een super-orchestra waar alle instrumenten samen spelen. Maar de slimste computermodellen van vandaag (zoals de nieuwste AI's) hebben hier moeite mee. Ze zijn vaak "eenzijdig":

• Ze zijn goed in kijken, maar vergeten het geluid.
• Of ze proberen geluid en beeld te combineren, maar dan wordt het beeld juist slechter (alsof je een bril opzet die je zicht verstoort).

Het paper noemt dit een paradox: meer zintuigen zouden beter moeten zijn, maar bij AI leidt het vaak tot verwarring.

💡 De Oplossing: OmniVideo-R1

De auteurs van dit paper hebben een nieuwe manier bedacht om AI te trainen, genaamd OmniVideo-R1. Ze noemen het een "versterkt raamwerk".

Je kunt dit vergelijken met het trainen van een detective in plaats van een simpele fotograaf. Een fotograaf maakt alleen een plaatje. Een detective moet:

1. De vraag begrijpen: Wat zoeken we precies?
2. De aanwijzingen vinden: Kijk hier, luister daar.
3. Alles samenvoegen: Hoe past het geluid van een brekend glas bij het beeld van een vallende vaas?

Om dit te leren, gebruiken ze twee slimme trucs:

1. De "Zelfontdekkende Detective" (Query-intensive Grounding)

Normaal gesproken moeten mensen handmatig aangeven waar in de video iets gebeurt (bijv. "Kijk naar 00:15, daar valt de vaas"). Dat is duur en tijdrovend.

OmniVideo-R1 doet dit anders. Het leert zichzelf door een spel te spelen:

• De AI krijgt een vraag en een video.
• De AI moet zeggen: "Ik denk dat het antwoord zit in dit stukje video (tijd X tot Y) en ik beschrijf wat ik daar zie."
• Vervolgens controleert de AI zichzelf: "Klopt mijn beschrijving wel met wat er in dat stukje video te zien is?"

De analogie: Stel je voor dat je een boek leest en zelf de samenvatting schrijft. Als je samenvatting niet klopt met de tekst, krijg je een "rood kruisje". De AI leert zo zelfstandig om de juiste momenten in de video te vinden zonder dat iemand het haar hoeft te vertellen.

2. De "Smaaktest" (Modality-attentive Fusion)

Soms kijkt de AI alleen naar het beeld en negeert ze het geluid, of andersom. Ze willen dat de AI leert dat beide samen beter zijn dan apart.

Ze gebruiken een contrastieve strategie (een soort smaaktest):

• De AI krijgt dezelfde vraag drie keer:
  1. Met beeld én geluid.
  2. Alleen met beeld (stomme video).
  3. Alleen met geluid.
• De AI krijgt een beloning (een puntje) alleen als ze bij optie 1 (beeld + geluid) een beter antwoord geeft dan bij optie 2 of 3.

De analogie: Stel je voor dat je een gerecht proeft. Als je alleen zout proeft, is het saai. Als je alleen peper proeft, is het te scherp. Maar als je ze combineert, is het een heerlijk gerecht. De AI krijgt een beloning als ze de "heerlijke combinatie" maakt en niet alleen op één smaak (modality) vertrouwt.

🚀 Wat levert dit op?

De resultaten zijn indrukwekkend:

• Beter dan de concurrentie: OmniVideo-R1 doet het beter dan de beste open-source modellen en zelfs beter dan sommige dure, gesloten modellen (zoals Gemini).
• Geen verlies: Vaak wordt een model slechter in "alleen kijken" als je het ook leert "luisteren". OmniVideo-R1 is slim genoeg om beide vaardigheden te verbeteren. Het is alsof je een sporter traint die zowel hard kan rennen als goed kan zwemmen, zonder dat het zwemmen zijn hardloopprestaties verpest.
• Minder fouten: De AI maakt minder fouten door vooroordelen (bijvoorbeeld: "Als er een hond is, moet het geluid blaffen" zonder naar het beeld te kijken). Ze kijken echt naar de aanwijzingen.

🏁 Conclusie

Kortom, OmniVideo-R1 is een nieuwe manier om AI te leren "nadenken" met zowel ogen als oren. In plaats van de AI te dwingen om duizenden handmatig gemarkeerde voorbeelden te leren, laten ze de AI zelf ontdekken wat belangrijk is en belonen ze ze als ze echt gebruikmaken van alle zintuigen tegelijk.

Het is alsof je een kind leert lezen en luisteren door het niet alleen boeken te laten voorlezen, maar het ook te laten spelen met geluidseffecten, zodat het de hele wereld om zich heen beter begrijpt.

Technische samenvatting

Probleemstelling

Bestaande "omnimodale" modellen (modellen die zowel audio als video verwerken) kampen met een fundamenteel probleem: het toevoegen van audio-informatie leidt vaak tot een paradoxale prestatiedaling in visuele redeneertaken in plaats van een verbetering.

• Modality Bias: Pre-getrainde modellen (zoals de Qwen3-Omni-familie) vertonen een inherente bias. Wanneer ze worden getraind op gemengde audio-visuele data, nemen hun vaardigheden in visuele redenering vaak af (bijvoorbeeld een daling van 72,1 naar 68,5 op de MMStar-benchmark).
• Gebrek aan Synergie: Bestaande methoden falen in het effectief fuseren van audio en visuele cues. Ze negeren vaak cruciale geluidssignalen of vertrouwen op dataset-bias en "single-modality shortcuts" om het juiste antwoord te geven, zonder echt te redeneren over de combinatie van beide modaliteiten.
• Data- en Annotatiebeperkingen: Het vergroten van de supervisie tijdens pre-training is moeilijk vanwege de schaarste aan hoogwaardige, gemengde data. Bestaande post-training methoden (zoals SFT of standaard RL) trainen niet expliciet op het proces van het lokaliseren en combineren van bewijsmateriaal over modaliteiten heen.

Methodologie: OmniVideo-R1

OmniVideo-R1 is een nieuw versterkt leerframework (Reinforcement Learning) dat is ontworpen om modellen te leren "denken met omnimodale hints". De aanpak bestaat uit een tweestaps RL-proces dat geen proces-niveau annotaties vereist:

1. Query-intensive Grounding (QI) - Fase 1

Het doel is om het model te leren om expliciet de relevante audio-visuele segmenten te lokaliseren die nodig zijn voor een specifieke vraag.

• Zelftoezicht (Self-supervised): Omdat gedetailleerde annotaties van "key frames" duur zijn, gebruikt het model een zelftoezichtsschema. Het model genereert paren van tijdstippen en beschrijvingen (<time>...</time><caption>...</caption>).
• Consistentie en Volledigheid: Een "judger"-model evalueert of de gegenereerde beschrijving consistent is met het geëxtraheerde audio-visuele segment. Er wordt een beloning (r_cons en r_comp) gegeven voor het volledig en nauwkeurig afdekken van de cues die nodig zijn voor het redeneren, zonder dat er grondwaarheid (ground truth) nodig is.
• Structuur: Het model leert een gestructureerde output te genereren die eerst de relevante segmenten identificeert voordat het antwoord wordt gegeven.

2. Modality-attentive Fusion (MA) - Fase 2

Deze fase richt zich op het optimaliseren van de synergie tussen audio en visuele input.

• Contrastief Leren: Het model wordt getraind om te presteren onder drie scenario's: (1) volledige audio-visuele input, (2) alleen video (stil), en (3) alleen audio.
• Contrastieve Beloning: Een beloningsfunctie (r_attn) wordt toegekend alleen als het model met de volledige multimodale input een hogere score behaalt dan met een enkele modale input. Dit dwingt het model om de complementaire aard van audio en visie te ontdekken en te benutten, in plaats van te vertrouwen op één modaliteit.
• Doel: Het creëren van een representatie die strikt superieur is aan de som van de delen.

Optimalisatie: Het framework maakt gebruik van Group Sequence Policy Optimization (GSPO) om het hele redeneerproces op sequentieniveau te optimaliseren, wat beter werkt voor MoE-modellen (Mixture-of-Experts) dan traditionele token-level importance sampling.

Kernbijdragen

1. Eerste RL-framework voor gemengde modale redenering: OmniVideo-R1 is het eerste post-training framework dat specifiek is ontworpen om de redeneerprestaties bij audio-visuele taken te verbeteren door query-intentie en modale aandacht te leren.
2. Hoogwaardig Dataset: Er is een corpus van 80.000 audio-visuele trainingssamples samengesteld via een strikt drie-staps filterproces (kwaliteitsbeoordeling, heuristiek en categorische balans), specifiek geselecteerd voor complexe redeneertaken.
3. Tweestaps RL-paradigma: Een innovatieve aanpak die zelftoezicht voor grounding combineert met contrastief leren voor fusie, waardoor het model proces-annotaties kan missen.
4. Robuustheid: Het framework verbetert niet alleen de multimodale prestaties, maar behoudt (of verbetert zelfs) de prestaties op visuele taken, wat de balans tussen modaliteiten oplost.

Resultaten

De experimenten tonen aan dat OmniVideo-R1 consequent beter presteert dan sterke baselines (zowel open-source als gesloten bronnen):

• Audio-Visuele Benchmarks:
  • Op Daily-Omni behaalt het 82,8% (vs. 79,4% voor de grootste open-source concurrent Video-SALMONN 2+-72B en 81,1% voor Gemini-3-Pro).
  • Op IntentBench scoort het 74,2% (vs. 71,5% voor Gemini-3-Pro).
  • Op OmniVideoBench (een benchmark voor synergetisch begrip) verbetert het de basis Qwen3-Omni-30B-A3B met 21,1% (van 37,0% naar 44,8%).
• Visuele Alleen Benchmarks:
  • Het model vertoont geen degradatie op silent-video taken (zoals Video-MME, MLVU, LVBench) en toont zelfs verbeteringen ten opzichte van het basismodel, wat aantoont dat het audio-component de visuele redenering niet ondermijnt.
• Ablatie Studies:
  • Het verwijderen van de QI-fase of de MA-fase leidt tot aanzienlijke prestatiedalingen, wat aantoont dat beide componenten essentieel zijn.
  • Standaard RL of SFT-methoden presteren significant slechter dan de voorgestelde tweestaps aanpak.

Significantie

OmniVideo-R1 markeert een doorbraak in het veld van multimodale AI door het fundamentele probleem van "modality bias" aan te pakken. In plaats van audio en visie simpelweg te combineren, leert het model actief waarom en hoe deze modaliteiten samenwerken om een antwoord te ondersteunen.

• Paradigmaverschuiving: Het beweegt weg van passieve fusie naar actief, query-gedreven redeneren ("think with omnimodal cues").
• Efficiëntie: Door te vertrouwen op zelftoezicht en contrastief leren in plaats van dure menselijke annotaties, maakt het de schaalbare ontwikkeling van robuuste omnimodale modellen mogelijk.
• Toekomstperspectief: Het biedt een solide basis voor de volgende generatie AI-systemen die complexe, realistische omgevingen moeten begrijpen waar geluid en beeld onlosmakelijk met elkaar verbonden zijn.