Technische Samenvatting: OmniReasoner

Probleemstelling

Langdurige audio-video redenering vormt een fundamentele uitdaging voor omnimodale Large Language Models (LLM's): het beslissende bewijs dat nodig is om een vraag te beantwoorden, is vaak schaars, verspreid over de tijd en cross-modaal (betrokken bij zowel visuele als auditieve aanwijzingen). Het bewaren van elk frame en elk audiosegment met hoge getrouwheid is computationeel onhaalbaar vanwege beperkingen in het contextvenster en de kosten van tokens. Daartegenover staat dat uniforme downsampling om lange stromen in de context te laten passen, vaak de fijnmazige bewijslast die nodig is voor nauwkeurige redenering wegwerpt. Bestaande benaderingen vertrouwen ofwel op vaste preprocessing, zoeken naar relevante segmenten met behulp van enkel visuele aanwijzingen, of optimaliseren de redenering na de selectie van bewijsmateriaal, waardoor ze er niet in slagen het kernprobleem aan te pakken van wanneer en waar hoogwaardige computationele middelen moeten worden toegewezen in een lange audio-video stroom.

Methodologie

De auteurs introduceren OmniReasoner, een tool-use post-training framework ontworpen om omnimodale LLM's te leren "denken met lange audio-video" door adaptief te beslissen of ze een zoom-in tool moeten aanroepen.

1. Inferentie Workflow

OmniReasoner werkt via een tweestaps-proces:

• Global Preview: Het model consumeert eerst een goedkope, schaarse globale preview van de volledige audio-video stroom (lage frame-rate video en volledige audio).
• Tool Decision: Op basis van deze preview en de gebruikersvraag beslist het beleid tussen twee acties:
  • Direct Answer: Als het globale bewijs voldoende is, geeft het model direct antwoord.
  • Zoom-in: Als er meer bewijs nodig is, roept het model een zoom-in tool aan, waarbij een temporeel interval $[s, e]$ wordt gespecificeerd.
• Local Inspection: Het systeem haalt een high-fidelity lokale clip op die overeenkomt met het gevraagde interval. Het model voert vervolgens uitgebreide redenering uit met behulp van zowel de globale context als het gedetailleerde lokale bewijsmateriaal om het uiteindelijke antwoord te genereren.

2. TimeAnchor

Een cruciale technische bijdrage is TimeAnchor, die het probleem van temporele grounding oplost over verschillende bemonsteringsgranulariteiten heen.

• De Uitdaging: Standaard frame-indices of chunk-ID's zijn relatief aan een specifieke bemonsteringssnelheid. Een frame-index die geldig is in een schaarse globale preview, komt niet overeen met hetzelfde fysieke moment in een dichte lokale clip.
• De Oplossing: TimeAnchor voegt een plain-text absolute tijdmarker toe (bijv. <32 seconden>) aan elke twee-seconden chunk van de geïnterleaved audio-video token stroom. Dit zorgt ervoor dat een temporeel argument (bijv. "inspecteer 32–38 seconden") geldig en round-trip consistent blijft, ongeacht of het model de schaarse globale stroom of de dichte lokale clip bekijkt. Het argument is gekoppeld aan de wandkloktijd, niet aan frame-indices.

3. Temporal Augmented Data Engine

Om het model te trainen zonder dure handmatige interval-annotaties, hebben de auteurs een Temporal Augmented Data Engine gebouwd die tool-use trajecten synthetiseert:

• Taakconstructie: Het creëert langdurige redeneertaken via Multi-segment Composition (het samenvoegen van onafhankelijke clips) en Anomaly Insertion (het vervangen van audio, video, of beide in een venster). Het bewerkingsproces levert inherent de grondwaarheid van de bewijsintervallen op.
• Traject Synthese: Met behulp van een "MediaSandbox" simuleert de engine de inferentie-omgeving. Het genereert twee soorten trajecten:
  • Tool-use trajecten: Het model observeert de globale view, vraagt een zoom-interval aan, ontvangt de lokale clip en geeft antwoord.
  • Direct-answer trajecten: Het model geeft direct antwoord vanuit de globale view.
• Trainingsregime: Het framework maakt gebruik van Supervised Fine-Tuning (SFT) op deze gesynthetiseerde trajecten om het tool-use protocol vast te stellen, gevolgd door Group Relative Policy Optimization (GRPO) reinforcement learning. De RL-beloning is gebaseerd op de nauwkeurigheid van het antwoord en de naleving van het formaat, waarbij het beleid wordt geoptimaliseerd om de tool alleen aan te roepen wanneer dit het uiteindelijke antwoord verbetert.

Belangrijkste Bijdragen

1. OmniReasoner Framework: Een post-training benadering die omnimodale modellen in staat stelt om adaptief toolgebruik (zoom-in) te leren voor langdurige audio-video redenering via SFT en RL.
2. TimeAnchor: Een mechanisme dat de geldigheid van temporele argumenten behoudt over fidelity-grenzen heen (schaarse vs. dichte bemonstering) door absolute tijdmarkers te gebruiken in plaats van frame-indices.
3. Temporal Augmented Data Engine: Een schaalbare data-generatie pipeline die tool-use trajecten synthetiseert met bekende bewijsintervallen door middel van video-editing, waardoor handmatige span-annotatie overbodig wordt.

Experimentele Resultaten

Experimenten werden uitgevoerd op omnimodale en video-redeneringsbenchmarks, waaronder OmniVideoBench, LVOmniBench, Daily-Omni, WorldSense, VideoMME en VideoHolmes.

• Prestatiewinst: OmniReasoner (gebaseerd op Qwen2.5-Omni-7B) presteerde aanzienlijk beter dan het basismodel. Opvallende verbeteringen zijn:
  • OmniVideoBench: +5.5 punten (29.3 $\to$ 34.8).
  • LVOmniBench: +3.4 punten (32.0 $\to$ 35.4).
  • VideoHolmes: +15.6 punten (24.4 $\to$ 40.0), toegeschreven aan het vermogen om meer frames op te halen via zoom-in vergeleken met de vaste 32-frame limiet van de baseline.
• Duurgevoeligheid: Het prestatieverschil werd groter naarmate de video langer werd. Op OmniVideoBench namen de winsten toe van +3.2 punten voor 0–5 minuten video's naar +9.9 punten voor 10–30 minuten video's, wat de effectiviteit van adaptieve zoom-in voor sparse evidence in lange contexten aantoont.
• Ablatie-studies:
  • Het verwijderen van de zelf-gecureerde temporele data veroorzaakte aanzienlijke dalingen, wat de noodzaak van geconstrueerde bewijsintervallen bevestigt.
  • Het verwijderen van de audio-input of de door de tool geretourneerde clip verslechterde de prestaties, wat de afhankelijkheid van cross-modaal bewijs en actieve lokale acquisitie valideert.
  • De TimeAnchor ablatie liet zien dat hoewel het trainingsrecept alleen al de grounding verbetert, TimeAnchor substantiële extra winst oplevert (bijv. +6.1 punten op Charades-STA mIoU), wat de rol ervan bewijst bij het afstemmen van temporele argumenten over verschillende granulariteiten.
  • Alleen RL-training zonder SFT warm-up faalde, wat de noodzaak van een supervised cold-start benadrukt om het tool-use formaat te vestigen.

Betekenis

Het artikel betoogt dat langdurige audio-video redenering een verschuiving vereist van uniforme perceptie naar adaptieve bewijsverwerving. OmniReasoner laat zien dat omnimodale modellen kunnen worden getraind om te fungeren als agenten die beslissen wanneer ze moeten kijken en waar ze moeten luisteren, in plaats van passief een vaste context te verwerken. Door TimeAnchor en een schaalbare data engine te introduceren, pakt dit werk de specifieke technische hindernissen van temporele grounding in multi-fidelity stromen aan, en biedt het een praktisch post-training recept om de redeneernauwkeurigheid in langdurige audio-video taken te verbeteren zonder dat massale handmatige annotatie nodig is. De auteurs merken beperkingen op met betrekking tot de huidige twee-staps tool scope en de noodzaak van een volwassener RL-infrastructuur voor multi-turn agentic interacties in omnimodale settings.