Technische Samenvatting: OmniAgent voor Omnimodale Audio-Video Begrip

1. Probleemstelling

Omnimodale Large Language Models (OmniLLMs) hebben significante vooruitgang geboekt door visuele en audio-encoders te verenigen. Ze worden echter geconfronteerd met kritieke beperkingen in fijnmazig cross-modaal begrip en multimodale uitlijning. Bestaande end-to-end modellen worstelen vaak met het adaptief toewijzen van aandacht tussen modaliteiten; ze worden beperkt door vaste token-budgetten en gezamenlijke optimalisatiedoelstellingen die dynamische prioritering van specifieke modaliteiten of aanpassing van de verwerkingsgranulariteit verhinderen. Als gevolg hiervan falen ze vaak bij queries die een precieze temporele lokalisatie of hoogresolutie visuele inspectie vereisen.

Bovendien vertrouwen eerdere agent-gebaseerde benaderingen voor video-begrip op rigide, statische workflows of dichte frame-captioning. Deze methoden veroorzaken aanzienlijke computationele overhead, genereren irrelevante captions en missen de flexibiliteit om op basis van de specifieke eisen van een gebruikersquery dynamisch de aandacht te plannen. Hoewel audio van nature nauwkeurige temporele lokalisatie biedt voor saillante gebeurtenissen, slagen huidige systemen er niet in dit efficiënt in te zetten om visuele analyse te sturen.

2. Methodologie: OmniAgent

De auteurs introduceren OmniAgent, de eerste volledig actieve perceptie-agent ontworpen voor omnimodaal audio-video begrip. In tegenstelling tot passieve modellen, behandelt OmniAgent sterke single-modal modellen als aanroepbare tools en gebruikt het een recursieve "Think-Act-Observe-Reflect"-lus om multimodale redenering dynamisch te orkestreren.

Kernarchitectuur

Het systeem functioneert als een sequentieel besluitvormingsproces waarbij een LLM (de "hersenen") autonoom de optimale modaliteit en granulariteit voor elke stap bepaalt. Het proces omvat:

1. Actief Denken (Active Thinking): De agent beoordeelt de cross-modale afhankelijkheid van een query om te beslissen of hij moet "luisteren" (audio) of "kijken" (video) en selecteert de passende tool.
2. Actie & Observatie (Action & Observation): De agent voert een geselecteerde tool uit op de corresponderende modaliteitsstroom en ontvangt een observatie (bijv. een transcript, een visuele beschrijving of een tijdstempel).
3. Reflectie (Reflection): De agent synthetiseert de huidige observaties met de historische context om een cross-modale consistentiecheck uit te voeren. Als het bewijs onvoldoende is of als er discrepanties bestaan, start de agent de denkcyclus opnieuw om meer data te verzamelen. Deze lus gaat door totdat een definitief antwoord is gesynthetiseerd.

Modale Expert-Toolset

OmniAgent maakt gebruik van een uitgebreide bibliotheek van tools, gestratificeerd per modaliteit en granulariteit:

• Video Perceptie Tools:
  • Global QA (TVGA): Gebruikt ijle frame-sampling voor grove temporele lokalisatie en globale context.
  • Clip QA (TVCA): Analyseert specifieke tijdsvensters met hogere sampling-snelheden en resoluties voor fijnmazige visuele redenering.
• Audio Perceptie Tools:
  • ASR (TASR): Transcribeert dialogen met precieze tijdstempel-uitlijning.
  • Global Caption (TAGC): Vat de akoestische omgeving samen.
  • Audio QA (TAQ): Extraheert specifieke akoestische details via gerichte vragen.
• Event Perceptie Tools (De Nieuwe Bijdrage):
  • Event List (TEL) & Event Location (TELO): Een nieuwe audio-gestuurde event-lokalisatiestrategie. De agent verwerkt de volledige audiostroom om een discrete lijst van geluidsevenementen te extraheren, waarmee temporele ankers worden vastgesteld. Dit stelt de agent in staat om het exacte tijdstip te pinpointen waarop een saillante gebeurtenis plaatsvindt (bijv. een specifiek geluid of een zin) en vervolgens high-resolution video-tools aan te roepen op dat specifieke venster.

Coarse-to-Fine Redeneerparadigma

De agent hanteert een coarse-to-fine audio-gestuurd perceptieparadigma. Meestal begint het met goedkope audio-aanwijzingen (ASR of Event Location) om het relevante tijdssegment te lokaliseren. Zodra het tijdsvenster is geïdentificeerd, schakelt de agent over naar dure, high-resolution visuele tools (Clip QA) om details te verifiëren. Deze aanpak bootst de menselijke cognitie na en vermijdt de computationele kosten van het verwerken van de volledige video met hoge getrouwheid.

3. Belangrijkste Bijdragen

1. OmniAgent Framework: De eerste actieve perceptie-agent voor omnimodaal begrip die de aandacht tussen auditieve en visuele modaliteiten dynamisch moduleert via een zelfreflecterend mechanisme, waardoor cross-modale uitlijningsproblemen effectief worden opgelost zonder rigide training.
2. Audio-Gestuurde Event Lokalisatie: De introductie van een nieuw algoritme dat audio-aanwijzingen gebruikt om evenementen temporeel te lokaliseren, wat dient als een precies voorstelmechanisme voor daaropvolgende fijnmazige visuele analyse.
3. Uitgebreide Toolset: De constructie van een modaliteit-specifieke toolkit (Video, Audio, Event) die de agent in staat stelt om adaptief de ruimtelijke en temporele focusbereiken te selecteren.

4. Experimentele Resultaten

De auteurs hebben OmniAgent geëvalueerd op drie benchmarks: Daily-Omni (kortformaat), OmniVideoBench (langformaat) en WorldSense (gemiddelde lengte, multi-domein).

• Prestaties: OmniAgent behaalde State-of-the-Art (SoTA) prestaties op alle benchmarks zonder training.
  • Op Daily-Omni bereikte het een nauwkeurigheid van 82,71%, waarmee het de sterke closed-source baseline Gemini 2.5-Flash (72,70%) en de open-source Qwen3-Omni-30B (72,08%) met marges van 10–20% versloeg.
  • Op OmniVideoBench behaalde het een nauwkeurigheid van 59,10%, waarmee het Qwen3-Omni-30B (38,40%) en andere end-to-end modellen significant overtrof.
  • Op WorldSense behaalde het een gemiddelde nauwkeurigheid van 61,2%, leidend over diverse domeinen inclusief Tech, Cultuur en Dagelijks Leven.
• Ablatie-studies:
  • Noodzaak van Tools: Het verwijderen van de Video Clip QA of Event Location tools veroorzaakte significante prestatieverliezen, wat de noodzaak van fijnmazige visuele analyse en audio-gestuurde lokalisatie bevestigt.
  • Modelkeuze: De keuze van de onderliggende LLM voor de "hersenen" en de specifieke tool-modellen (bijv. het gebruik van Gemini-2.5 voor event-lokalisatie vanwege de superieure temporele grounding) heeft een cruciale impact op de prestaties.
  • Redeneergedrag: Analyse toonde aan dat succesvolle agenten (zoals die met OpenAI o3) een strategisch patroon volgen: eerst de globale context vaststellen, vervolgens event-lokalisatie gebruiken om de scope te verkleinen, en tot slot fijnmazige visuele verificatie uitvoeren. Modellen die voortijdig convergeren op grove bewijslast (bijv. GPT-4o) presteren slecht.

5. Betekenis en Claims

Het artikel beweert dat OmniAgent een paradigmaverschuiving vertegenwoordigt van passieve responsgeneratie naar actieve multimodale onderzoek. Door modaliteiten expliciet te ontkoppelen in aanroepbare tools, omzeilt het systeem de uitlijnings-bottlenecks die inherent zijn aan end-to-end modellen.

De auteurs benadrukken dat hun aanpak:

• Cross-modale Uitlijning Oplost: Door audio te gebruiken om visuele aandacht te sturen, vermijdt het systeem de noodzaak van complexe gezamenlijke uitlijningstraining.
• Fijnmazig Begrip Mogelijk Maakt: Het vermogen om de ruimtelijke en temporele resolutie alleen waar nodig dynamisch te verhogen, maakt gedetailleerde redenering mogelijk die statische modellen missen.
• Transparantie Biedt: Het besluitvormingsproces (toolselectie, reflectie) is transparant en uitlegbaar, in tegenstelling tot de "black box"-aard van end-to-end fusie.

Het werk wordt gepresenteerd als een fundamentele stap richting omnimodale agentische algoritmen, waarbij wordt gesuggereerd dat toekomstig onderzoek zich moet richten op het trainen van native omnimodale agenten die in staat zijn tot het zelfstandig aanroepen van tools om de inferentiekosten verder te verlagen en de efficiëntie te verbeteren. De auteurs beperken hun evaluatie strikt tot open-source benchmark-datasets om privacyzorgen met betrekking tot real-world video-analyse aan te pakken.