🤖 AI

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

Dit artikel introduceert MOV-Bench, een benchmark voor multi-hop audio-visueel redeneren, en stelt AOP-Agent voor, een efficiënt agentisch raamwerk dat de redeneercapaciteiten van open-source Omni-LLMs verbetert door actieve omni-modale perceptie zonder extra training.

Oorspronkelijke auteurs: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Naaald in een Hooiberg"-Video

Stel je voor dat je een 30 minuten durende video krijgt van een drukke werkplaats. Iemand stelt je een lastige vraag: "Waarom heeft de technicus die specifieke lijm op de chip aangebracht?"

Om dit te beantwoorden, kun je niet naar één seconde kijken. Je moet:

Luisteren naar een opmerking van 5 minuten geleden over een "defecte chip".
Kijken naar een visuele shot van 10 minuten geleden dat een losse draad toont.
Verbinden die twee ver uit elkaar liggende stukjes informatie om te beseffen dat de lijm een tijdelijke oplossing is voor een slechte soldeerverbinding.

Huidige AI-modellen (zogenaamde Omni-LLM's) zijn als studenten die proberen de hele video in één keer uit het hoofd te leren. Als de video lang is, raken ze overweldigd. Ze vergeten de aanwijzing van 5 minuten geleden of missen de visuele aanwijzing van 10 minuten geleden. Ze proberen het antwoord te raden op basis van de hele rommel, vaak foutief omdat het bewijs verspreid en schaars is.

Oplossing 1: MOV-Bench (De "Moeilijke Toets")

De onderzoekers bouwden eerst een nieuwe toets genaamd MOV-Bench.

Wat het is: Een verzameling van 519 lastige vragen gebaseerd op echte video's.
De Haken: Elke vraag vereist "multi-hop" redenering. Je kunt het niet beantwoorden door slechts één clip te bekijken. Je moet springen tussen verschillende tijdstippen in de video en wisselen tussen luisteren (audio) en kijken (visueel).
Het Resultaat: Toen ze huidige AI-modellen op deze toets testten, faalden de modellen. Ze hadden moeite om de verspreide aanwijzingen te vinden en de punten met elkaar te verbinden.

Oplossing 2: AOP-Agent (De "Detective")

In plaats van de AI te dwingen de hele video in één keer uit het hoofd te leren, creëerden de onderzoekers een nieuw systeem genaamd AOP-Agent. Denk hierbij niet aan een student die leert voor een toets, maar aan een detective die een mysterie oplost.

Zo werkt de detective, met een "Low-Resource"-aanpak (wat betekent dat het geen dure supercomputers of speciale training nodig heeft):

Het Archiefkast (Hiërarchisch Geheugen):
Voordat de detective begint, wordt de video georganiseerd in een slim archiefkast.
- Het Overzicht: Een samenvatting van één pagina van de hele video.
- De Hoofdstukken: De video is opgedeeld in 30-seconden blokken, elk met een korte samenvatting en een lijst met "sleutelwoorden" (zoals "lijm", "chip", "soldeer").
- De Details: Indien nodig kan de detective inzoomen op specifieke 5-seconden clips voor hoogwaardige details.
De Drie-Stappen Cyclus (Observeren, Reflecteren, Herplannen):
De detective kijkt niet zomaar; hij jaagt actief op aanwijzingen met drie rollen:
- De Planner: Kijkt naar de vraag en het "Archiefkast". Hij zegt: "Ik moet vinden waar ze over de lijm hebben gesproken. Laten we eerst de 'Sleutelwoorden'-sectie zoeken."
- De Observer: Gebruikt hulpmiddelen om de specifieke video-segmenten op te halen die de Planner heeft gevraagd.
- De Reflector: Controleert het bewijs. "Oké, we hebben de lijm gevonden, maar we hebben de 'defecte chip' nog niet gevonden. De huidige aanwijzingen zijn niet genoeg. Laten we teruggaan en de 'Audio'-sectie zoeken voor de volgende 30 seconden."
Als de aanwijzingen nog steeds ontbreken, verandert de Planner de strategie (Herplannen) en probeert een ander zoekhulpmiddel. Deze cyclus gaat door totdat de detective er zeker van is dat hij alle stukjes heeft.
Het Antwoord:
Zodra de detective voldoende specifiek bewijs uit verschillende delen van de video heeft verzameld, legt de Redener (de uiteindelijke rechter) de puzzel samen en geeft het antwoord.

Waarom Dit Belangrijk Is

Geen Magische Training: Dit systeem werkt met open-source AI-modellen zonder dat ze opnieuw getraind hoeven te worden of dure, propriëtaire "black box"-modellen nodig hebben.
Actief vs. Passief: Oude methoden waren passief (de hele video bekijken en hopen te onthouden). AOP-Agent is actief (bepalen precies waar naar gekeken moet worden, wanneer er gekeken moet worden en wanneer gestopt moet worden).
De Resultaten: Toen getest op de "Moeilijke Toets" (MOV-Bench) en andere video-benchmarks, presteerde AOP-Agent aanzienlijk beter dan de oude methoden, vooral bij lange video's en vragen die het verbinden van veel verschillende aanwijzingen vereisten.

De Beperkingen (De "Fouten van de Detective")

Het artikel geeft toe dat het systeem niet perfect is:

Hallucinaties: Als het "Archiefkast" (het geheugen) een scène verkeerd beschrijft (bijvoorbeeld: het zegt dat iemand schreeuwde terwijl dat niet zo was), kan de detective een vals verhaal op basis van die leugen opbouwen.
Snelheid: Omdat de detective moet stoppen, denken, zoeken en meerdere keren controleren, duurt het langer dan gewoon één keer naar de video kijken.
Real-time: Het systeem moet de hele video eerst verwerken in het archiefkast, dus het kan momenteel niet werken met live, streamende video (zoals een live sportuitzending) in real-time.

Samenvatting

Het artikel introduceert een nieuwe manier om AI te leren redeneren over lange video's. In plaats van te proberen de hele video in één keer te slikken, geven ze de AI een detective-toolkit: een slim archiefsysteem en een stap-voor-stap proces om verspreide aanwijzingen te jagen, te reflecteren op wat ze vonden, en pas te antwoorden wanneer ze zeker zijn. Dit stelt standaard, open-source AI-modellen in staat complexe videopuzzels op te lossen die ze eerder niet aankonden.

Technische Samenvatting: Agente Actieve Omni-Modale Perceptie voor Multi-Hop Audiovisueel Redeneren

Probleemstelling

Huidige Omni-Modale Grootte Taalmodellen (Omni-LLMs) staan voor aanzienlijke uitdagingen bij multi-hop audiovisueel redeneren, vooral wanneer relevante bewijslast schaars is, over de tijd verspreid ligt en verdeeld is over zowel audio- als visuele streams. Bestaande benchmarks falen vaak om deze specifieke capaciteit te isoleren, en omvatten doorgaans beperkte modaliteiten, korte tijdssegmenten of beslissende bewijslast van slechts één modaliteit. Bijgevolg blijft het onduidelijk of Omni-LLMs effectief schaarse, cross-modale bewijslast die over meerdere tijdssegmenten verspreid is, kunnen integreren om complexe vragen te beantwoorden. Bovendien vertrouwen bestaande agente-benaderingen voor actieve perceptie vaak op kostbare propriëtaire modellen of vereisen ze uitgebreide training, wat hun toepasbaarheid beperkt tot open-source Omni-LLMs in omgevingen met beperkte middelen.

Methodologie

1. MOV-Bench: Een Benchmark voor Multi-Hop Redeneren

Om deze capaciteit rigoureus te evalueren, introduceren de auteurs MOV-Bench (Multi-hop Omni Video Benchmark).

Datasetconstructie: Gebaseerd op de Fine-Video-dataset, bevat MOV-Bench 519 zorgvuldig samengestelde meerkeuzevragen.
Ontwerpprincipes:
- Multi-hop Tijdsredenering: Vragen vereisen bewijs uit 2 tot 4 distincte tijdssegmenten, waardoor modellen niet kunnen vertrouwen op perceptie van één enkel moment.
- Cross-modale Integratie: Vragen zijn zo geconstrueerd dat noch de audio- noch de visuele stream op zichzelf voldoende is; modellen moeten visuele gebeurtenissen, spraakinhoud en audiohinten gezamenlijk interpreteren.
- Redeneerthema's: Vragen behandelen vijf distincte redeneerpatronen: causaal, referentieel, relationeel, hypothetisch en intentie-redenering.
Kwaliteitscontrole: Een twee-traps filterproces (alleen-taal filtering om bias te verwijderen, gevolgd door menselijke verificatie) zorgt ervoor dat vragen echte cross-modale multi-hop redenering vereisen.

2. AOP-Agent: Framework voor Actieve Omni-Modale Perceptie

Om de beperkingen van passieve verwerking aan te pakken, stellen de auteurs AOP-Agent voor, een efficiënt agentisch framework ontworpen voor open-source Omni-LLMs zonder aanvullende training of propriëtaire componenten.

Hiërarchische Omni-modale Geheugen: In plaats van ruwe videostreams direct te verwerken, organiseert AOP-Agent video-inhoud in een gestructureerd geheugen:
- Fijnmazige clips: Behoud van lokale details.
- Midden-niveau segmenten: Samengevoegde clips (≤30s) gecomprimeerd met lagere resolutie.
- Gestructureerde Metadata: Voor elk segment genereert het systeem visuele sleutelpunten, audiosleutelpunten, zoekwoorden en segmentniveau-beschrijvingen.
- Globale Samenvatting: Een samengestelde beschrijving van de volledige video.
Observeer-Reflecteer-Herplannen-lus: Het framework hanteert een multi-agent samenwerkingsproces:
- Planner Agent ( $A_P$ ): Bepaalt het volgende observatiedoel op basis van de huidige redeneertoestand, en selecteert specifieke videoregio's om te inspecteren.
- Observatietools: Een suite van vijf complementaire tools stelt de agent in staat om door het hiërarchische geheugen te navigeren:
  - Beschrijvingsgebaseerd: Semantische matching voor hoog-niveau gebeurtenissen.
  - Sleutelwoordgeleid: Lexicale retrievel voor expliciete entiteiten/handelingen.
  - Sleutelpuntgeleid: Matching van visuele/audiosleutelpunten voor cross-modale aanwijzingen.
  - Buurobservatie: Uitbreiding naar tijds-geadjacente segmenten.
  - Fijnmazige Observatie: Verdiepen voor lokale verificatie.
- Reflector Agent ( $A_R$ ): Evalueert of huidige observaties voldoende zijn. Zo niet, dan geeft het feedback om herplanning te sturen; zo ja, dan triggert het de uiteindelijke redenering.
- Redenaar Agent ( $A_A$ ): Synthetiseert opgebouwde bewijslast om het definitieve antwoord te genereren.

Belangrijkste Bijdragen

MOV-Bench: Een nieuwe benchmark die specifiek gericht is op multi-hop audiovisueel redeneren over over de tijd verspreide segmenten, en die blootlegt dat huidige Omni-LLMs moeite hebben om schaarse cross-modale bewijslast te lokaliseren en te integreren.
AOP-Agent: Een low-resource agentisch framework dat open-source Omni-LLMs in staat stelt actieve perceptie uit te voeren. Dit wordt bereikt door hiërarchische geheugenconstructie en een collaboratieve observeer-reflecteer-herplannen-lus, waardoor de behoefte aan aanvullende training of propriëtaire modellen wordt geëlimineerd.
Empirische Validatie: Demonstraties dat AOP-Agent consequent de redeneerprestaties verbetert op zowel MOV-Bench als OmniVideoBench, met significante winsten bij lange video's en vragen die intensief redeneren vereisen.

Experimentele Resultaten

Experimenten werden uitgevoerd op MOV-Bench en OmniVideoBench met diverse open-source Omni-LLMs (bijv. Qwen3-Omni-Instruct, Qwen2.5-Omni-7B).

Beperkingen van de Baseline: Directe inferentie op MOV-Bench toonde aan dat huidige Omni-LLMs relatief lage nauwkeurigheid bereiken (bijv. Qwen3-Omni-Instruct op ~52,8%). De prestaties verslechteren aanzienlijk naarmate de videolengte toeneemt en het aantal redeneerhops groeit (bijv. dalend naar ~44% bij 4-hop vragen).
Prestaties van AOP-Agent:
- Algemene Verbetering: AOP-Agent presteerde consequent beter dan directe inferentie-baselines over verschillende modelruggengraten. Bijvoorbeeld, bij lange video's met Qwen3-Omni-Instruct steeg de nauwkeurigheid van 45,50% naar 60,85%.
- Vergelijking met Agentische Frameworks: In tegenstelling tot bestaande agentische frameworks (OmniAgent, ActiveVideoPerception), die slechter presteerden dan directe inferentie wanneer aangepast aan open-source modellen, bereikte AOP-Agent superieure resultaten. Dit suggereert dat bestaande methoden, vaak ontworpen voor krachtige propriëtaire modellen, foutaccumulatie versterken in zwakkere open-source modellen zonder de specifieke structurele ondersteuning die AOP-Agent biedt.
- Ablatiestudies:
  - Componenten: Zowel de Planner- als de Reflector-agent droegen bij aan de prestaties, waarbij de volledige lus de beste resultaten opleverde.
  - Modeltoewijzing: Sterkere plannings- en reflectiecapaciteiten bleken kritischer dan de kracht van de uiteindelijke redenaar, wat benadrukt dat effectieve bewijsselectie voorafgaat aan succesvol redeneren.
  - Observatierondes: De prestaties verbeterden met meer observatierondes (tot 3), maar saturatie of lichte verslechtering trad op bij excessieve rondes, wat wijst op een afweging tussen bewijswinst en ruisaccumulatie.

Betekenis en Beweringen

Het artikel stelt dat de primaire bottleneck voor huidige Omni-LLMs bij multi-hop redeneren niet louter de redeneercapaciteit zelf is, maar het vermogen om schaarse, over de tijd verspreide bewijslast effectief te lokaliseren, te behouden en te integreren.

Door over te schakelen van passieve videobewerking naar actieve, iteratieve perceptie, stelt AOP-Agent open-source modellen in staat om selectief vragen-relevante bewijslast te inspecteren. De auteurs stellen dat deze aanpak een schaalbaar en effectief paradigma biedt voor omni-modale redenering bij lange video's, met name in scenario's waar beslissende bewijslast schaars is. Het werk toont aan dat complexe multi-hop redenering kan worden bereikt zonder kostbare propriëtaire modellen of grootschalige training, mits het systeem is uitgerust met hiërarchisch geheugen en een gestructureerde lus voor actieve perceptie.

Erkende Beperkingen:

De schaal van MOV-Bench wordt beperkt door annotatiekosten.
De meertraps-lus introduceert inferentie-overhead.
Het systeem blijft vatbaar voor hallucinaties in de onderliggende geheugenbasis, wat fouten kan verspreiden.
De huidige geheugenconstructie is offline-gebaseerd, wat de toepasbaarheid beperkt tot real-time streaming-scenario's.