Scaling Video Understanding via Compact Latent Multi-Agent Collaboration

1. Probleemstelling

Huidige Multimodale Grootte Taalmodellen (MLLM's) staan voor een fundamentele bottleneck bij het begrijpen van lange video's vanwege beperkte perceptie-contextbudgetten.

• De Beperking: Een enkel MLLM kan geen hoogresolutie video's met lange duur verwerken zonder agressieve downsampling (temporeel/ruimtelijk), wat leidt tot aanzienlijk informatieverlies (bijvoorbeeld het missen van specifieke objecten of temporele gebeurtenissen).
• Falende Bestaande Agentische Methoden: Bestaande multi-agentbenaderingen proberen dit te mitigeren via regelgebaseerde voorverwerking (bijvoorbeeld sampling) of retrieval. Deze methoden vertrouwen echter vaak op tekstgebaseerde communicatie tussen agenten. Tekst is verliesgevend voor visuele taken en faalt in het behouden van fijnmazige details zoals beweging, ruimtelijke relaties en texturen. Bovendien zijn tekstgebaseerde pipelines vaak duur en afhankelijk van de kwaliteit van de tussentijdse tekst, wat een disconnectie creëert met native visuele representaties.
• De Kernuitdaging: Hoe kan het perceptiewerklast verdeeld worden over meerdere agenten onder strikte lokale budgetten, terwijl er efficiënte, informatiebehoudende globale coördinatie mogelijk is zonder te vertrouwen op verliesgevende tekstsamenvattingen?

2. Methodologie: MACF Framework

De auteurs stellen MACF (Multi-Agent Collaboration Framework) voor, een end-to-end gedistribueerd systeem dat de perceptiebudgetten per agent ontkoppelt van de globale video-complexiteit.

A. Architectuur

• Gedistribueerde Lokale Agenten: De invoervideo wordt opgesplitst in disjuncte temporele segmenten. Elk segment wordt verwerkt door een lokale agent ($A_m$) die werkt onder een strikt perceptiebudget ($B_{per}$), gedefinieerd door het maximale aantal pixels (frames $\times$ resolutie) dat het kan verwerken.
• Centrale Coördinator: Een coördinator-agent ($A_0$) aggregeert informatie van alle lokale agenten om het uiteindelijke antwoord te produceren.
• Agent-Native Latente Communicatie: In plaats van tekstbijschriften uit te wisselen, coderen lokale agenten hun waarnemingen in compacte, continue latente tokens binnen een gedeelde inbeddingsruimte.
  • Elke agent $A_m$ mapt zijn visuele invoer $X^{(m)}$ en query $q$ naar een vaste reeks communicatietokens $c^{(m)} \in \mathbb{R}^{K \times d}$.
  • De coördinator consumeert deze tokens direct, waardoor de noodzaak voor tekstgeneratie en -interpretatie wordt omzeild.

B. Optimalisatie & Curriculum Training

Directe end-to-end training is instabiel vanwege de "min-cut"-bottleneck in de informatiestroom. De auteurs introduceren een driefasen curriculum-trainingstrategie:

1. Semantische Alignering: Agenten leren visuele invoer af te beelden op een uniforme latente ruimte met behulp van bijschriftsupervisie. Dit zorgt ervoor dat de coördinator de tokens kan decoderen naar betekenisvolle taal, waardoor een stabiel communicatiekanaal wordt gelegd.
2. Evidentie Samenvatting: Agenten worden fijnge tuned op Image-QA-datasets om te leren hoe ze taakrelevante evidentie kunnen comprimeren tot compacte tokens, geconditioneerd op de query.
3. Cross-Agent Samenwerking: Het volledige systeem wordt getraind op Video-QA-datasets. De coördinator leert gedistribueerde tokens van meerdere agenten te fuseren om globale redenering uit te voeren.

3. Belangrijkste Bijdragen

1. Formalisatie van Budget-Gedwongen Multi-Agent Video Understanding: Het artikel definieert een probleemstelling waarbij zowel perceptie (pixels) als communicatie (tokens) strikt begrensd zijn, en stelt een framework voor dat de videolengte schaalt door het aantal agenten te verhogen in plaats van de invoergrootte per agent.
2. Agent-Native Latente Communicatiemechanisme: Een nieuw protocol waarbij agenten dichte, continue vectoren uitwisselen in plaats van tekst. Dit behoudt fijnmazige visuele semantiek (bijvoorbeeld specifieke kleuren, texturen, ruimtelijke relaties) die vaak verloren gaan bij tekstuele samenvatting.
3. Curriculum Training Strategie: Een progressieve trainingsaanpak die de optimalisatie van de gedeelde latente ruimte stabiliseert, waardoor semantische alignering en effectieve evidentieaggregatie tussen agenten worden gewaarborgd.

4. Experimentele Resultaten

De auteurs hebben MACF geëvalueerd op vier benchmarks voor lange video's: Video-MME, LongVideoBench, LVBench en MLVU-Test.

• Prestaties: MACF presteert consistent beter dan state-of-the-art MLLM's (waaronder Qwen3-VL-8B, LLaVA-OneVision en GPT-4o) onder identieke perceptiebudgetbeperkingen.
  • Voorbeeld: Met Qwen3-VL-8B als backbone behaalde MACF winsten van +4,5% tot +7,7% ten opzichte van het basismodel over de benchmarks.
  • Op MLVU-Test overtrof MACF alle vergeleken open-source modellen, zelfs die zonder invoerbudgetbeperkingen.
• Communicatie-efficiëntie:
  • In vergelijking met tekstgebaseerde communicatie (MapReduce) verbeterde MACF de prestaties met 9,7% tot 20,3%.
  • In vergelijking met KV-cache sharing (LatentMAS) verbeterde MACF de prestaties met 10,3% tot 14,1%, terwijl het aanzienlijk lagere latentie- en doorvoerkosten behaalde.
• Kwalitatieve Analyse: In een case study over de kleur van een hondentouw faalden tekstgebaseerde agenten omdat een agent de hond verkeerd identificeerde door tekstcompressiefouten. De latente tokens van MACF behielden de visuele evidentie, waardoor de coördinator de kleur van het touw correct kon identificeren.
• Schaalbaarheid: De prestaties schalen lineair met het aantal agenten (temporele capaciteit) en ruimtelijke resolutie totdat de communicatiebottleneck wordt bereikt, wat de mogelijkheid van het framework aantoont om langere video's te verwerken door meer agenten toe te voegen.

5. Betekenis en Impact

• Paradigmaverschuiving: MACF beweegt weg van tekstgerichte multi-agent systemen naar latente native samenwerking, en bewijst dat directe visueel-semantische communicatie superieur is voor video-interpretatietaken.
• Schaalbaarheid: Het biedt een praktische oplossing voor analyse van lange video's op vaste hardwarebeperkingen (bijvoorbeeld beperkt VRAM of contextvensters) door de last te verdelen in plaats van de invoer te comprimeren.
• Generalisatie: Het framework is model-onafhankelijk en werkt effectief met verschillende backbone-architecturen (Qwen, LLaVA) via adaptermodules, waardoor het aanpasbaar is aan toekomstige MLLM-ontwikkelingen.
• Efficiëntie: Door autoregressieve tekstgeneratie voor inter-agent communicatie te vermijden, reduceert MACF de inferentie-latentie en de computere last aanzienlijk in vergelijking met retrieval-gebaseerde of tekstgebaseerde multi-agent systemen.

Concluderend toont MACF aan dat het ontkoppelen van perceptie van complexiteit via compacte latente samenwerking een zeer effectieve strategie is voor het schalen van video-interpretatie, waarbij visuele fideliteit wordt behouden terwijl strikte computatiebudgetten worden nageleefd.