Scaling Video Understanding via Compact Latent Multi-Agent Collaboration

1. Problemstellung

Aktuelle multimodale Large Language Models (MLLMs) stoßen beim Verständnis langer Videos aufgrund von begrenzten Wahrnehmungsbudgets an ein fundamentales Hindernis.

• Die Einschränkung: Ein einzelnes MLLM kann hochauflösende, langandauernde Videos nicht verarbeiten, ohne ein aggressives Downsampling (temporal/räumlich) vorzunehmen, was zu erheblichem Informationsverlust führt (z. B. das Übersehen spezifischer Objekte oder zeitlicher Ereignisse).
• Versagen bestehender Agentenmethoden: Bestehende Multi-Agenten-Ansätze versuchen dies durch regelbasierte Vorverarbeitung (z. B. Sampling) oder Retrieval zu mildern. Diese verlassen sich jedoch oft auf textbasierte Kommunikation zwischen den Agenten. Text ist für visuelle Aufgaben verlustbehaftet und kann feingranulare Details wie Bewegung, räumliche Beziehungen und Texturen nicht bewahren. Darüber hinaus sind textbasierte Pipelines oft teuer und abhängig von der Qualität der Zwischentexte, was eine Diskrepanz zu nativen visuellen Repräsentationen schafft.
• Die Kernherausforderung: Wie lässt sich die Wahrnehmungsarbeit unter strengen lokalen Budgets auf mehrere Agenten verteilen und gleichzeitig eine effiziente, informationsbewahrende globale Koordination ermöglichen, ohne auf verlustbehaftete textuelle Zusammenfassungen zurückzugreifen?

2. Methodik: MACF-Rahmenwerk

Die Autoren schlagen MACF (Multi-Agent Collaboration Framework) vor, ein End-to-End-verteiltes System, das die Wahrnehmungsbudgets pro Agent von der globalen Videokomplexität entkoppelt.

A. Architektur

• Verteilte lokale Agenten: Das Eingabevideo wird in disjunkte zeitliche Segmente partitioniert. Jedes Segment wird von einem lokalen Agenten ($A_m$) verarbeitet, der unter einem strengen Wahrnehmungsbudget ($B_{per}$) operiert, definiert durch die maximale Anzahl an Pixeln (Frames $\times$ Auflösung), die er verarbeiten kann.
• Zentraler Koordinator: Ein Koordinator-Agent ($A_0$) fasst Informationen aller lokalen Agenten zusammen, um die endgültige Antwort zu generieren.
• Agent-native latente Kommunikation: Anstatt Textbeschreibungen auszutauschen, codieren lokale Agenten ihre Beobachtungen in kompakte, kontinuierliche latente Tokens innerhalb eines gemeinsamen Einbettungsraums.
  • Jeder Agent $A_m$ bildet seinen visuellen Input $X^{(m)}$ und die Abfrage $q$ auf eine Sequenz fester Länge von Kommunikationstokens $c^{(m)} \in \mathbb{R}^{K \times d}$ ab.
  • Der Koordinator konsumiert diese Tokens direkt, wodurch die Notwendigkeit für Textgenerierung und -interpretation umgangen wird.

B. Optimierung und Curriculum-Training

Ein direktes End-to-End-Training ist aufgrund des „Min-Cut"-Engpasses im Informationsfluss instabil. Die Autoren führen eine dreistufige Curriculum-Trainingsstrategie ein:

1. Semantische Ausrichtung: Agenten lernen, visuelle Inputs unter Verwendung von Caption-Überwachung auf einen einheitlichen latenten Raum abzubilden. Dies stellt sicher, dass der Koordinator die Tokens in sinnvolle Sprache decodieren kann, und etabliert einen stabilen Kommunikationskanal.
2. Evidenz-Zusammenfassung: Agenten werden auf Image-QA-Datensätzen feinabgestimmt, um zu lernen, wie sie aufgabenrelevante Evidenz in kompakte Tokens komprimieren, die auf die Abfrage konditioniert sind.
3. Agentenübergreifende Zusammenarbeit: Das gesamte System wird auf Video-QA-Datensätzen trainiert. Der Koordinator lernt, verteilte Tokens mehrerer Agenten zu fusionieren, um eine globale Schlussfolgerung durchzuführen.

3. Hauptbeiträge

1. Formalisierung von budgetbeschränkter Multi-Agenten-Videoanalyse: Das Papier definiert eine Problemstellung, bei der sowohl die Wahrnehmung (Pixel) als auch die Kommunikation (Tokens) strikt begrenzt sind, und schlägt ein Rahmenwerk vor, das die Videolänge durch Erhöhung der Anzahl der Agenten statt durch Vergrößerung der Eingabegröße pro Agent skaliert.
2. Agent-nativer latenter Kommunikationsmechanismus: Ein neues Protokoll, bei dem Agenten dichte, kontinuierliche Vektoren anstelle von Text austauschen. Dies bewahrt feingranulare visuelle Semantik (z. B. spezifische Farben, Texturen, räumliche Beziehungen), die bei textueller Zusammenfassung oft verloren geht.
3. Curriculum-Trainingsstrategie: Ein progressives Trainingsverfahren, das die Optimierung des gemeinsamen latenten Raums stabilisiert und eine semantische Ausrichtung sowie eine effektive Evidenzaggregation über die Agenten hinweg sicherstellt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MACF auf vier Benchmarks für lange Videos: Video-MME, LongVideoBench, LVBench und MLVU-Test.

• Leistung: MACF schneidet unter identischen Wahrnehmungsbudget-Beschränkungen konsistent besser ab als State-of-the-Art-MLLMs (einschließlich Qwen3-VL-8B, LLaVA-OneVision und GPT-4o).
  • Beispiel: Unter Verwendung von Qwen3-VL-8B als Backbone erzielte MACF Verbesserungen von +4,5 % bis +7,7 % gegenüber dem Basismodell über die Benchmarks hinweg.
  • Auf MLVU-Test übertraf MACF alle verglichenen Open-Source-Modelle, selbst jene ohne Eingabe-Budgetbeschränkungen.
• Kommunikationseffizienz:
  • Im Vergleich zur textbasierten Kommunikation (MapReduce) verbesserte MACF die Leistung um 9,7 % bis 20,3 %.
  • Im Vergleich zur KV-Cache-Freigabe (LatentMAS) verbesserte MACF die Leistung um 10,3 % bis 14,1 %, bei gleichzeitig deutlich geringerer Latenz und geringeren Durchsatzkosten.
• Qualitative Analyse: In einer Fallstudie zur Farbe eines Hundespiels versagten textbasierte Agenten, weil ein Agent den Hund aufgrund von Textkompressionsfehlern falsch identifizierte. Die latenten Tokens von MACF bewahrten die visuelle Evidenz, sodass der Koordinator die Farbe des Seils korrekt identifizieren konnte.
• Skalierbarkeit: Die Leistung skaliert linear mit der Anzahl der Agenten (zeitliche Kapazität) und der räumlichen Auflösung, bis die Kommunikationsengpassgrenze erreicht ist, was die Fähigkeit des Rahmenwerks demonstriert, längere Videos durch Hinzufügen weiterer Agenten zu verarbeiten.

5. Bedeutung und Auswirkung

• Paradigmenwechsel: MACF bewegt sich weg von textzentrierten Multi-Agenten-Systemen hin zur latent-nativen Zusammenarbeit und beweist, dass direkte visuell-semantische Kommunikation für Videoverständnis-Aufgaben überlegen ist.
• Skalierbarkeit: Es bietet eine praktische Lösung für die Analyse langer Videos unter festen Hardwarebeschränkungen (z. B. begrenzter VRAM oder Kontextfenster), indem die Last verteilt wird, anstatt den Input zu komprimieren.
• Generalisierung: Das Rahmenwerk ist modellagnostisch und funktioniert effektiv mit verschiedenen Backbone-Architekturen (Qwen, LLaVA) über Adapter-Module, was es anpassungsfähig an zukünftige MLLM-Entwicklungen macht.
• Effizienz: Durch die Vermeidung autoregressiver Textgenerierung für die agentenübergreifende Kommunikation reduziert MACF die Inferenzlatenz und den Rechenaufwand im Vergleich zu retrievalbasierten oder textbasierten Multi-Agenten-Systemen erheblich.

Zusammenfassend zeigt MACF, dass die Entkopplung von Wahrnehmung und Komplexität durch kompakte latente Zusammenarbeit eine hochwirksame Strategie zur Skalierung des Videoverständnisses ist, die die visuelle Fidelity bewahrt und gleichzeitig strikte Rechenbudgets einhält.