EVA: Efficient Reinforcement Learning for End-to-End Video Agent

Das Paper stellt EVA vor, einen effizienten Reinforcement-Learning-Framework für End-to-End-Videoagenten, der durch einen dreistufigen Lernprozess und ein „Planen vor dem Wahrnehmen"-Prinzip eine query-getriebene, adaptive Videoanalyse ermöglicht und damit bestehende MLLM-Baselines sowie adaptive Agentenmethoden signifikant übertrifft.

Das Wesentliche

Stell dir vor, du hast einen riesigen, 2-stündigen Film vor dir und jemand fragt dich: „Was passiert genau in der Minute, in der der Held das Schwert findet?"

Das alte Problem:
Die meisten bisherigen KI-Modelle (die sogenannten MLLMs) gehen bei dieser Aufgabe wie ein etwas verwirrter Tourist vor, der versucht, den ganzen Film in Zeitlupe anzusehen. Sie schauen sich jeden einzelnen Frame an, egal ob er wichtig ist oder nicht. Bei einem langen Video ist das wie der Versuch, einen Ozean mit einem Eimer auszuheben: Es dauert ewig, kostet viel Energie (Rechenleistung) und am Ende hat man vielleicht immer noch nicht genau das gesehen, was man suchte, weil man im Rauschen der unwichtigen Details untergegangen ist.

Andere „Agenten"-Modelle sind etwas schlauer, aber sie arbeiten immer noch nach dem Prinzip: „Zuerst schauen, dann denken." Sie bekommen erst eine Auswahl von Bildern gezeigt und dann überlegen sie, was sie tun sollen. Das ist, als würde man einem Detektiv erst ein Fotoalbum von 1000 zufälligen Bildern geben und erst danach sagen: „Suche den Mörder." Der Detektiv ist schon überfordert, bevor er überhaupt einen Plan gefasst hat.

Die Lösung: EVA (Efficient Video Agent)
Das Paper stellt EVA vor. Das ist wie ein hochspezialisiertes, selbstständiges Detektiv-Team, das eine völlig neue Strategie anwendet: „Zuerst planen, dann schauen."

Stell dir EVA wie einen erfahrenen Filmregisseur vor, der einen Film analysieren muss:

1. Der Plan (Bevor das Auge sieht):
   Bevor EVA überhaupt ein einziges Bild des Videos sieht, liest es die Frage und denkt nach: „Okay, ich suche nach einem Schwert. Wahrscheinlich passiert das in einer Kampfszene. Ich muss also nicht den ganzen Film schauen, sondern nur die Teile, die wie Kampfszenen aussehen."

   • Analogie: Ein Detektiv schaut sich erst die Akte an und entscheidet: „Ich muss nur in die Schublade 'Waffen' schauen, nicht in die ganze Wohnung."

2. Der adaptive Blick (Das „Wie" und „Wann"):
   EVA hat ein magisches Fernglas (ein Werkzeug), mit dem es das Video steuern kann.

   • Weitwinkel-Modus: Zuerst schaut es sich das ganze Video schnell und in niedriger Auflösung an (wie ein Zeitraffer), nur um einen groben Überblick zu bekommen. Das kostet kaum Energie.
   • Zoom-Modus: Sobald es eine vielversprechende Stelle findet (z. B. „Aha, da scheint jemand zu kämpfen!"), zoomt es sofort hinein, schaut sich die Frames in hoher Auflösung und hoher Geschwindigkeit an, um die Details zu erkennen.
   • Analogie: Statt den ganzen Ozean mit dem Eimer zu leeren, wirft EVA erst einen Blick auf die Karte, findet die Stelle, wo der Schatz liegt, und taucht nur dort mit einem Taucheranzug ein.

3. Der Lernprozess (Wie EVA so schlau wurde):
   Damit EVA dieses Verhalten lernt, haben die Forscher einen dreistufigen Trainingsplan entwickelt, der wie das Training eines Sportlers aussieht:

   • Stufe 1 (SFT - Das Grundtraining): EVA lernt die Regeln: Wie formuliere ich eine Frage? Wie bediene ich das Fernglas? Es lernt die Basics durch Nachahmen von Beispielen.
   • Stufe 2 (KTO - Die Fehleranalyse): Hier wird EVA mit Szenarien konfrontiert, in denen es Fehler macht (z. B. „Du hast den ganzen Film geschaut, obwohl die Antwort in 5 Sekunden lag"). Es lernt daraus, welche Strategien schlecht sind, ohne dass es jedes Mal neu erfinden muss. Es lernt, Fallstricke zu vermeiden.
   • Stufe 3 (GRPO - Der Wettkampf): Jetzt darf EVA selbst ausprobieren. Es bekommt viele Fragen, probiert verschiedene Wege aus, um sie zu beantworten, und bekommt Punkte für die richtigen Antworten. Wenn es effizient ist (wenige Bilder, schnelle Antwort), bekommt es Belohnungen. So entwickelt es seine eigene, super-effiziente Strategie.

Das Ergebnis:
EVA ist nicht nur schneller und braucht weniger Rechenleistung, sondern ist auch genauer.

• Effizienz: Es schaut sich oft nur 20–30 Frames an, wo andere Modelle hunderte oder tausende brauchen.
• Intelligenz: Es versteht, wann es genau hinschauen muss und wann es sich einen groben Überblick verschaffen kann.

Zusammenfassung in einem Satz:
Während andere KIs versuchen, einen Film Wort für Wort zu lesen, liest EVA erst den Inhaltsverzeichnis, springt direkt zur spannenden Stelle, zoomt dort hinein und beantwortet die Frage – alles automatisch, schnell und ohne unnötigen Aufwand.

Technische Zusammenfassung

1. Problemstellung

Das Verständnis von Videos mit multimodalen großen Sprachmodellen (MLLMs) stellt aufgrund der extrem langen Token-Sequenzen, die extensive zeitliche Abhängigkeiten und redundante Frames enthalten, eine große Herausforderung dar.

• Passive Erkennung: Bestehende Ansätze behandeln MLLMs meist als passive Erkennungssysteme, die entweder ganze Videos oder gleichmäßig abgetastete Frames verarbeiten, ohne adaptive Reasoning-Fähigkeiten.
• Ineffizienz bei Agenten: Neuere agentenbasierte Methoden führen zwar externe Werkzeuge ein, bleiben aber oft auf manuell gestaltete Workflows und „Perception-First"-Strategien angewiesen. Das bedeutet, das Modell erhält zunächst eine Menge gleichmäßig abgetasteter Frames, was zu redundanter visueller Verarbeitung und ineffizientem Reasoning bei langen Videos führt.
• Das Dilemma: Es besteht ein Zielkonflikt zwischen der Notwendigkeit, genügend visuelle Informationen zu sammeln, und der Begrenzung der Token-Kapazität und Rechenkosten.

2. Methodik: EVA (Efficient Video Agent)

EVA führt ein neues Paradigma ein: „Planning-before-Perception" (Planung vor Wahrnehmung). Statt das Video sofort zu „sehen", plant der Agent zunächst rein basierend auf der textuellen Abfrage, was, wann und wie er schauen soll.

Kernarchitektur

Der Agent operiert in einem iterativen Zyklus aus Zusammenfassung (Summary) – Planung (Plan) – Aktion (Action) – Reflexion (Reflection):

• Aktion: Der Agent ruft ein flexibles Werkzeug (frame_select) auf, das ihm erlaubt, zeitliche Fenster (start_time, end_time), die Anzahl der Frames (nframes) und die räumliche Auflösung (resize) dynamisch anzupassen.
• Strategie: Der Agent kann zunächst das gesamte Video in niedriger Auflösung und hoher Bildrate (FPS) scannen, um einen Überblick zu gewinnen, und sich dann gezielt auf relevante Zeitabschnitte mit hoher Auflösung und hoher Frame-Dichte konzentrieren.

Drei-Stufen-Trainings-Pipeline

Um einen solchen autonomen Agenten zu trainieren, wurde eine effiziente Pipeline entwickelt, die überwachtes Lernen mit Reinforcement Learning (RL) verbindet:

1. Supervised Fine-Tuning (SFT) – Cold Start:

   • Ein Lehrer-Modell (Qwen2.5-VL-72B) generiert hochwertige Trainingsdaten mit dem Format: Summary + Planning + Action + Reflection.
   • Ziel: Das Modell lernt das Tool-Calling-Format, das Reasoning-Muster und grundlegende Strategien zur Frame-Auswahl.
   • Datensatz: EVA-SFT (10k Samples).

2. Kahneman-Tversky Optimization (KTO):

   • Ziel: Korrektur von häufigen Fehlermustern (z. B. Antworten ohne ausreichende visuelle Evidenz oder ineffiziente Sampling-Strategien).
   • Im Gegensatz zu DPO (Direct Preference Optimization) benötigt KTO keine Paare von Vorlieben, sondern einzelne „gewählte" (erfolgreich) oder „abgelehnte" (gescheitert) Trajektorien. Dies stabilisiert das Training vor dem RL-Schritt.
   • Datensatz: EVA-KTO (11k gelabelte Strategien).

3. Generalized Reward Policy Optimization (GRPO):

   • Ein Online-RL-Schritt, bei dem das Modell mehrere Rollouts generiert und aus Erfolgen und Misserfolgen lernt.
   • Reward-Shaping:
     • Für Multiple-Choice-Fragen: Completeness Self-Verification (CSV) Reward (Bestätigung durch ein Judge-Modell).
     • Für offene Fragen: ROUGE-Score als Reward-Signal.
   • Data-Enhanced Pipeline: Um Reward-Hacking zu vermeiden und die Vielfalt der Herausforderungen zu erhöhen, werden bei Misserfolgen neue Frage-Antwort-Paare generiert und in den Trainingsloop integriert.
   • Datensatz: EVA-RL (9,6k offene QA-Paare + 1,1k Multiple-Choice).

3. Wichtige Beiträge

• Neues Paradigma: Einführung eines „Planning-before-Perception"-Frameworks, das den Agenten von einem passiven Erkennungsmodell zu einem aktiven, adaptiven Beobachter transformiert.
• Effiziente Trainingspipeline: Eine skalierbare Kombination aus SFT, KTO und GRPO, die sowohl die Reasoning-Tiefe als auch die Recheneffizienz verbessert.
• Hochwertige Datensätze: Erstellung der spezifischen Datensätze EVA-SFT, EVA-KTO und EVA-RL, die stabiles und reproduzierbares Training für Video-Agenten ermöglichen.
• Flexibles Tooling: Ein Frame-Selection-Tool, das sowohl zeitliche als auch räumliche Kontrolle (Auflösung, FPS) erlaubt, was über starre Workflows bestehender Agenten hinausgeht.

4. Ergebnisse

EVA wurde auf sechs Benchmark-Datensätzen evaluiert (u. a. LSDBench, LongVideoBench, VideoMME, LVBench, Video-Holmes) und zeigte überlegene Leistungen:

• Sampling-Dilemma Bench (LSDBench): EVA erreicht eine Genauigkeit von 51,8 % mit nur 6,2K visuellen Tokens. Dies ist eine Steigerung von +2,6 % gegenüber dem besten Open-Source-Baseline (Qwen2.5-VL), das jedoch deutlich mehr Tokens (499,2K) verbraucht. EVA löst das Sampling-Dilemma durch reasoning-gesteuerte Planung.
• Lange Videos: Auf Benchmarks wie LongVideoBench und VideoMME übertrifft EVA adaptive Agenten und statische Baselines um 1–3 % (gegenüber adaptiven Methoden) bzw. 6–12 % (gegenüber allgemeinen MLLMs), bei gleichzeitig deutlich geringerem Token-Verbrauch (ca. 20–30 Frames pro Video im Durchschnitt).
• Zero-Shot Reasoning: Auf dem Video-Holmes-Benchmark erzielt EVA im Zero-Shot-Setting konkurrenzfähige Ergebnisse (37,2 %), was die starke Generalisierungsfähigkeit des reasoning-gesteuerten Ansatzes unterstreicht.
• Effizienz: Trotz multipler Reasoning-Runden ist die Gesamtrechenzeit effizient, da der Agent nur die notwendigen visuellen Tokens lädt. Die Inferenz skaliert nicht linear mit der Anzahl der Reasoning-Schritte, sondern mit der Menge der adaptiv ausgewählten Frames.

5. Bedeutung und Fazit

EVA markiert einen signifikanten Schritt hin zu wirklich autonomen Video-Verständnis-Agenten. Durch die Verschiebung von einer passiven, datengetriebenen Wahrnehmung hin zu einer aktiven, planungsbasierten Exploration, gelingt es dem Modell, lange Videos effizient zu durchsuchen und komplexe Fragen zu beantworten, ohne durch redundante Daten überflutet zu werden.

Die Arbeit demonstriert, dass die Kombination aus sorgfältigem Curriculum-Learning (SFT -> KTO -> GRPO) und einem klaren „Plan-then-Act"-Ansatz die Grenzen aktueller MLLMs in der Videobehandlung erweitert. Sie legt den Grundstein für zukünftige Systeme, die nicht nur sehen, sondern strategisch entscheiden, was sie sehen müssen, um ihre Ziele zu erreichen.