🤖 AI

VideoThinker: Building Agentic VideoLLMs with LLM-Guided Tool Reasoning

Das Paper stellt VideoThinker vor, ein agentices Video-LLM, das durch das Training auf synthetischen Daten, die von einem starken Sprachmodell in Caption-Raum generiert und dann auf den Videoraum zurückgemappt wurden, dynamische Werkzeugnutzung und adaptive zeitliche Exploration für das Verständnis langer Videos ermöglicht und dabei bestehende Modelle übertrifft.

Ursprüngliche Autoren: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

VideoThinker: Der Film-Detektiv mit dem magischen Fernglas

Stell dir vor, du hast einen riesigen Videovorrat – vielleicht einen ganzen Spielfilm oder eine Dokumentarreihe, die drei Stunden lang ist. Wenn du jetzt jemanden fragst: „Was hat die Frau in der roten Jacke genau in der Minute 42:15 gemacht?", ist das für die meisten aktuellen KI-Modelle wie ein Versuch, einen einzelnen Tropfen Wasser aus einem stürmischen Ozean zu finden, ohne eine Schöpfkelle zu haben.

Die alten Modelle schauen sich das Video oft nur oberflächlich an. Sie nehmen ein paar zufällige Bilder (Frames) aus dem ganzen Film, versuchen, diese zu verstehen und eine Antwort zu geben. Das ist, als würdest du versuchen, den Inhalt eines ganzen Romans zu erraten, indem du nur drei zufällige Sätze aus dem Buch liest. Du verpasst die Details, die Zeitabläufe und die wichtigen Momente.

Das Problem: Der Henne-Ei-Zirkel
Um Videos wirklich gut zu verstehen, bräuchte man eine KI, die schon sehr schlau ist und Werkzeuge benutzen kann (wie ein Fernglas, um näher heranzuzoomen, oder einen Index, um bestimmte Stellen zu finden). Aber um diese KI zu trainieren, braucht man Daten, die zeigen, wie man diese Werkzeuge benutzt. Und um diese Daten zu erstellen, braucht man wieder eine sehr schlaue KI. Das ist ein klassischer Henne-Ei-Zirkel: Man braucht das Wissen, um das Wissen zu erzeugen.

Die Lösung: VideoThinker
Hier kommt VideoThinker ins Spiel. Die Forscher haben einen cleveren Trick angewendet, um diesen Zirkel zu durchbrechen.

Stell dir vor, du hast einen extrem klugen Text-Experten (eine große Sprach-KI), der aber keine Augen hat. Er kann Videos nicht sehen, aber er kann sich sehr gut vorstellen, wie ein Video aussieht, wenn man ihm eine sehr detaillierte Beschreibung (ein „Caption") gibt.

Der Trick mit den Beschreibungen: Zuerst nehmen die Forscher das Video und verwandeln es in einen langen Text, der alles beschreibt, was passiert.
Der Text-Detektiv: Nun geben sie diesen Text dem klugen Text-Experten und sagen ihm: „Hier ist die Geschichte. Wenn du eine Frage dazu hast, nutze deine Werkzeuge!"
- Der Experte denkt: „Hmm, die Frage bezieht sich auf einen bestimmten Moment. Ich sollte mal in den Text schauen, um die Zeit zu finden." (Das ist wie Temporale Suche).
- Dann sagt er: „Okay, ich habe die Zeit gefunden. Jetzt muss ich mir den Text genauer ansehen, um Details zu finden." (Das ist wie Temporales Zoomen).
- Der Experte schreibt einen ganzen Denkprozess auf: „Ich suche erst die Stelle, dann zoom ich rein, dann analysiere ich das Bild."
Der große Wechsel: Das Geniale ist jetzt: Die Forscher nehmen diese Denkprozesse des Text-Experten und tauschen die Textbeschreibungen gegen die echten Videobilder aus.
- Statt zu lesen: „In der Szene sieht man einen Mann, der rennt", sieht die VideokI jetzt das echte Bild des Mannes, der rennt.
- Aber die KI behält den Denkprozess bei: „Zuerst suche ich die Zeit, dann zoom ich rein."

Das Ergebnis: Ein KI-Video-Detektiv
Durch dieses Training lernt die VideokI (VideoThinker) nicht nur, Bilder zu sehen, sondern auch wie man denkt. Sie lernt:

„Wenn die Frage schwierig ist, sollte ich nicht raten, sondern erst suchen."
„Wenn ich nicht sicher bin, sollte ich das Bild heranzoomen, um besser zu sehen."
„Ich kann Werkzeuge benutzen, um die Zeit im Video zu finden, bevor ich antworte."

Warum ist das so toll?
Früher mussten KIs den ganzen Film auf einmal „schlucken", was sie überforderte und zu Fehlern führte. VideoThinker hingegen ist wie ein erfahrener Detektiv:

Er liest nicht den ganzen Roman auf einmal.
Er schlägt das Inhaltsverzeichnis auf (Suche), findet die relevante Seite (Zeitpunkt) und liest dann den Absatz ganz genau (Zoom).

Fazit
VideoThinker ist ein KI-Modell, das gelernt hat, Videos nicht nur anzusehen, sondern aktiv zu „forschen". Es nutzt Werkzeuge, um in langen Videos die richtigen Momente zu finden und sich diese genau anzusehen, bevor es eine Antwort gibt. Es ist schneller, genauer und versteht lange Geschichten viel besser als seine Vorgänger, weil es gelernt hat, Schritt für Schritt zu denken – genau wie ein Mensch, der ein Video analysiert.

1. Problemstellung

Das Verständnis langer Videos (Long-form Video Understanding) stellt eine fundamentale Herausforderung für aktuelle Video-LLMs (VideoLLMs) dar.

Limitationen bestehender Modelle: Die meisten existierenden Modelle basieren auf statischer Reasoning über gleichmäßig abgetastete Frames. Dies führt zu einem erheblichen Informationsverlust bei langen Videos, da relevante visuelle Beweise oft spärlich und über die Zeit verteilt sind.
Temporale Lokalisierung: Statische Ansätze versagen oft bei der genauen zeitlichen Lokalisierung von Ereignissen und sind bei Videos mit hunderten von Frames rechnerisch ineffizient.
Zirkuläre Abhängigkeit: Der Aufbau von „agentic" Daten (Daten, die Interaktionen mit Werkzeugen beinhalten) erfordert Modelle, die bereits ein starkes Verständnis langer Videos besitzen. Dies schafft ein Henne-Ei-Problem: Man braucht ein gutes Modell, um die Trainingsdaten für ein besseres Modell zu generieren.
Schwächen aktueller Agenten-Ansätze: Bisherige Ansätze, die Large Language Models (LLMs) als Agenten nutzen, verlassen sich oft auf proprietäre Modelle (wie Gemini-Pro) oder behandeln VideoLLMs nur als passive Captioning-Module, ohne dass das LLM visuelle Informationen direkt wahrnehmen kann.

2. Methodik: VideoThinker

VideoThinker ist ein agentic VideoLLM, das vollständig auf synthetischen Werkzeug-Interaktions-Trajektorien trainiert wird, um das oben genannte Problem zu lösen.

Kernidee: Synthetische Daten durch LLM-gesteuerte Reasoning

Anstatt direkte Video-Interaktionen zu benötigen, wandelt das System Videos zunächst in reiche Text-Captions um. Ein leistungsstarkes agentic LLM (z. B. Qwen3) generiert daraufhin Multi-Step-Werkzeug-Nutzungssequenzen im Caption-Raum. Diese Trajektorien werden später „grounded" (verankert), indem die Captions durch tatsächliche Videoframes ersetzt werden. Dies erzeugt ein großskaliges, interleaved Video-Werkzeug-Reasoning-Dataset, ohne dass das zugrundeliegende VideoLLM vorab lange Videos verstehen muss.

Werkzeug-Design (Tools)

Das System nutzt zwei komplementäre Werkzeugkategorien für adaptive Exploration:

Temporale Suche (Temporal Retrieval):
- Clip Retrieval: Sucht semantisch relevante 10-Sekunden-Clips basierend auf Embeddings.
- Subtitle Retrieval & Summary: Nutzt transkribierte Untertitel (via Whisper) und Zusammenfassungen (via LLM), um zeitliche Intervalle präzise zu lokalisieren.
Temporales Zoomen (Temporal Zoom):
- Frame Zoom: Extrahiert Rohframes aus einem spezifischen Intervall für feingranulare visuelle Analyse.
- Subtitle/Caption Zoom: Liefert Untertitel oder Captions für spezifische Intervalle.

Trainingsprozess

Datensynthese: Ein LLM-Agent nutzt die Tools (zunächst basierend auf Captions), um Reasoning-Pfade (Chain-of-Thought) zu generieren.
Grounding: Im finalen Trainingsschritt werden die Text-Captions, auf die sich das LLM bezog, durch echte Videoframes ersetzt. Das VideoLLM lernt somit, strukturierte Reasoning-Muster direkt auf visuellen Repräsentationen anzuwenden.
Adaptives Reasoning (Confidence-Gating): VideoThinker verwendet einen Vertrauens-Schwellenwert ( $\tau$ $τ$ ).
- Bei kurzen Videos oder hohem Vertrauen ( $\gamma > \tau$ ) wird direkt geantwortet.
- Bei Unsicherheit oder langen Videos wird ein mehrstufiger Werkzeug-Reasoning-Prozess ausgelöst, um die Antwort zu verfeinern.

3. Hauptbeiträge

Synthetisches Agentic-Dataset: Konstruktion eines hochwertigen Datensatzes für Video-Werkzeug-Reasoning, der durch LLM-gesteuerte Reasoning im Caption-Raum generiert und dann auf Frames gemappt wurde. Dies umgeht die Notwendigkeit von manuellen Annotationen oder proprietären Modellen für die Datenerstellung.
Dynamische Reasoning-Fähigkeiten: VideoThinker ist mit adaptiver temporaler Exploration und Multi-Step-Werkzeugnutzung ausgestattet, was effizientes Verständnis langer Videos ermöglicht.
Architektur-Effizienz: Im Gegensatz zu Pipeline-Ansätzen (wo ein separates LLM ein VideoLLM steuert), ist VideoThinker ein end-to-end trainiertes Modell, das Reasoning und visuelle Wahrnehmung in einem einzigen 7B-Modell vereint.

4. Ergebnisse

Die Evaluation erfolgte auf vier Benchmarks für lange Videos: MLVU, LVBench, VideoMME (L) und LongVideoBench.

Leistungsüberschreitung: VideoThinker (basierend auf Qwen2.5-VL-7B) übertrifft sowohl starke Open-Source-VideoLLMs als auch LLM-Agenten-Baselines.
- MLVU: 54,8 % (vs. 48,0 % bei Qwen2.5-VL-7B und 54,9 % bei GPT-4o).
- LVBench: 48,9 % (vs. 38,3 % bei Qwen2.5-VL-7B).
- LongVideoBench: 59,7 %.
Vergleich mit Closed-Source: Das Modell erreicht Leistungen, die mit GPT-4o und Gemini-1.5-Pro vergleichbar sind, jedoch mit einem deutlich kleineren, effizienteren 7B-Modell.
Skalierungseffekt: Der Leistungsunterschied zu Baseline-Modellen wächst mit der Videolänge. Bei Videos über 15 Minuten zeigt VideoThinker signifikante Verbesserungen (+3,7 % auf VideoMME, +5,6 % auf LongVideoBench), was die Fähigkeit zur Modellierung langer temporaler Abhängigkeiten unterstreicht.
Ablationsstudien: Die Studie zeigt, dass eine höhere Anzahl an gesampelten Frames ( $n$ ) und ein optimaler Vertrauensschwellenwert ( $\tau \approx 0,8$ ) die Genauigkeit maximieren.

5. Bedeutung und Fazit

VideoThinker adressiert das Problem des „Thinking with Videos" (Denken mit Videos) effektiv, indem es die Lücke zwischen textbasiertem Agenten-Reasoning und visueller Wahrnehmung schließt.

Innovation: Es demonstriert, dass synthetische Daten, die durch LLM-Agenten im Textraum generiert und dann auf Video-Frames gemappt werden, ausreichen, um VideoLLMs dynamische Reasoning-Fähigkeiten beizubringen.
Effizienz: Der Ansatz eliminiert die Abhängigkeit von teuren, proprietären Modellen für die Datengenerierung und reduziert die Rechenkosten durch ein kompaktes, end-to-end trainiertes Modell.
Zukunft: Die Arbeit legt den Grundstein für adaptive, tool-augmentierte Video-Systeme, die nicht nur passiv Videos analysieren, sondern aktiv nach relevanten Informationen suchen und diese visuell verifizieren können.

Zusammenfassend beweist VideoThinker, dass die Kombination aus synthetischen Werkzeug-Interaktionsdaten und adaptivem Retrieval-Zoom-Reasoning der Schlüssel zum effizienten und präzisen Verständnis langer Videos ist.