LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling
LongVT ist ein End-to-End-Agenten-Framework, das das Schlussfolgern in langen Videos durch die Nutzung nativer Tool-Aufrufe zur Durchführung eines global-zu-lokalen „Multimodal Chain-of-Tool-Thought"-Prozesses verbessert, unterstützt durch einen neu kuratierten großskaligen Datensatz (VideoSIAH) und eine dreistufige Trainingsstrategie, die bestehende Baselines deutlich übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „Heuhaufen-Nadel"-Film
Stellen Sie sich vor, Ihnen wird ein 2-stündiger Film gegeben und eine sehr spezifische Frage gestellt: „Welche Farbe hatte die Socke, die die Hauptfigur trug, als er sich bei der 43-Minuten-Marke den Schuh band?"
Wenn Sie versuchen, diese Frage zu beantworten, indem Sie einfach nur eine Zusammenfassung lesen oder einige zufällige Screenshots überfliegen, werden Sie höchstwahrscheinlich falsch liegen. Dies ist das Problem, mit dem aktuelle KI-Modelle bei langen Videos konfrontiert sind. Sie neigen dazu zu „halluzinieren" – sich Details auszudenken, die sie tatsächlich nicht gesehen haben –, weil sie versuchen, das gesamte Video auf einmal im Gedächtnis zu behalten, ohne den spezifischen Moment wirklich genau zu betrachten.
Die Lösung: LongVT (Die „Detektiv"-KI)
Die Autoren haben ein neues System namens LongVT entwickelt. Anstatt zu versuchen, das gesamte Video auswendig zu lernen, agiert LongVT wie ein Detektiv oder ein menschlicher Forscher.
So funktioniert es, anhand einer einfachen Analogie:
1. Der „grobe Scan" (Die Bibliothekssuche)
Stellen Sie sich vor, Sie befinden sich in einer riesigen Bibliothek und suchen nach einem bestimmten Buch. Sie lesen nicht jede einzelne Seite jedes Buches. Zuerst gehen Sie die Gänge entlang und werfen einen Blick auf die Buchrücken, um den allgemeinen Bereich zu finden, in dem sich das Buch befinden könnte.
- Im Papier: LongVT führt zunächst einen „globalen Überflug" über das Video durch. Es betrachtet einige Frames, die über das gesamte Video verteilt sind, um sich einen groben Überblick darüber zu verschaffen, was passiert.
2. Der „Tool-Aufruf" (Die Lupe)
Sobald der Detektiv denkt: „Ich wette, die Socke wurde in der Küchenszene gebunden", gibt er nicht einfach eine Vermutung ab. Er holt eine Lupe hervor und zoomt nur auf diese spezifische Küchenszene, um genauer hinzusehen.
- Im Papier: Dies ist der „Native Tool Calling". LongVT verfügt über ein integriertes Werkzeug namens
crop_video. Wenn es annimmt, dass die Antwort zwischen Minute 40 und 45 liegt, schneidet es diesen 5-minütigen Abschnitt buchstäblich aus dem Video heraus und untersucht ihn mit hoher Detailgenauigkeit erneut.
3. Die „Selbstkorrektur" (Der Moment „Warte, lass mich noch einmal nachschauen")
Manchmal zoomt der Detektiv an die falsche Stelle heran. Vielleicht dachte er, das Schuhbinden habe in der Küche stattgefunden, tatsächlich geschah es aber im Wohnzimmer.
- Im Papier: Das Papier zeigt, dass LongVT erkennen kann: „Hoppla, ich habe das falsche Zeitfenster betrachtet. Ich sehe dort keinen Schuh." Es sagt dann: „Lass es mich noch einmal versuchen," und ruft das Werkzeug ein zweites Mal auf, um eine andere Zeit zu betrachten (z. B. Minute 43 statt Minute 41). Dies wird als iMCoTT (Interleaved Multimodal Chain-of-Tool-Thought) bezeichnet.
Das Training: Wie die KI zu Denken lernte
Man kann einer KI nicht einfach sagen: „Sei ein Detektiv", und erwarten, dass es funktioniert. Die Autoren mussten sie durch einen dreistufigen Trainingsprozess lehren:
- Kalter Start (Das Klassenzimmer): Zuerst lehrten sie der KI die Grundlagen mit einem riesigen Datensatz, den sie VideoSIAH nannten. Dieser Datensatz ist voll von „Heuhaufen-Nadel"-Fragen. Sie zeigten der KI Beispiele dafür, wie man eine Zeit schätzt, das Video überprüft und sich selbst korrigiert. Das ist wie das Unterrichten eines Schülers in der Nutzung eines Bibliothekskatalogs, bevor man ihn allein gehen lässt.
- Bestärkendes Lernen (Die Übungsarena): Als Nächstes ließen sie die KI allein üben. Jedes Mal, wenn sie die richtige Zeit errat und die richtige Antwort erhielt, bekam sie eine „Belohnung". Wenn sie falsch lag oder halluzinierte, erhielt sie keine Belohnung. Dies lehrte sie, präziser zu sein.
- Verfeinerung (Die Meisterklasse): Schließlich nahmen sie die besten Versuche der KI aus der Übungsarena und nutzten sie als neue Lektionen, um sie erneut zu unterrichten. Dies festigte ihre Fähigkeiten und machte sie schneller und zuverlässiger.
Das Ergebnis: Eine neue Art des „Denkens"
Das Papier behauptet, dass dieser Ansatz die Art und Weise verändert, wie KI mit langen Videos umgeht.
- Der alte Weg: Die KI versucht, sich das Video zu „merken" und erfindet oft Dinge (Halluzinationen), weil sie überwältigt ist.
- Der LongVT-Weg: Die KI gibt zu, dass sie es nicht weiß, sucht nach Beweisen (indem sie das Video zuschneidet), prüft die Beweise und antwortet dann.
Das Fazit:
LongVT ist eine KI, die aufhört, die Antwort aus dem Gedächtnis zu „raten". Stattdessen lernt sie, nach der Antwort zu suchen. Sie behandelt ein langes Video wie einen Heuhaufen, nutzt ein Werkzeug, um die Nadel zu finden, und überprüft ihre Arbeit, bevor sie spricht. Dies macht sie viel genauer und weniger anfällig dafür, über das, was sie gesehen hat, zu lügen.
Das Papier stellt auch fest, dass die KI trotz all dieses zusätzlichen „Suchens" tatsächlich schneller ist als andere Modelle, weil sie keine Zeit damit verschwendet, lange, erfundene Geschichten über Dinge zu schreiben, die sie nicht gesehen hat. Sie findet einfach die Wahrheit und antwortet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.