Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video
Diese Arbeit zeigt auf, dass aktuelle Video-LLMs weitgehend daran scheitern, spezifische Charaktere in Langzeitvideos tatsächlich zu verfolgen, stattdessen sich auf oberflächliche Geschlechtsmerkmale verlassen und nicht in der Lage sind, zwischen Personen desselben Geschlechts zu unterscheiden, was dazu führt, dass Benchmark-Scores deren tatsächliche zeitliche Argumentations- und Identitätsverfolgungskapazitäten überbewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten, 7- bis 8-Milliarden-Parameter starken Roboter-Detektiv engagiert, um eine ganze Folge von The Big Bang Theory zu beobachten. Ihre Mission für den Roboter ist einfach: „Beobachte Sheldon und sag mir die exakte Reihenfolge, in der sich seine Outfits ändern.“
Man würde erwarten, dass der Roboter wie ein Falke ist, sein Auge auf Sheldons Gesicht richtet, ihn durch jede Szene verfolgt und seine Garderobenwechsel mit perfekter Präzision notiert. Aber hier kommt der Clou: Der Roboter beobachtet Sheldon gar nicht wirklich. Er rät nur basierend auf einer sehr faulen Abkürzung.
Der große „Sheldon“-Austausch
Um herauszufinden, was da vorging, spielten die Forscher einen cleveren Trick. Sie nahmen exakt dasselbe Video und dieselben Multiple-Choice-Antworten, tauschten aber einfach nur den Namen in der Frage aus.
- Originale Frage: „In welcher Reihenfolge ändert Sheldon seine Outfits?“
- Der Austausch: „In welcher Reihenfolge ändert Leonard seine Outfits?“ (Dasselbe Video, dieselben Antworten).
Wenn der Roboter wirklich Charaktere verfolgen würde, hätte er sagen müssen: „Warte, Leonard trägt andere Kleidung als Sheldon!“ und eine andere Antwort gewählt. Aber wisst ihr was? Dem Roboter war das egal.
In etwa 7 % bis 17 % der Fälle bei einem Austausch des gleichen Geschlechts (wie etwa Sheldon gegen Leonard zu tauschen) änderte der Roboter seine Antwort. Das ist kaum besser als ein Würfelwurf. Er hat den Namen weitgehend ignoriert und stattdin einfach eine Antwort gewählt, die ihm gefiel.
Der „Geschlechter“-Fehler
Wenn er also nicht auf die Person achtet, worauf achtet er dann? Die Forscher fanden heraus, dass der Roboter einen sehr groben, unscharfen Filter nutzte: das Geschlecht.
Wenn sie einen männlichen Charakter gegen einen weiblichen austauschten (wie Sheldon gegen Penny), änderte der Roboter viel häufiger seine Antwort (20 % bis 43 % der Zeit). Es schien, als dächte er: „Oh, die Frage hat sich von einem ‚Mann‘ zu einem ‚Frau‘ geändert, also müssen die Kleider anders sein!“
Aber wenn man einen Typen gegen einen anderen Typen tauschte, war der Roboter völlig aufgeschmissen. Er konnte Sheldon nicht besser von Howard unterscheiden als eine Katze von einem Hund. Er sah „männlich“ und „weiblich“, aber er konnte kein „Sheldon“ erkennen.
Die „Magische Box“-Illusion
Die Studie prüfte auch, ob der Roboter schummelte, indem er die Serie aus seinen Trainingsdaten auswendig lernte (als hätte er das Skript im Voraus gelesen). Dazu zeigten sie dem Roboter nur den Text der Frage und den Titel der Show, ganz ohne Video. Der Roboter erzielte im Grunde nur eine Zufallsleistung (etwa 18–20 %). Er hat also nicht mit einem Skript geschummelt; er war einfach schlecht im visuellen Teil.
Sie versuchten auch, dem Roboter mehr Frames (mehr „Schnappschüsse“ des Videos) zu geben, um zu sehen, ob er es nur mit mehr Material schaffen würde. Dem Roboter 32 Frames statt 16 zu geben, machte ihn zwar etwas besser darin, Kleidung im Allgemeinen zu erkennen, aber er wurde immer noch nicht besser darin, den spezifischen Charakter zu verfolgen. Es war, als würde man einem blinden Menschen eine bessere Brille geben; er sieht die Kleidung besser, aber er weiß immer noch nicht, wer sie trägt.
Die Multiple-Choice-Falle
Hier ist der überraschendste Teil: Der Roboter lieferte bei dem Standardtest 37–38 % der richtigen Antworten. Das klingt beeindruckend! Aber dieser Wert war eine Täuschung.
Als die Forscher den Roboter baten, die Antwort in eigenen Worten auszudrücken (Open-Ended), anstatt aus einer Liste auszuwählen (Multiple Choice), brach die Punktzahl um 18 bis 25 Punkte ein.
- Multiple-Choice-Score: ~38 %
- Open-Ended-Score: ~13–19 %
Warum der Abfall? Weil der Multiple-Choice-Test dem Roboter eine „magische Box“ aus fünf Optionen gab. Selbst wenn der Roboter nur rät oder die Antwort wählte, die ihm am besten gefiel (wie „E“ oder „A“), hatte er eine Chance von 1 zu 5, richtig zu liegen. Als er gezwungen war, die Antwort aus dem Stegreif zu generieren, hatte er kein Sicherheitsnetz mehr und scheiterte kläglich. Tatsächlich war keine einzige der 151 Open-Ended-Antworten der Open-Source-Roboter vollständig korrekt.
Das Fazit
Das Paper kommt zu dem Schluss, dass diese Video-LLMs Charaktere nicht wirklich verfolgen. Sie „halluzinieren“ eine Verbindung zwischen dem Namen und dem Video. Sie sind gut darin, zu bemerken, dass „eine Person ein Hemd trägt“, aber sie sind schrecklich darin, die Frage „Welche Person?“ zu beantworten.
Die Forscher legen nahe, dass die hohen Scores in Benchmarks irreführend sind. Sie messen nicht, wie gut die Modelle eine Geschichte verfolgen können, sondern wie gut sie basierend auf Geschlechter-Hinweisen raten oder durch glückliche Multiple-Choice-Vermutungen punkten. Bis ein Modell den „Namens-Austausch-Test“ und den „Open-Ended-Test“ besteht, können wir nicht behaupten, dass es das Video wirklich „sieht“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.