Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks
Dieses Paper führt die Visual Dependency Gap (VDG) ein, um zu demonstrieren, dass eine hohe Benchmark-Genauigkeit in Video-Large-Language-Models oft auf sprachlichen Prioren statt auf echtem visuellem Verständnis beruht, wobei aufgezeigt wird, dass die zeitliche Abfolge nur minimal zur Leistung beiträgt, während die Frame-Diversität den Großteil der Gewinne vorantreibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie geben ihm eine Kamera und ein Gehirn und stellen ihm Fragen zu dem, was er sieht. Lange Zeit haben Wissenschaftler gemessen, wie „intelligent“ diese Roboter sind, indem sie ihnen einen Test gaben: Zeigen Sie ihnen ein Video, stellen Sie eine Frage und sehen Sie nach, ob sie die richtige Antwort geben. Wenn der Roboter eine hohe Punktzahl erreicht, gehen wir davon aus, dass er das Video wirklich „sieht“ und versteht. Aber hier ist der Haken: Nur weil ein Roboter die richtige Antwort gibt, bedeutet das nicht, dass er das Bild auch angesehen hat. Er könnte einfach basierend auf den Wörtern in der Frage geraten haben, wie ein Schüler, der weiß, dass der Lehrer an Dienstagen immer nach „Katzen“ fragt und einfach „Katze“ antwortet, ohne auf die Tafel zu schauen. Dieses Paper taucht in die chaotische, verwirrende Welt der „Video Large Language Models“ ein – superintelligente Computer, die Text lesen und Videos schauen können – um eine beängstigende Frage zu stellen: Beobachten diese Roboter wirklich die Filme oder sind sie nur sehr gut darin, die Antworten allein durch den Text zu erraten?
Die Forscher beschlossen, einen kleinen Trick anzuwenden, bei dem sie zwanzig verschiedene Video-beobachtende Roboter testeten, die von winzig klein bis hin zu massiv mit riesigen Gehirnen reichten. Sie nahmen einen Standardtest namens MVBench, der hunderte Fragen zu Videos enthält, und ließen den Test für jede einzelne Frage zweimal durchlaufen. Das erste Mal zeigten sie dem Roboter das echte Video. Das zweite Mal zeigten sie dem Roboten exakt dieselbe Frage, ersetzten aber das Video durch einen soliden schwarzen Bildschirm. Wenn der Roboter wirklich „sehen“ würde, sollte seine Punktzahl gegen Null sinken, wenn das Video verschwindet. Wenn der Roboter selbst bei einem schwarzen Bildschirm immer noch die richtigen Antworten gab, bedeutete dies, dass er gar nicht zusah; er nutzte lediglich sprachliche Tricks, um zu raten.
Die Ergebnisse waren ein Schock. Das Team fand heraus, dass die Roboter für viele Fragen fast exakt die gleiche Leistung erbrachten, egal ob sie ein Video betrachteten oder in ein schwarzes Nichts starrten. Sie führten eine neue Art der Messung ein, die als „Visual Dependency Gap“ (VDG) bezeichnet wird, was im Grunde der Unterschied darin ist, wie gut ein Roboter mit einem Video im Vergleich zu einem ohne Video abschneidet. Sie entdeckten, dass die Roboter für bestimmte Arten von Fragen, wie „Welche Farbe hat das Auto?“ (Attributwahrnehmung), das Video wirklich brauchten, um richtig zu liegen. Aber für andere Arten, wie „Was passiert als Nächstes?“ (Temporale Logik), lieferten die Roboter die richtigen Antworten, selbst als der Bildschirm schwarz war. Das bedeutet, dass die Testfragen gar nicht dazu dienten, zu prüfen, ob die Roboter die Zeit oder Abfolgen verstanden; sie testeten lediglich, ob die Roboter die Antwort basierend auf der Formulierung der Frage erraten konnten.
Die Forscher versuchten auch herauszufinden, warum die Roboter diese Antworten gaben. Sie zerlegten das Video in verschiedene Teile: nur ein einzelnes Frame, eine Ansammlung von Frames, die durcheinandergewürfelt wurden, und das vollständige Video, in dem die Zeit vorwärts läuft. Sie fanden heraus, dass die Roboter überhaupt nicht an der Reihenfolge der Ereignisse interessiert waren. Ob das Video vorwärts, rückwärts oder als ein völlig durcheinandergewürfeltes Chaos von Bildern abgespielt wurde, die Roboter erzielten die gleiche Punktzahl. Das Einzige, was zu helfen schien, war das Sehen verschiedener Bilder (Frame-Diversität), nicht das Sehen in der richtigen Reihenfolge. Tatsächlich schien der Video-Input für einige der neuesten, fortschrittlichsten Modelle die Roboter sogar zu verwirren, was dazu führte, dass sie geringfügig schlechter abschnitten, als wenn sie das Video einfach ignoriert und nur anhand des Textes geraten hätten.
Einer der interessantesten Befunde betraf die Handhabung von Kompression durch diese Roboter. Normalerweise gilt: Wenn man eine Videodatei zusammendrückt, um sie kleiner zu machen, verschlechtert sich die Qualität. Die Forscher erwarteten, dass, wenn ein Roboter wirklich „sehen“ würde, ein verschwommenes, komprimiertes Video ihn scheitern ließe. Doch die Punktzahlen der Roboter blieben jedoch flach und stabil, selbst wenn das Video stark komprimiert war. Das Team erkannte, dass dies nicht daran lag, dass die Roboter super robust seien, sondern weil die Fragen so einfach aus dem Text zu erraten waren, dass die Roboter die visuellen Details gar nicht benötigten. Die „Robustheit“ war eine Illusion, die durch schlechte Testfragen erzeugt wurde.
Schließlich untersuchten sie auch, wie sich diese Roboter veränderten, wenn sie größer und intelligenter wurden. Sie fanden heraus, dass zwar größere Modelle im Allgemeinen besser darin wurden, das Video zu nutzen, einige der ganz neuesten Modelle jedoch tatsächlich schlechter darin wurden, sich auf visuelle Informationen zu verlassen. Ein Modell, Qwen3-VL, schien vergessen zu haben, wie man die Video-Frames effektiv nutzt, und verließ sich fast ausschließlich auf das Raten aus dem Text, obwohl seine Gesamtergebnisse im Test gut aussah. Das Paper kommt zu dem Schluss, dass wir den Leaderboard-Scores nicht mehr einfach vertrauen können. Eine hohe Punktzahl bedeutet nicht, dass ein Roboter ein großartiger Beobachter ist; es kann bedeuten, dass er ein großartiger Ratender ist. Um zu wissen, ob ein Roboter wirklich sieht, müssen wir prüfen, ob er scheitert, wenn der Bildschirm schwarz wird. Wenn er nicht scheitert, hat er gar nicht erst zugesehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.