Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
Dieses Paper führt Video-IFBench ein, einen umfassenden Benchmark mit 1,5K Proben und einer vielfältigen Instruktions-Taxonomie zur Evaluierung der unteruntersuchten Fähigkeit von Multimodalen Großen Sprachmodellen, komplexen, nutzerspezifischen Einschränkungen in Video-Verständnisszenarien zu folgen, wobei aufgezeigt wird, dass aktuelle Modelle bei Multi-Constraint- und Conditional-Instruktionen erheblich Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Systemen entstanden, die sehen, hören und sprechen können. Diese multimodalen Modelle werden mit riesigen Mengen an Text, Bildern und Videos trainiert, was es ihnen ermöglicht, eine Szene zu beschreiben, Fragen zu einem Film zu beantworten oder einen Nachrichtenclip zusammenzufassen. Jahrelang haben Forscher ihren Erfolg gemessen, indem sie eine einfache Frage stellten: Ist die Antwort korrekt? Wenn ein Modell eine Kochshow beschreibt und die Zutaten richtig nennt, erhält es eine hohe Punktzahl. Doch in der realen Welt reicht eine korrekte Antwort oft nicht aus. Ein Nutzer könnte ein Modell bitten, ein Video zu beschreiben, dabei aber auf spezifische Regeln bestehen: „Erzähle mir nur, was passiert, nachdem das Wasser kocht“, „Liste die Schritte in der richtigen Reihenfolge auf“, „Erwähne nicht die Farbe der Töpfe“ oder „Sprich ausschließlich Spanisch“. Diese Anfragen erfordern, dass das System nicht nur den Inhalt versteht, sondern auch einem komplexen Satz von Anweisungen folgt, indem es Informationen herausfiltert, von denen es weiß, dass sie wahr sind, die es aber ignorieren soll. Bis jetzt blieb die Fähigkeit dieser fortschrittlichen Systeme, solch detaillierte, menschenähnliche Einschränkungen in Videoszenarien einzuhalten, weitgehend ungeprüft.
Ein Team von Forschern hat diese Lücke geschlossen, indem es ein neues Testfeld namens Video-IFBench geschaffen hat. Dieser Benchmark wurde speziell entwickelt, um zu prüfen, ob die Video-Verständnis-KI tatsächlich das tut, was man ihr sagt, wenn die Anweisungen knifflig sind. Die Forscher sammelten über 700 Videos aus öffentlichen Quellen, die zehn verschiedene Bereiche wie Sport, Wissenschaft, Nachrichten und das tägliche Leben abdecken. Diese Clips variieren in der Länge von zehn Sekunden bis zu zehn Minuten und umfassen insgesamt etwa 49 Stunden Videomaterial. Aus dieser Sammlung konstruierten sie 1.500 einzigartige Testfälle. Jeder Testfall kombft ein Video mit einer spezifischen Anfrage, die eine Mischung aus Aufgaben und Einschränkungen enthält. Einige Anfragen verlangen nach einer einzelnen Information, wie etwa „Was steht auf dem Bildschirm?“, während andere mehrere Schritte fordern, wie zum Beispiel „Liste die Handlungen auf, aber nur jene, die länger als zwei Sekunden dauern, und präsentiere sie als nummerierte Liste.“ Die schwierigsten Tests beinhalten konditionale Logik, bei der das Modell das Video zuerst ansehen muss, um zu entscheiden, welchen Pfad es einschlagen soll. Zum Beispiel könnte ein Prompt lauten: „Wenn das Video mit einem Titel über die Reparatur eines Laptops beginnt, beschreibe die Reparaturschritte; andernfalls beschreibe die Handlungen der Person in den letzten zehn Sekunden.“ Das Modell muss die Ausgangsbedingung korrekt identifizieren, um den richtigen Satz von Anweisungen befolgen zu können.
Um sicherzustellen, dass diese Tests fair und genau waren, bauten die Forscher ein halbautomatisiertes System, um die Fragen und die Regeln zur Überprüfung der Antworten zu generieren. Sie nutzten künstliche Intelligenz, um Fakten aus den Videos zu extrahieren – wie etwa welche Objekte vorhanden waren und wann bestimmte Ereignisse stattfanden – und nutzten diese Fakten dann, um komplexe Anweisungen zu schreiben. Entscheidend war, dass jeder Anweisung eine Checkliste beigefand. Einige Punkte auf der Checkliste konnten von einem Computerprogramm überprüft werden, wie etwa die Verifizierung, ob die Antwort im JSON-Format geschrieben wurde oder ob sie genau fünf Aufzählungspunkte enthielt. Andere Punkte, die das Verständnis der Bedeutung der Antwort erforderten, wurden von einem separaten, hochfähigen Sprachmodell geprüft, das als Richter fungierte. Dieser hybride Ansatz ermöglichte es den Forschern zu bewerten, ob die Modelle jede einzelne Einschränkung einer Anfrage erfüllten, nicht nur die Hauptaufgabe.
Die Ergebnisse dieser Evaluierung offenbarten eine signifikante Schwäche selbst der fortschrittlichsten heute verfügbaren Videomodelle. Beim Test auf dem gesamten Benchmark erreichte das leistungsstärkste Modell eine Gesamtpunktzahl von lediglich 54,5 Prozent. Das bedeutet, dass das Modell in fast der Hälfte der Fälle die vollständigen Anweisungen nicht befolgen konnte, selbst wenn es den Videoinhalt korrekt verstanden hatte. Die Studie fand heraus, dass Modelle am meisten Schwierigkeiten hatten, wenn die Anweisungen gleichzeitig viele Einschränkungen enthielten oder wenn die Anfrage vom Modell verlangte, eine Entscheidung basierend auf dem Videoinhalt zu treffen, bevor es antwortete. Zum Beispiel, wenn man zwischen verschiedenen Pfaden wählen musste, basierend auf dem, was im Video geschah, wählten die Modelle häufig den falschen Pfad oder ignorierten die Bedingung gänzlich. Die Schwierigkeit nahm zu, je komplexer die Anweisungen wurden; wenn eine Anfrage eine tiefe Kette von „Wenn-Dann“-Logik beinhaltete, sank die Erfolgsquote drastisch.
Die Forscher entdeckten auch, dass die Art der Einschränkung eine große Rolle spielte. Modelle waren relativ gut darin, Formatregeln zu befolgen, wie etwa eine bestimmte Sprache zu verwenden oder die Wortanzahl zu begrenzen. Sie schnitten jedoch schlecht bei semantischen Einschränkungen ab, die ein Verständnis der Bedeutung des Videos erforderten, um Informationen zu filtern. Beispielsweise könnte ein Modell gebeten werden, nur die Handlungen einer bestimmten Person zu beschreiben und dabei alle anderen zu ignorieren, oder Ereignisse aufzulisten, die innerhalb eines präzisen Zeitfensters stattfanden. In diesen Fällen enthielten die Modelle oft Informationen, die sie eigentlich ausschließen sollten, oder sie ließen Details weg, die sie hätten finden sollen. Die Studie zeigte, dass es das Problem nicht löste, die Modelle einfach nur größer zu machen oder ihnen mehr Rechenleistung zur Verfügung zu stellen. Während größere Modelle im Allgemeinen besser abschnitten, gelang es ihnen dennoch nicht, strikten Anweisungen konsistent zu folgen, was darauf hindeutet, dass die Fähigkeit, Videoinhalte zu verstehen, und die Fähigkeit, komplexen Regeln zu folgen, zwei verschiedene Fähigkeiten sind, die die aktuelle Technologie noch nicht vollständig vereint hat.
Diese Arbeit legt nahe, dass künstliche Intelligenz erst dann wirklich nützlich für reale Anwendungen sein kann, wenn sie lernt, genauso sorgfältig zuzuhören, wie sie sieht. Die Ergebnisse deuten darauf hin, dass aktuelle Systeme noch nicht zuverlässig genug sind, um in Szenarien eingesetzt zu werden, in denen Nutzer eine präzise Einhaltung ihrer spezifischen Bedürfnisse erwarten. Die Forscher hoffen, dass Video-IFBench durch die Bereitstellung eines klaren Maßstabs für diese Fähigkeit die zukünftige Entwicklung hin zu Modellen leiten wird, die nicht nur die Welt sehen können, sondern auch die nuancierten, oft widersprüchlichen Anweisungen der Menschen befolgen können, die sie nutzen. Der Weg nach vorn erfordert einen Fokuswechsel von der bloßen Beantwortung der richtigen Frage hin zur Beantwortung der richtigen Frage in exakt der Weise, wie der Nutzer es verlangt hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.