CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection
Dieses Paper schlägt CLARA vor, ein neuartiges Framework auf Clip-Ebene für Multimodalität, das die Erkennung hasserfüllter Videos verbessert, indem es Videos als feingliedrige Sequenzen mit adaptiver Ausrichtung, kontrastivem Lernen für zeitliche Abhängigkeiten und durch VLMs abgeleiteten Begründungen modelliert und so eine führende Leistung über mehrere Datensätze hinweg erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Auf den Bildschirmen von Milliarden von Menschen findet eine neue Art von Gespräch statt. Es geschieht in den rasanten, scrollenden Streams von Videoplattformen, wo ein Witz, ein Nachrichtenclip oder ein persönlicher Vlog in einem Augenblick von harmlos zu schädlich umschlagen kann. Im Gegensatz zu einem schriftlichen Post, bei dem die Bedeutung in Worten festgeschrieben ist, trägt ein Video eine komplexe Schichtung aus Ton, bewegten Bildern und gesprochener Sprache in sich. Die Gefahr liegt darin, wie diese Elemente interagieren. Eine hasserfüllte Botschaft muss nicht in einem einzigen Satz herausgeschrien werden; stattdessen kann sie sich langsam aufbauen, durch eine Abfolge von Frames, eine Änderung des Tons oder einen visuellen Hinweis, der erst im Kontext dessen Sinn ergibt, was zuvor geschah. Solche Inhalte zu erkennen, ist eine massive Herausforderung für das Internet, da die gefährlichsten Signale oft kurz, verborgen und abhängig von dem spezifischen Moment sind, in dem sie erscheinen.
Jahrelang haben Informatiker versucht, Maschinen beizubringen, diese Art von Schaden zu erkennen. Frühe Bemühungen konzentrierten sich auf Text und suchten nach spezifischen wütenden Wörtern. Später wandten sie sich an Bilder und Memes und versuchten zu verstehen, wie Bilder und Bildunterschriften zusammenwirken. Aber Videos stellen ein einzigartiges Problem dar. Sie sind nicht nur eine Sammlung von Bildern oder ein Transkript von Sprache; sie sind ein fließender Zeitstrahl, in dem sich die Bedeutung über die Zeit verändert. Wenn ein Computer ein ganzes Video als einen einzigen Block betrachtet, übersieht er oft die kleinen, entscheidenden Momente, in denen der Hass tatsächlich stattfindet. Es ist, als versuche man, eine Geschichte zu verstehen, indem man nur den ersten und den letzten Satz liest; die entscheidenden Wendepunkte in der Mitte gehen in der Zusammenfassung verloren.
Ein Team von Forschern der University of Essex und der University of Exeter hat einen neuen Weg vorgeschlagen, um dieses Problem zu lösen. Sie nennen ihr System CLARA. Anstatt ein Video als ein großes, unveränderliches Objekt zu behandeln, zerlegt CLARA es in kleinere, bedeutungsvolle Teile. Stellen Sie sich ein Video wie einen langen Satz vor; CLARA liest ihn nicht auf einmal. Stattdessen hält es an jeder natürlichen Pause in der Sprache an und erstellt eine Reihe kurzer Clips, die mit dem Gesagten übereinstimmen. Durch die Konzentration auf diese kleinen Segmente kann das System die flüchtigen Momente erfassen, in denen eine hasserfüllte Idee eingeführt wird, selbst wenn diese Idee in einer Minute neutraler Inhalte verborgen ist.
Die Forscher fanden heraus, dass hasserfüllte Videos oft auf eine Mischung aus Hinweisen beruhen. Ein Sprecher könnte eine ruhige Stimme verwenden, während er ein verstörendes Bild zeigt, oder eine neutrale Phrase nutzen, während die Hintergrundmusik aggressiv wird. Um dies zu bewältigen, verwendet CLARA ein flexibles System, das für jeden kurzen Clip entscheidet, welche Hinweise am wichtigsten sind. Manchmal ist der Text der Schlüssel; ein anderes Mal ist es der Ton oder die visuelle Szene. Das System erzwingt keine einzige Regel für das gesamte Video. Stattdessen passt es sich an, indem es die verschiedenen Arten von Informationen im Verlauf des Videos unterschiedlich gewichtet. Dies ermöglicht es ihm, zu sehen, wie sich eine hasserfüllte Botschaft entwickelt, anstatt nur nach einem statischen Muster zu suchen.
Um sicherzustellen, dass das System das große Ganze versteht, fügten die Forscher eine zweite Ebene der Intelligenz hinzu. Sie nutzten ein leistungsstarkes KI-Werkzeug, das darauf trainiert ist, Bilder und Texte zu beschreiben und darüber zu schlussfolgern, um eine übergeordnete Zusammenfassung der Absicht des Videos zu generieren. Diese Zusammenfassung dient als Leitfaden, der dem System hilft zu verstehen, wie die kleinen Clips zusammenpassen, um ein größeres, potenziell schädliches Narrativ zu bilden. Das System kombodet dann diese detaillierten Beobachtungen auf Clip-Ebene mit der übergeordneten Zusammenfassung, um ein vollständiges Bild des Inhalts des Videos zu erstellen. Dieser Ansatz stellt sicher, dass das System nicht nur isolierte Momente sieht, sondern den Fluss des Arguments oder der Erzählung versteht.
Das Team testete diese neue Methode an drei verschiedenen Sammlungen hasserfüllter Videos, die aus verschiedenen sozialen Medien aus der ganzen Welt stammen. Die Ergebnisse waren eindeutig: Das neue System übertraf konsequent die besten bestehenden Methoden. Es war besser darin, hasserfüllte Videos korrekt zu identifizieren, ohne harmlose fälschlicherweise zu melden. Die Forscher führten auch Tests durch, um zu sehen, was passieren würde, wenn sie Teile des Systems entfernen würden. Als sie die Fähigkeit entfernten, Videos in Clips zu unterteilen, oder wenn sie die übergeordnete Orientierung entfernten, sank die Leistung des Systems. Dies bestätigte, dass jeder Teil ihres Designs notwendig war. Die Fähigkeit, sich auf kleine, spezifische Momente zu konzentrieren und gleichzeitig das Gesamtbild im Auge zu behalten, war der Schlüssel zum Erfolg.
Die Studie legt nahe, dass die Zukunft der Erkennung schädlicher Inhalte in einer solchen detaillierten, zeitbewussten Analyse liegt. Indem Maschinen lernen, die Art und Weise zu respektieren, wie Menschen Videos tatsächlich erleben – Stück für Stück, Moment für Moment –, können sie endlich lernen, die subtile, sich entwickelnde Natur von Hassrede zu erkennen. Die Forscher behaupteten nicht, das Problem des Online-Hasses für immer gelöst zu haben, aber sie haben ein signifikant schärferes Werkzeug für diese Aufgabe bereitgestellt. Ihre Arbeit zeigt, dass man, um die Gefahr in einem Video zu verstehen, nicht nur das ganze Bild betrachten darf; man muss die Geschichte entfalten sehen, einen kleinen Clip nach dem anderen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.