CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection
Cet article propose CLARA, un nouveau cadre multimodal au niveau du clip qui améliore la détection de vidéos haineuses en modélisant les vidéos comme des séquences fines avec un alignement adaptatif, un apprentissage contrastif pour les dépendances temporelles et des justifications dérivées de modèles de langage visuel (VLM), atteignant des performances de l'état de l'art sur plusieurs jeux de données.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Sur les écrans de milliards de personnes, un nouveau type de conversation est en train de se jouer. Elle se déroule dans les flux de vidéos défilant rapidement sur les plateformes, où une blague, un extrait d'actualité ou un vlog personnel peut basculer en un instant du banal au malveillant. Contra à un message écrit, où le sens est fixé par les mots, une vidéo porte une superposition complexe de sons, d'images animées et de langage parlé. Le danger réside dans la manière dont ces éléments interagissent. Un message haineux ne sera pas forcément crié dans une seule phrase ; il peut, au contraire, émerger lentement, en se construisant à travers une séquence d'images, un changement de ton ou un indice visuel qui n'a de sens que lorsqu'il est visionné dans le contexte de ce qui l'a précédé. Détecter ce genre de contenu est un défi colossal pour Internet, car les signaux les plus dangereux sont souvent brefs, cachés et dépendants du moment précis où ils apparaissent.
Pendant des années, des informaticiens ont tenté d'apprendre aux machines à repérer ce type de préjudice. Les premiers efforts se sont concentrés sur le texte, recherchant des mots colériques spécifiques. Plus tard, ils se sont tournés vers les images et les mèmes, essayant de comprendre comment les images et les légendes fonctionnent ensemble. Mais les vidéos présentent un problème unique. Elles ne sont pas seulement une collection d'images ou une transcription de parole ; elles sont une chronologie fluide où le sens change au fil du temps. Si un ordinateur examine une vidéo entière comme un seul bloc, il manque souvent les petits moments critiques où la haine se produit réellement. C'est comme essayer de comprendre une histoire en ne lisant que la première et la dernière phrase ; les points d'intrigue cruciaux au milieu se perdent dans le résumé.
Une équipe de chercheurs de l'Université d'Essex et de l'Université d'Exeter a proposé une nouvelle façon de résoudre cela. Ils appellent leur système CLARA. Au lieu de traiter une vidéo comme un objet unique et immuable, CLARA la décompose en morceaux plus petits et significatifs. Imaginez une vidéo comme une longue phrase ; CLARA ne lit pas toute la chose d'un coup. Au lieu de cela, elle s'arrête à chaque pause naturelle du discours, créant une série de courts clips qui s'alignent sur ce qui est dit. En se concentrant sur ces petits segments, le système peut capter les moments fugaces où une idée haineuse est introduite, même si cette idée est enfouie dans une minute de contenu neutre.
Les chercheurs ont découvert que les vidéos haineuses reposent souvent sur un mélange d'indices. Un locuteur peut utiliser une voix calme tout en montrant une image troublante, ou utiliser une phrase neutre alors que la musique de fond devient agressive. Pour gérer cela, CLARA utilise un système flexible qui décide, pour chaque court clip, quels indices sont les plus importants. Parfois, le texte est la clé ; d'autres fois, c'est le son ou la scène visuelle. Le système n'impose pas une règle unique pour toute la vidéo. Au lieu de cela, il s'adapte, pesant différemment les différents types d'informations à mesure que la vidéo progresse. Cela lui permet de voir comment un message haineux évolue, plutôt que de simplement chercher un motif statique.
Pour s'assurer que le système comprend l'idée générale, les chercheurs ont ajouté une seconde couche d'intelligence. Ils ont utilisé un outil d'intelligence artificielle puissant, entraîné pour décrire et raisonner sur des images et du texte, afin de générer un résumé de haut niveau de l'intention de la vidéo. Ce résumé agit comme un guide, aidant le système à comprendre comment les petits clips s'assemblent pour former un récit plus large, potentiellement préjudiciable. Le système combine ensuite ces observations détaillées au niveau du clip avec le résumé de haut niveau, créant ainsi une image complète du contenu de la vidéo. Cette approche garantit que le système ne voit pas seulement des moments isolés, mais comprend le flux de l'argument ou de l'histoire racontée.
L'équipe a testé cette nouvelle méthode sur trois collections différentes de vidéos haineuses, provenant de diverses plateformes de médias sociaux à travers le monde. Les résultats étaient clairs : le nouveau système a systématiquement surpassé les meilleures méthodes existantes. Il était plus apte à identifier correctement les vidéos haineuses sans signaler par erreur des vidéos inoffensives. Les chercheurs ont également effectué des tests pour voir ce qui se passerait si l'on retirait certaines parties du système. Lorsqu'ils ont supprimé la capacité de diviser les vidéos en clips, ou lorsqu'ils ont retiré l'orientation de haut niveau, les performances du système ont chuté. Cela a confirmé que chaque partie de leur conception était nécessaire. La capacité de se concentrer sur des moments petits et spécifiques tout en gardant un œil sur le contexte global était la clé du succès.
L'étude suggère que l'avenir de la détection de contenus préjudiciables réside dans ce genre d'analyse détaillée et sensible au temps. En respectant la façon dont les humains expérimentent réellement la vidéo — morceau par morceau, moment par moment — les machines peuvent enfin apprendre à percevoir la nature subtile et évolutive des discours de haine. Les chercheurs n'ont pas prétendu avoir résolu le problème de la haine en ligne pour toujours, mais ils ont fourni un outil nettement plus aiguisé pour la tâche. Leur travail montre que pour comprendre le danger dans une vidéo, on ne peut pas se contenter de regarder l'image globale ; il faut regarder l'histoire se dérouler, un petit clip à la fois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.