VideoNorms: Benchmarking Cultural Awareness of Video Language Models
Cet article présente VideoNorms, un ensemble de données de plus de 3 000 annotations de normes culturelles issues de séries télévisées américaines et chinoises créées grâce à une collaboration humain-IA, ce qui révèle que les VideoLLM actuels éprouvent davantage de difficultés avec les contextes culturels chinois et les preuves non verbales, soulignant ainsi la nécessité d'un entraînement et d'une évaluation ancrés dans la culture.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot à comprendre le comportement humain. Vous lui montrez une vidéo de deux personnes qui se rencontrent, et vous lui demandez : « Sont-ils polis ? » Dans le monde de l'intelligence artificielle, c'est un défi immense. Nous avons construit des « Modèles de Langage de Grande Taille pour la Vidéo » (VideoLLMs) — des ordinateurs super intelligents capables de regarder des vidéos et de parler de ce qu'ils voient. Mais la plupart de ces robots n'ont été entraînés que sur des données provenant d'un coin spécifique du monde, principalement les États-Unis. Ils sont excellents pour repérer un chat ou une voiture, mais ils trébuchent souvent face aux règles invisibles de la société : les scripts non écrits que nous suivons lorsque nous serrons la main, nous excusons ou disons au revoir. Tout comme un touriste qui ne sait pas qu'il est impoli de pointer du doigt avec la main gauche dans certains pays, ces modèles d'IA peuvent penser qu'un comportement est normal alors que, dans une autre culture, il s'agit en réalité d'un faux pas majeur. Cette publication pose une question critique : ces robots capables de visionnage vidéo peuvent-ils comprendre la « vibe » culturelle de différentes sociétés, ou ne font-ils que deviner en se basant sur ce qu'ils ont vu dans les films américains ?
Pour répondre à cela, une équipe de chercheurs a créé un nouveau test appelé VIDEONORMS. Considérez ce jeu de données comme un immense jeu de « cherchez l'intrus » mondial, mais au lieu de chercher des objets cachés, l'IA doit repérer si les gens suivent ou transgressent les règles sociales. Les chercheurs ne se sont pas contentés de demander à l'IA de deviner ; ils ont construit une « Équipe Humain-IA ». D'abord, une IA super puissante (appelée Gemini) a regardé des milliers de clips de 15 secondes issus de séries télévisées populaires aux États-Unis et en Chine et a consigné ce qu'elle pensait être les règles sociales. Ensuite, de véritables experts humains — des personnes ayant grandi dans ces cultures spécifiques — sont intervenus pour agir en tant qu'éditeurs. Ils ont vérifié le travail de l'IA, corrigeant les erreurs et ajoutant des détails sur le langage corporel et le ton que le robot aurait pu manquer. Ce processus a abouti à une immense bibliothèque de plus de 3 000 jugements vérifiés par l'humain sur le fait que les personnages de séries télévisées étaient polis ou impolis.
Lorsque les chercheurs ont testé sept modèles différents d'IA vidéo en open-source sur ce nouveau jeu de données, ils ont découvert des lacunes surprenantes dans leur intelligence culturelle. Premièrement, les modèles étaient bien plus performants pour comprendre les normes sociales américaines que les normes chinoises. C'est comme si les robots avaient étudié dur pour un examen sur la culture américaine, mais qu'ils avaient à peine ouvert leurs manuels pour la Chine. Plus précisément, les modèles avaient du mal à prédire quand un personnage chinois suivait une règle, se confondant souvent sur ce que la « politesse » signifiait dans ce contexte. Deuxièmement, les robots avaient beaucoup plus de mal à expliquer pourquoi quelque chose était impoli ou poli si l'indice était non verbal. Si un personnage croisait les bras ou évitait le regard, l'IA manquait souvent le signal, alors qu'elle était bien plus efficace pour capter les indices verbaux comme les mots « désolé » ou « merci ».
L'étude a également testé si le simple fait de rendre l'IA plus « grande » ou plus intelligente permettrait de résoudre ces problèmes. Ils ont utilisé des modèles plus vastes et injecté davantage de cadres vidéo, mais les résultats ne se sont pas améliorés de manière significative. Cela suggère que le problème n'est pas seulement la quantité de données que le robot a mémorisées, mais plutôt le type de données qu'il possède. Les chercheurs ont également prouvé qu'on ne peut pas simplement lire le script (les paroles prononcées) pour comprendre la scène ; il faut réellement regarder la vidéo. Les indices visuels sont essentiels pour saisir le contexte culturel.
En résumé, cet article révèle que si notre IA capable de visionnage vidéo s'améliore pour voir le monde, elle a encore un long chemin à parcourir avant de pouvoir véritablement comprendre les diverses façons dont les humains se comportent à travers les différentes cultures. Les robots sont actuellement comme des touristes qui connaissent le dictionnaire mais n'ont pas appris les coutumes locales, et les rendre plus grands ne leur apprendra pas les règles de la route. Pour construire une IA véritablement consciente de la culture, nous devons les entraîner sur une plus grande variété d'histoires humaines, et pas seulement sur celles de Hollywood.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.