Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
Cette étude démontre que les grands modèles de langage multimodaux peuvent constituer une méthode rentable et évolutive pour auditer l'exposition de TikTok aux contenus préjudiciables en France, en Italie et en Suède, révélant que les recherches par mots-clés augmentent considérablement l'exposition aux contenus préjudiciables par rapport au défilement passif et que les filtres de sécurité sous-estiment souvent les préjudices explicites.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque jour, des millions de jeunes ouvrent une application pour regarder des vidéos courtes, avec l'espoir que l'écran leur montrera des choses qu'ils pourraient apprécier. Dans les coulisses, des programmes informatiques complexes décident quelles vidéos apparaîtront ensuite, apprenant de chaque clic, de chaque pause et de chaque saut pour construire un flux personnalisé. Bien que ces systèmes soient conçus pour être engageants, ils peuvent parfois pousser les utilisateurs vers des contenus dangereux ou éprouvants, tels que du matériel faisant la promotion de l'automutilation, des troubles alimentaires ou de la violence. Parce que ces algorithmes fonctionnent comme une « boîte noire » à l'intérieur des serveurs de l'entreprise, les chercheurs indépendants ont eu du mal à voir exactement ce que les jeunes utilisateurs voient. Il est difficile de vérifier chaque vidéo, et les règles sur ce qui est considéré comme nocif peuvent varier selon la langue et le pays. Sans un moyen clair de mesurer cette exposition, il est difficile de savoir si les mesures de sécurité fonctionnent réellement ou si elles échouent à protéger les personnes mêmes qu'elles sont censées protéger.
Pour résoudre ce problème, une équipe de chercheurs du Politecnico di Milano en Italie s'est donné pour mission d'auditer TikTok dans trois pays européens différents : la France, l'Italie et la Suède. Ils voulaient voir quelles vidéos l'application montrerait à des utilisateurs de différents âges, allant de l'adolescence précoce à l'âge adulte. Au lieu d'engager des armées de personnes pour regarder des milliers de vidéos, ils se sont tournés vers un nouveau type d'intelligence artificielle appelée modèle de langage multimodal. Ce sont des systèmes informatiques avancés qui peuvent lire du texte, écouter de l'audio et regarder des images à la fois, tout comme un humain le ferait. Les chercheurs ont d'abord testé plusieurs de ces systèmes d'IA sur un petit ensemble de vidéos qui avaient déjà été étiquetées par des experts humains. Ils ont découvert qu'un modèle spécifique, lorsqu'on lui montrait huit images fixes tirées d'une vidéo accompagnées de la description textuelle, pouvait identifier le contenu nocif avec un niveau de précision suffisant pour être utilisé à grande échelle. Cette approche a permis d'analyser près de 37 000 vidéos pour un coût d'environ cinquante dollars, une tâche qui aurait été excessivement coûteuse et lente en utilisant uniquement des réviseurs humains.
L'étude a utilisé des comptes informatiques qui simulaient de vrais utilisateurs avec des âges spécifiques : treize, seize, dix-neuf et quarante ans. Ces comptes ont été configurés en France, en Italie et en Suède pour voir comment l'application se comportait dans différents endroits. Les chercheurs ont laissé ces comptes faire défiler leurs flux de vidéos principaux sans rien faire d'autre, enregistrant ce que l'algorithme choisissait de leur montrer. Ils ont également effectué un second test où les comptes recherchaient activement des mots spécifiques liés à des sujets nocifs, tels que « suicide » ou « jeux d'argent », pour voir comment l'application réagissait aux demandes directes. Les résultats ont révélé une différence flagrante entre ce que les utilisateurs voient lors d'un défilement passif et ce qu'ils trouvent lorsqu'ils cherchent activement. Lorsque les comptes faisaient simplement défiler, la quantité de contenu nocif variait considérablement selon le pays. L'Italie présentait les taux les plus élevés de vidéos nocives pour chaque groupe d'âge, avec près de la moitié des vidéos montrées à un persona de dix-neuf ans signalées comme nocives. En revanche, les taux en France et en Suède étaient plus bas, bien que présents.
Cependant, la situation changeait radicalement lorsque les comptes commençaient à effectuer des recherches. Lorsque les chercheurs tapaient des mots-clés liés au mal, l'application renvoyait immédiatement un flot de contenu nocif, le taux grimpant entre trente-cinq et cinquante-six pour cent. Il s'agissait d'une augmentation massive par rapport au défilement passif, montrant que l'application est très efficace pour trouver ce matériel lorsqu'on le demande, même sans avertissements visibles ou blocages au moment de la recherche. Curieusement, ce pic de contenu nocif était temporaire. Une fois la recherche terminée et les comptes revenus au défilement, le flux revenait à son niveau normal de contenu nocif en quelques minutes. Cela suggère que l'algorithme ne « empoisonne » pas de manière permanente le flux d'un utilisateur après une seule recherche, mais qu'il offre un accès immédiat à du matériel dangereux lorsqu'il est sollicité.
L'étude a également constaté que l'âge de l'utilisateur importait moins que le pays dans lequel il se trouvait. En France et en Suède, la quantité de contenu nocif vu par les adolescents les plus jeunes était inférieure à celle vue par les adultes, ce qui est l'objectif des règles de sécurité. Mais en Italie, les utilisateurs les plus jeunes voyaient autant, voire plus, de contenu nocif que les adultes, indiquant que les filtres de sécurité ne fonctionnaient pas comme prévu pour cette région spécifique. Les chercheurs ont noté que l'intelligence artificielle qu'ils utilisaient n'était pas parfaite ; elle a manqué certaines vidéos et a parfois refusé d'analyser d'autres, particulièrement celles présentant une nudité très explicite. Cela signifie que les chiffres qu'ils ont rapportés sont probablement des estimations prudentes, et que la quantité réelle de contenu nocif pourrait être légèrement plus élevée. Malgré ces limites, l'étude prouve que l'utilisation d'une IA avancée pour auditer les plateformes de médias sociaux est un moyen réalisable et abordable de surveiller la sécurité à travers différentes langues et pays. Elle souligne que, si la fonction de recherche est une porte d'entrée majeure vers le contenu nocif, le flux passif varie également considérablement selon l'emplacement, l'Italie présentant l'exposition la plus significative pour les jeunes utilisateurs. Les conclusions suggèrent que les entreprises de plateformes doivent examiner de plus près la manière dont elles modèrent les résultats de recherche et dont elles adaptent leurs mesures de sécurité pour différentes régions, plutôt que de supposer qu'une approche universelle protège les enfants partout.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.