Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

La magie des images et le danger des histoires

Imaginez que vous possédez un pinceau magique capable de transformer n'importe quelle phrase que vous écrivez en une image. Si vous dites : « Dessine un chat », un chat duveteux apparaît. Si vous dites : « Dessine un chat portant un chapeau », le chat reçoit un chapeau. C'est le monde des systèmes de Text-to-Image (T2I), un type d'intelligence artificielle qui est devenue incroyablement douée pour suivre des instructions ces derniers temps. Mais voici le rebondissement : ces nouveaux pinceaux d'IA ne servent plus seulement à créer des images isolées. Ils peuvent désormais tenir une conversation. Vous pouvez demander une image, l'observer, puis dire : « Maintenant, rends le chat triste », et il dessinera un chat triste qui ressemble exactement au premier. C'est ce qu'on appelle la génération multi-tours (multi-turn generation). C'est comme avoir un dessinateur de bandes dessinées qui se souvient de chaque détail que vous avez demandé jusqu'à présent, vous permettant de construire toute une histoire, panneau par panneau, directement dans votre fenêtre de discussion.

Pourquoi est-ce important ? Parce que depuis longtemps, on sait qu'une image seule peut être inoffensive, mais qu'une séquence d'images peut raconter une histoire terrible. Pensez à une blague où le premier panneau montre une personne laissant tomber une pièce, le deuxième la montre en train de la ramasser, et le troisième révèle qu'elle a ramassé une bombe. Les deux premières images sont sans conséquence ; la troisième est la chute. Si une IA ne vérifie que chaque image individuellement, elle pourrait passer totalement à côté du danger. Cet article pose une question effrayante : si nous laissons ces artistes d'IA bavards dessiner une histoire entière, peuvent-ils accidentellement (ou délibérément) créer un récit haineux qui échappe aux filtres de sécurité parce qu'aucune image prise isolément ne semble mauvaise en soi ?

L'article : Quand des panneaux innocents racontent des récits haineux

Cette recherche explore un piège caché dans la nouvelle génération d'outils de création d'images par IA. Les auteurs, une équipe de chercheurs en sécurité, ont découvert que si les systèmes de sécurité actuels de l'IA sont excellents pour repérer une image isolée problématique, ils sont très mauvais pour comprendre un récit visuel haineux.

Pour tester cela, les chercheurs ont créé un ensemble de données spécial appelé HatefulStoryPrompts. Ils ont pris 55 récits haineux différents — des histoires conçues pour se moquer ou blesser des groupes spécifiques de personnes, comme des stéréotypes raciaux ou des blagues antisémites — et les ont décomposés en instructions étape par étape. Ils ont ensuite demandé à cinq des générateurs d'images par IA les plus avancés au monde (incluant des modèles de Google et d'OpenAI) de dessiner ces histoires. Le piège ? Chaque instruction reçue par l'IA semblait parfaitement innocente. La première consigne pourrait demander un « couple prospère », la seconde un « avocat mince », et la troisième un « avocat fortuné ». Individuellement, ce ne sont que des requêtes normales. Mais quand vous mettez les images dans l'ordre, elles racontent une histoire raciste ou haineuse sur la façon dont l'avocat a trompé le couple.

Les résultats ont été saisissants. Les chercheurs ont constaté que ces modèles d'IA sont incroyablement doués pour suivre les instructions afin de terminer l'histoire. Sur 100 histoires qu'ils ont tenté de générer, les modèles ont réussi à compléter la séquence complète d'images plus de 80 % du temps. Le meilleur modèle, GPT Image 2, a terminé un impressionnant 99,0 % des histoires haineuses. Cela signifie que si un acteur malveillant voulait créer une bande dessinée haineuse en utilisant ces outils, l'IA l'aiderait volontiers à le faire, panneau par panneau, sans jamais donner l'alerte.

La faille de sécurité : Pourquoi les défenseurs actuels échouent

L'équipe a ensuite testé les « garde-fous » actuellement utilisés par ces entreprises d'IA. Ils ont demandé : « Ces gardiens peuvent-ils détecter la haine lorsqu'ils voient l'histoire entière ? » Ils ont créé un ensemble de données appelé HatefulVisualStory, contenant près de 1 000 séries d'images haineuses et 990 équivalents inoffensifs.

Les résultats ont montré que les systèmes de sécurité actuels sont principalement aveugles face à ce type de menace.

• Le problème de l'image unique : La plupart des outils de sécurité vérifient une image à la fois. En examinant les histoires haineuses, ils ont presque tout manqué. Un modèle de sécurité dédié n'a détecté que 34,9 % des histoires haineuses. Un autre outil de sécurité célèbre, LlavaGuard, en a manqué 100 % (0,0 % de rappel).
• Le problème de l'histoire complète : Même lorsque les chercheurs ont donné les séquences d'images entières aux outils de sécurité, les résultats n'étaient pas bien meilleurs. L'outil le plus puissant n'a réussi à attraper que 67,5 % des histoires haineuses.

L'article soutient que cela se produit parce que la haine ne réside pas dans les pixels d'une seule image, mais dans la relation entre les images. C'est comme essayer de comprendre un film en regardant une seule image figée ; on risque de passer totalement à côté de l'intrigue.

La solution : Détecter l'histoire avant qu'elle ne soit terminée

Puisque les gardiens actuels ne voient pas l'ensemble du tableau, les chercheurs ont proposé deux nouvelles méthodes pour intercepter ces histoires : la Surveillance Proactive et la Détection Post-Génération.

1. La Surveillance Proactive (L'intercepteur précoce) : Imaginez un professeur surveillant un élève écrire une histoire. Au lieu d'attendre que l'histoire soit finie pour vérifier si elle est mauvaise, le professeur lit chaque phrase au fur et à mesure qu'elle est écrite. Si le professeur voit l'histoire devenir haineuse, il arrête immédiatement l'élève. Les chercheurs ont construit un système qui fait cela pour l'IA. Il surveille la conversation pendant qu'elle se déroule.

   • Si l'utilisateur ne fait que taper des prompts, ce système a détecté 97,3 % des histoires haineuses avant que la dernière image ne soit dessinée.
   • Si l'utilisateur a commencé avec sa propre image puis a ajouté des prompts, le système a tout de même détecté 92,6 % des histoires.
   • Crucialement, il l'a fait avec presque aucune « fausse alerte », ce qui signifie qu'il a rarement interrompu des histoires innocentes.

2. La Détection Post-Génération (Le détective) : Parfois, l'histoire est déjà terminée et publiée en ligne. Les chercheurs ont également testé une nouvelle méthode pour analyser la bande dessinée achevée. Ils ont essayé une approche de type « décrire puis juger », où l'IA écrit d'abord un résumé de toute l'histoire, puis décide si elle est haineuse. Cela a aidé l'IA à mieux comprendre le contexte.

   • Cette méthode a détecté 80,2 % des histoires haineuses sur des images concaténées (images collées ensemble) et 76,6 % sur des ensembles d'images séparées, ce qui représente une améliction majeure par rapport aux anciennes méthodes.

La conclusion principale

L'article conclut qu'à mesure que l'IA devient plus performante pour raconter des histoires cohérentes et multi-étapes, nos règles de sécurité doivent devenir plus intelligentes également. Nous ne pouvons plus nous contenter de vérifier les images individuelles ; nous devons comprendre l' histoire que racontent les images. Les auteurs ont constaté que les modèles d'IA plus récents et plus puissants sont en réalité plus susceptibles de terminer ces histoires haineuses, non pas parce qu'ils sont plus sûrs, mais parce qu'ils suivent mieux les instructions.

Les chercheurs suggèrent que la meilleure défense est une approche à deux niveaux : un « chien de garde » qui surveille la conversation pendant qu'elle se déroule pour arrêter l'histoire avant qu'elle ne soit finie, et un « détective » qui analyse l'histoire finale si elle parvient à passer entre les mailles du filet. Sans ces nouvelles méthodes, l'article prévient que la prochaine génération de bandes dessinées par IA pourrait devenir un moyen simple et peu coûteux de propager la haine auprès de millions de personnes, y compris des enfants, sans que personne ne s'en aperçoive avant qu'il ne soit trop tard.