Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

La magia de las imágenes y el peligro de las historias

Imagina que tienes un pincel mágico que puede convertir cualquier frase que escribas en una imagen. Si dices: "Dibuja un gato", aparece un gato esponjoso. Si dices: "Dibuja un gato con un sombrero", el gato recibe un sombrero. Este es el mundo de los sistemas de Texto-a-Imagen (T2I), un tipo de inteligencia artificial que recientemente se ha vuelto increíblemente buena siguiendo instrucciones. Pero aquí está el giro: estos nuevos pinceles de IA ya no son solo para imágenes individuales. Ahora pueden mantener una conversación. Puedes pedir una imagen, mirarla, decir: "Ahora haz al gato triste", y dibujará un gato triste que se ve exactamente igual al primero. Esto se llama generación de múltiples turnos. Es como tener un dibujante de cómics que recuerda cada detalle que le has pedido hasta ahora, permitiéndote construir toda una historia, panel por panel, directamente en tu ventana de chat.

¿Por qué es esto importante? Porque durante mucho tiempo, la gente ha sabido que una sola imagen puede ser inofensiva, pero una secuencia de imágenes puede contar una historia terrible. Piensa en un chiste donde el primer panel muestra a una persona dejando caer una moneda, el segundo la muestra recogiéndola y el tercero revela que recogió una bomba. Las dos primeras imágenes están bien; la tercera es el remate. Si una IA solo revisa cada imagen individualmente, podría pasar por alto el peligro por completo. Este artículo plantea una pregunta aterradora: si dejamos que estos artistas de IA conversadores dibujen toda una historia, ¿podrían accidentalmente (o a propósito) crear una narrativa de odio que se escape de los filtros de seguridad porque ninguna imagen individual parezca mala por sí sola?

El artículo: Cuando paneles inocentes cuentan historias de odio

Esta investigación profundiza en una trampa oculta en la nueva generación de herramientas de arte por IA. Los autores, un equipo de investigadores de seguridad, descubrieron que, si bien los sistemas de seguridad de la IA actuales son excelentes detectando una sola imagen mala, son pésimos entendiendo una historia visual de odio.

Para probar esto, los investigadores crearon un conjunto de datos especial llamado HatefulStoryPrompts. Tomaron 55 narrativas de odio —historias diseñas para burlarse o herir a grupos específicos de personas, como estereotipos raciales o bromas antisemitas— y las desglosaron en instrucciones paso a paso. Luego pidieron a cinco de los generadores de imágenes de IA más avanzados del mundo (incluyendo modelos de Google y OpenAI) que dibujaran estas historias. ¿El truco? Cada una de las instrucciones que recibió la IA parecía perfectamente inocente. El primer prompt podría pedir un "pareja próspera", el segundo un "abogado delgado" y el tercero un "abogado rico". Individualmente, estas son solo peticiones normales. Pero cuando pones las imágenes en orden, cuentan una historia racista o de odio sobre cómo el abogado engañó a la pareja.

Los resultados fueron sorprendentes. Los investigadores descubrieron que estos modelos de IA son increíblemente buenos siguiendo las instrucciones para terminar la historia. De cada 100 historias que intentaron generar, los modelos completaron con éxito la secuencia completa de imágenes más del 80% de las veces. El mejor modelo, GPT Image 2, terminó un impresionante 99.0% de las historias de odio. Esto significa que, si un actor malintencionado quisiera crear un cómic de odio utilizando estas herramientas, la IA le ayudaría felizmente a hacerlo, panel por panel, sin levantar nunca una alarma.

La brecha de seguridad: Por qué los defensores actuales fallan

El equipo luego probó los "guardias de seguridad" que utilizan actualmente estas empresas de IA. Preguntaron: "¿Pueden estos guardias detectar el odio cuando ven la historia completa?". Crearon un conjunto de datos llamado HatefulVisualStory, que contiene casi 1,000 conjuntos de imágenes de odio y 990 versiones similares inofensivas.

Los resultados mostraron que los sistemas de seguridad actuales son mayormente ciegos ante este tipo de amenaza.

• El problema de la "Imagen Única": La mayoría de las herramientas de seguridad revisan una imagen a la vez. Cuando miraron las historias de odio, se perdieron casi todo. Un modelo de seguridad dedicado solo detectó el 34.9% de las historias de odio. Otra herramienta de seguridad famosa, LlavaGuard, detectó el 0.0% (0.0% de recall).
• El problema de la "Historia Completa": Incluso cuando los investigadores entregaron la secuencia completa de imágenes a las herramientas de seguridad a la vez, los resultados no fueron mucho mejores. La herramienta más fuerte logró captar solo el 67.5% de las historias de odio.

El artículo argumenta que esto sucede porque el odio no está en los píxeles de una sola imagen; está en la relación entre las imágenes. Es como intentar entender una película mirando un solo fotograma congelado; podrías perderte la trama por completo.

La solución: Capturar la historia antes de que termine

Dado que los guardias actuales no están viendo el panorama completo, los investigadores propusieron dos nuevas formas de capturar estas historias: Monitoreo Proactivo y Detección Post-Generación.

1. Monitoreo Proactivo (El detentor temprano): Imagina a un profesor observando a un estudiante escribir una historia. En lugar de esperar hasta que la historia esté terminada para revisar si es mala, el profesor lee cada frase a medida que se escribe. Si el profesor ve que la historia se vuelve de odio, detiene al estudiante inmediatamente. Los investigadores construyeron un sistema que hace esto para la IA. Observa la conversación mientras ocurre.

   • Si el usuario solo está escribiendo prompts, este sistema detectó el 97.3% de las historias de odio antes de que se dibujara la última imagen.
   • Si el usuario comenzó con su propia imagen y luego añadió prompts, aun así detectó el 92.6% de las historias.
   • Crucialmente, lo hizo con casi ninguna "falsa alarma", lo que significa que rara vez detuvo historias inocentes.

2. Detección Post-Generación (El detective): A veces, la historia ya está terminada y publicada en línea. Los investigadores también probaron un nuevo método para analizar el cómic completado. Probaron un enfoque de "describir-luego-juzgar", donde la IA primero escribe un resumen de toda la historia y luego decide si es de odio. Esto ayudó a la IA a entender mejor el contexto.

   • Este método detectó el 80.2% de las historias de odio en imágenes concatenadas (imágenes pegadas) y el 76.6% en conjuntos de imágenes separadas, lo cual es una mejora enorme respecto a los métodos antiguos.

La gran conclusión

El artículo concluye que a medida que la IA mejora en la capacidad de contar historias coherentes de múltiples pasos, nuestras reglas de seguridad también deben volverse más inteligentes. Ya no podemos simplemente revisar imágenes individuales; tenemos que entender la historia que las imágenes están contando. Los autores encontraron que los modelos de IA más nuevos y potentes son en realidad más propensos a terminar estas historias de odio porque siguen mejor las instrucciones, no porque sean más seguros.

Los investigadores sugieren que la mejor defensa es un enfoque de dos capas: un "perro guardián" que monitorea la conversación mientras ocurre para detener la historia antes de que termine, y un "detective" que analiza la historia final si logra filtrarse. Sin estos nuevos métodos, el artículo advierte que la próxima generación de cómics de IA podría convertirse en una forma barata y fácil de difundir el odio entre millones de personas, incluyendo niños, sin que nadie lo note hasta que sea demasiado tarde.