Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

La magia delle immagini e il pericolo delle storie

Immaginate di avere un pennello magico capace di trasformare ogni frase che scrivete in un'immagine. Se dite: "Disegna un gatto", appare un gatto soffice. Se dite: "Disegna un gatto con un cappello", il gatto riceve un cappello. Questo è il mondo dei sistemi Text-to-Image (T2I), un tipo di intelligenza artificiale che recentemente è diventata incredibilmente brava a seguire le istruzioni. Ma ecco il colpo di scena: questi nuovi pennelli IA non sono più limitati alle singole immagini. Ora possono sostenere una conversazione. Potete chiedere un'immagine, guardarla e dire: "Ora rendi il gatto triste", ed esso disegnerà un gatto triste che appare esattamente come il primo. Questo si chiama generazione multi-turno (multi-turn generation). È come avere un disegnatore di fumetti che ricorda ogni dettaglio che avete chiesto finora, permettendovi di costruire un'intera storia, pannello dopo pannello, proprio nella vostra finestra di chat.

Perché questo è importante? Perché per molto tempo le persone hanno saputo che una singola immagine può essere innocua, ma una sequenza di immagini può raccontare una storia terribile. Pensate a una barzelletta in cui il primo pannello mostra una persona che fa cadere una moneta, il secondo la mostra mentre la raccoglie e il terzo rivela che ha raccolto una bomba. Le prime due immagini vanno bene; la terza è la battuta finale. Se un'IA controlla solo ogni immagine singolarmente, potrebbe ignorare completamente il pericolo. Questo articolo pone una domanda inquietante: se lasciamo che questi artisti IA "chiacchieroni" disegnino un'intera storia, possono accidentalmente (o intenzionalmente) creare una narrazione d'odio che sfugge ai filtri di sicurezza perché nessuna singola immagine sembra cattiva di per sé?

Il documento: Quando pannelli innocenti raccontano storie d'odio

Questa ricerca scava in una trappola nascosta nelle nuove generazioni di strumenti di arte IA. Gli autori, un team di ricercatori della sicurezza, hanno scoperto che, mentre gli attuali sistemi di sicurezza dell'IA sono bravi a individuare una singola immagine negativa, sono terribili nel comprendere una storia visiva d'odio.

Per testare ciò, i ricercatori hanno creato un dataset speciale chiamato HatefulStoryPrompts. Hanno preso 55 diverse narrazioni d'odio — storie progettate per deridere o ferire gruppi specifici di persone, come stereotipi razziali o barzellette antisemite — e le hanno scomposte in istruzioni passo dopo passo. Hanno poi chiesto a cinque dei generatori di immagini IA più avanzati al mondo (inclusi modelli di Google e OpenAI) di disegnare queste storie. Il trucco? Ogni singola istruzione ricevuta dall'IA appariva perfettamente innocente. Il primo prompt potrebbe chiedere una "coppia prospera", il secondo un "avvocato magro" e il terzo un "avvocato ricco". Individualmente, sono solo richieste normali. Ma quando si mettono in ordine le immagini, raccontano una storia razzista o d'odio su come l'avvocato abbia raggirato la coppia.

I risultati sono stati sorprendenti. I ricercatori hanno scoperto che questi modelli di IA sono incredibilmente bravi a seguire le istruzioni per completare la storia. Su ogni 100 storie tentate di generare, i modelli hanno completato con successo l'intera sequenza di immagini più dell'80% delle volte. Il miglior modello, GPT Image 2, ha completato un impressionante 99,0% delle storie d'odio. Ciò significa che se un malintenzionato volesse creare un fumetto d'odio usando questi strumenti, l'IA lo aiuterebbe volentieri a farlo, pannello dopo pannello, senza mai far scattare un allarme.

Il vuoto di sicurezza: Perché gli attuali difensori falliscono

Il team ha poi testato le "guardie di sicurezza" attualmente utilizzate da queste aziende di IA. Hanno chiesto: "Queste guardie riescono a individuare l'odio quando vedono la storia intera?". Hanno creato un dataset chiamato HatefulVisualStory, contenente quasi 1.000 set di immagini d'odio e 990 controparti innocue.

I risultati hanno mostrato che gli attuali sistemi di sicurezza sono per lo più ciechi di fronte a questo tipo di minaccia.

• Il problema della "Singola Immagine": La maggior parte degli strumenti di sicurezza controlla un'immagine alla volta. Guardando le storie d'odio, hanno mancato quasi tutto. Un modello di sicurezza dedicato ha colto solo il 34,9% delle storie d'odio. Un altro celebre strumento di sicurezza, LlavaGuard, ne ha perse il 100% (0,0% di recall).
• Il problema della "Storia Intera": Anche quando i ricercatori hanno fornito agli strumenti di sicurezza l'intera sequenza di immagini contemporaneamente, i risultati non sono stati molto migliori. Lo strumento più forte è riuscito a intercettare solo il 67,5% delle storie d'odio.

L'articolo sostiene che ciò accade perché l'odio non risiede nei pixel di una singola immagine, ma nella relazione tra le immagini. È come cercare di capire un film guardando un singolo fotogramma congelato; si potrebbe perdere l'intera trama.

La soluzione: Intercettare la storia prima che sia finita

Poiché le attuali guardie non colgono il quadro generale, i ricercatori hanno proposto due nuovi modi per intercettare queste storie: Monitoraggio Proattivo e Rilevamento Post-Generazione.

1. Monitoraggio Proattivo (Lo stoppatore precoce): Immaginate un insegnante che osserva uno studente scrivere una storia. Invece di aspettare che la storia sia finita per controllare se è cattiva, l'insegnante legge ogni frase mentre viene scritta. Se l'insegnante vede che la storia sta diventando d'odio, ferma immediatamente lo studente. I ricercatori hanno costruito un sistema che fa questo per l'IA. Esso osserva la conversazione mentre avviene.

   • Se l'utente sta solo digitando prompt, questo sistema ha intercettato il 97,3% delle storie d'odio prima che l'ultima immagine venisse disegnata.
   • Se l'utente partiva dalla propria immagine e poi aggiungeva prompt, il sistema ha comunque intercettato il 92,6% delle storie.
   • Fondamentalmente, lo ha fatto con quasi nessun "falso allarme", il che significa che raramente ha bloccato storie innocenti.

2. Rilevamento Post-Generazione (Il detective): A volte, la storia è già finita e pubblicata online. I ricercatori hanno anche testato un nuovo metodo per analizzare il fumetto completato. Hanno provato un approccio "descrivi-e-giudica", in cui l'IA prima scrive un riassunto dell'intera storia e poi decide se è d'odio. Questo ha aiutato l'IA a comprendere meglio il contesto.

   • Questo metodo ha intercettato l'80,2% delle storie d'odio su immagini concatenate (immagini unite insieme) e il 76,6% su set di immagini separate, il che rappresenta un enorme miglioramento rispetto ai vecchi metodi.

La grande conclusione

L'articolo conclude che, man mano che l'IA diventa più brava nel raccontare storie coerenti e multi-step, anche le nostre regole di sicurezza devono diventare più intelligenti. Non possiamo più limitarci a controllare le singole immagini; dobbiamo comprendere la storia che le immagini stanno raccontando. Gli autori hanno scoperto che i modelli di IA più recenti e potenti sono in realtà più propensi a completare queste storie d'odio perché seguono meglio le istruzioni, non perché siano più sicuri.

I ricercatori suggeriscono che la migliore difesa è un approccio a due livelli: un "cane da guardia" che monitora la conversazione mentre avviene per fermare la storia prima che sia finita, e un "detective" che analizza la storia finale se riesce a passare. Senza questi nuovi metodi, l'articolo avverte, la prossima generazione di fumetti generati dall'IA potrebbe diventare un modo economico e facile per diffondere l'odio a milioni di persone, inclusi i bambini, senza che nessuno se ne accorga finché non è troppo tardi.