EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

Immagina di aver appena raccolto una macchina fotografica magica che non scatta foto del mondo così com'è, ma dipinge immagini basandosi sulle tue parole. Se dici "uno chef", potrebbe disegnare un uomo; se dici "un infermiere", potrebbe disegnare una donna. È così che funzionano i moderni modelli Text-to-Image (T2I): sono artisti incredibilmente intelligenti che trasformano le frasi in splendidi visivi. Ma ecco il problema: questi artisti sono stati addestrati su un enorme mucchio di vecchie immagini prese da internet, e quel mucchio è pieno di stereotipi. Per molto tempo, gli scienziati hanno controllato se questi pittori digitali sbagliano il "chi" — come disegnare solo uomini come medici o solo donne come infermiere. Hanno guardato al cast statico di personaggi nell'immagine. Ma cosa succederebbe se il vero problema non fosse solo chi è nella stanza, ma cosa stanno facendo? E se la macchina fotografica decidesse che, quando le cose vanno male, solo certe persone sono abbastanza coraggiose da aiutare, mentre altre restano semplicemente a guardare? Questo è la nuova frontiera del pregiudizio: non solo chi appare, ma chi agisce, chi reagisce e chi ha il diritto di essere l'eroe.

Entra in scena un team di ricercatori dell'Università di Fudan che ha deciso di sottoporre questi artisti IA alla prova suprema: il pronto soccorso. Hanno coniato un nuovo termine, EmergencyBias, per descrivere un tipo subdolo di pregiudizio che accade quando all'IA viene chiesto di disegnare una crisi, come un incidente stradale o un incendio. Volevano vedere se l'IA avrebbe automaticamente deciso che gli uomini sono quelli che corrono a salvare la situazione, mentre donne, anziani o persone con la pelle più scura sono quelli che hanno bisogno di essere salvati o restano semplicemente a guardare.

Per scoprirlo, non si sono limitati a chiedere all'IA di disegnare una scena casuale; hanno allestito un esperimento massiccio e sistematico. Hanno creato sei diversi scenari ad alto rischio, che spaziavano da qualcuno che annega in un fiume a un incidente su una piattaforma della metropolitana. Hanno chiesto a sette dei modelli di IA più avanzati al mondo di disegnare queste scene. Prima, hanno dato ai modelli dei prompt "vuoti" — solo "una persona cade su una piattaforma della metropolitana" — per vedere a chi l'IA desse la precedenza per impostazione predefinita. Poi, hanno dato dei prompt "controllati", dicendo esplicitamente all'IA: "Disegna una spettatrice femmina" o "Disegna una persona anziana in crisi", per vedere se l'IA le avrebbe comunque trattate diversamente nelle loro azioni.

I risultati sono stati come guardare un trucco di magia dove il mago rivela accidentalmente il segreto: i modelli di IA erano effettivamente influenzati dai pregiudizi, e il pregiudizio peggiorava quando la situazione diventava spaventosa. Quando i prompt erano vuoti, l'IA sceglieva schiacciantemente uomini per essere sia in pericolo che nel ruolo di chi aiuta, mentre le persone anziane erano quasi invisibili, apparendo in meno dell'8% dei ruoli "in crisi". Ma lo shock vero è arrivato quando hanno controllato i dati demografici. Anche quando hanno esplicitamente detto all'IA: "Disegna una spettatrice femmina", il modello faceva comunque sì che lei fosse meno propensa ad aiutare rispetto a un uomo. L'IA sembrava avere un copione nascosto dove gli uomini sono i soccorritori attivi e le donne sono le osservatrici passive, indipendentemente da ciò che diceva il prompt. Non si trattava solo di un piccolo errore; la differenza nel comportamento di "aiuto" tra i generi era il pregiudizio più pronunciato che avessero trovato.

I ricercatori hanno anche testato una nuova soluzione leggera chiamata ActionAlign. Immaginatelo come un piccolo, invisibile allenatore che sussurra istruzioni all'artista IA proprio prima che inizi a dipingere, spingendolo a rompere le sue cattive abitudini senza cancellare il suo talento artistico. Hanno confrontato questo metodo con un approccio più ovvio, che consiste nel aggiungere parole "etiche" al prompt (come dire "sii equo"). I risultati hanno mostrato che ActionAlign era molto più efficace nel correggere il comportamento. Su uno dei modelli, ha ridotto il pregiudizio nel comportamento di aiuto di un massiccio 78,14%, senza quasi toccare la qualità dell'immagine. Questo suggerisce che non basta dire a un'IA di "essere gentile" con poche parole; a volte è necessario riaddestrare il suo senso interno di come diverse persone dovrebbero agire in una crisi.

In breve, questo articolo suggerisce che i nostri artisti IA non stanno solo copiando chi è nella stanza; stanno anche copiando chi pensano debba essere l'eroe. Anche quando li costringiamo a disegnare una persona specifica, faticano ancora a immaginare quella persona che compie un'azione. La buona notizia è che, con un po' di intelligente regolazione, potremmo insegnare a questi modelli a scrivere un copione più equo per tutti, assicurando che nelle emergenze digitali del futuro, gli eroi somiglino a tutti noi.