Sintesi Tecnica: Bias Demografici Guidati dalle Emozioni nella Generazione di Volti Sintetici

Definizione del Problema

Sebbene i modelli di generazione di immagini da testo (T2I) e i modelli linguistici multimodali (MLLM) abbiano raggiunto un'elevata fedeltà nella generazione di volti sintetici, la qualità rappresentativa e il bias di questi sistemi rimangono scarsamente compresi, in particolare per quanto riguarda l'intersezione tra attributi demografici e prompt emotivi. La ricerca precedente si è concentrata ampiamente su bias demografici isolati (ad esempio, genere o razza presi singolarmente) su volti neutri o su modelli addestrati in Occidente. Questo studio identifica tre lacune critiche:

1. Intersezionalità: Il lavoro esistente spesso trascura come molteplici identità (genere, razza, età) si compongano per creare vulnerabilità e sottorappresentazioni uniche.
2. Bias Condizionato dall'Emozione: La maggior parte degli studi ignora come i prompt emotivi (ad esempio, "felice" rispetto a "arrabbiato") influenzino le distribuzioni demografiche, nonostante le prove che le espressioni facciali siano legate a norme culturali e stereotipi.
3. Coerenza Cross-Culturale: Manca un confronto sistematico tra i modelli sviluppati in contesti occidentali rispetto a quelli sviluppati in Cina, nonostante l'emergere della Cina come grande potenza dell'IA con dati di addestramento specifici per la regione.

Le domande centrali della ricerca affrontano se i modelli T2I generino volti demograficamente sbilanciati rispetto alle popolazioni globali, come questi bias differiscano tra i modelli occidentali e quelli cinesi e come i prompt emotivi spostino le distribuzioni demografiche e di attrattiva.

Metodologia

Gli autori hanno condotto un audit sistematico di otto modelli di diffusione T2I all'avanguardia: quattro sviluppati da organizzazioni occidentali (FLUX-Schnell, Proteus V0.3, Stable Diffusion 3.5, SANA 1.5) e quattro da istituzioni cinesi (Hunyuan-DiT, Qwen-Image, Kolors, Wan2.1).

Design Sperimentale:

• Prompting: I modelli sono stati sollecitati con template in inglese identici: "A photorealistic portrait of a [emotion] person, front-facing."
• Emozioni: Sono state testate sei emozioni canoniche (felice, triste, arrabbiato, sorpreso, disgustato, timoroso) basate sul framework delle emozioni di base di Ekman, insieme a una baseline neutra.
• Scala: Sono state generate 1.000 immagini per modello per ogni emozione, per un totale di 56.000 volti sintetici.
• Stima degli Attributi: I volti generati sono stati analizzati utilizzando strumenti automatizzati all'avanguardia:
  • Demografia: Il modello FairFace è stato utilizzato per stimare genere, razza ed età. La validazione su dataset di benchmark (CFD, FACES, APPA-REAL, FGNET) ha mostrato un'elevata accuratezza (97% per il genere, 90% per la razza, 73% per l'età).
  • Attrattiva: Un modello dedicato (basato su ResNet e addestrato sul dataset AHEAD) ha stimato i livelli di attrattiva (bassa, media, alta).
• Metriche di Bias: Lo studio ha impiegato metriche dell'informazione teorica per quantificare le deviazioni:
  • Baseline Bias: Le divergenze di Kullback-Leibler (KL), Jensen-Shannon (JS) e la distanza di variazione totale (TVD) sono state calcolate tra gli output dei modelli e le statistiche della popolazione globale (derivate dai dati ONU e da strategie di assegnazione razza-per-paese).
  • Shift Intersezionale: Le divergenze KL e JS hanno misurato gli spostamenti nella distribuzione congiunta di genere, razza ed età.
  • Bias Condizionato dall'Emozione: Le divergenze sono state calcolate tra gli output specifici per emozione e la baseline neutra per isolare l'impatto dei prompt emotivi.

Risultati Chiave

1. Persistente Bias Demografico (RQ1)
Tutti gli otto modelli hanno mostrato deviazioni significative dalle statistiche della popolazione globale, indipendentemente dalla loro origine.

• Genere: La maggior parte dei modelli ha mostrato un pronunciato squilibrio di genere. Quattro modelli (FLUX, Proteus, SD3, Qwen) hanno sovrarappresentato i maschi (60–90%), mentre due (SANA, Hunyuan) hanno sovrarappresentato le femmine (>80%). Solo Qwen e Wan2.1 si sono avvicinati a una distribuzione bilanciata, sebbene nessuno abbia raggiunto la parità.
• Razza: Le disparità sono state ancora più gravi. Tre modelli (Proteus, SANA, Kolors) hanno generato oltre l'80–90% di volti bianchi, nonostante gli individui bianchi rappresentino circa l'11% della popolazione globale. Le popolazioni asiatiche e nere sono state costantemente sottorappresentate.
• Età: È stato osservato un forte prior generativo verso la giovinezza. Il gruppo di età 20–39 è stato pesantemente sovrarappresentato (>80% in sei modelli), mentre bambini, adolescenti, adulti di mezza età e, specialmente, gli anziani (60+) sono stati severamente sottorappresentati.
• Intersezionalità: L'analisi della distribuzione congiunta ha rivelato che combinazioni specifiche, come "giovane × femmina × nera", avevano una rappresentazione quasi nulla nella maggior parte dei modelli, mentre "giovane × femmina × bianca" dominava.

2. Omogeneizzazione Cross-Culturale (RQ2)
Contrariamente all'aspettativa che i modelli cinesi riflettessero le demografie locali, lo studio ha trovato una sorprendente omogeneizzazione dei bias.

• Similitudine: I modelli occidentali e cinesi hanno esibito pattern comparabili di sovrarappresentazione di individui bianchi e giovani.
• Anomalia della Razza: Nonostante la Cina abbia una popolazione prevalentemente est-asiatica, la maggior parte dei modelli cinesi ha generato una maggioranza di volti bianchi, rispecchiando da vicino i modelli occidentali. Hunyuan è stata una nota eccezione, generando circa il 90% di volti asiatici.
• Impatto del Linguaggio: Testare i modelli cinesi con prompt in cinese (Appendice E) ha mostrato solo moderati spostamenti distribuzionali; la sovrarappresentazione di volti bianchi è persistita, suggerendo che il bias derivi da dati di addestramento condivisi o da prior architettonici piuttosto che dal linguaggio del prompt stesso.

3. Bias Condizionato dall'Emozione (RQ3)
I prompt emotivi hanno spostato sistematicamente le distribuzioni demografiche, esacerbando i bias esistenti.

• Emozioni Negative: I prompt per emozioni negative ad alto arousal (Rabbia, Disgusto, Paura) hanno indotto i maggiori spostamenti demografici. Questi prompt hanno costantemente aumentato la probabilità di generare volti anziani, maschi e bianchi, diminuendo la rappresentazione di giovani, femmine e asiatici.
• Emozioni Positive: I prompt "felice" hanno prodotto le deviazioni minori rispetto alla baseline neutra, spesso rinforzando il bias predefinito verso volti giovani, attraenti e bianchi.
• Attrattiva: Le emozioni negative sono correlate a un aumento significativo dei punteggi di bassa attrattiva, mentre la felicità ha leggermente aumentato i punteggi di alta attrattiva, allineandosi all'effetto "alone di attrattiva".
• Sensibilità del Modello: I modelli occidentali hanno generalmente mostrato divergenze KL maggiori (maggiore sensibilità all'emozione) rispetto ai modelli cinesi, sebbene la direzione degli spostamenti sia stata coerente tra entrambi i gruppi.

Significato e Rivendicazioni

L'articolo sostiene di fornire il primo audit sistematico, cross-culturale e condizionato dall'emozione dei volti generati da T2I. I suoi principali contributi sono:

1. Framework Quantitativo: Un metodo per misurare i bias rappresentativi utilizzando metriche dell'informazione teorica attraverso attributi intersecati.
2. Evidenza di Omogeneizzazione: La scoperta che modelli provenienti da ecosistemi culturali distinti (Occidentali e Cinesi) convergono su una singolare rappresentazione "default" eurocentrica, sfidando la nozione che i dati di addestramento regionali portino necessariamente a output culturalmente distinti.
3. L'Emozione come Amplificatore di Bias: La scoperta che l'aggiunta di indizi emotivi non cambia semplicemente l'espressione facciale, ma rimodella fondamentalmente le distribuzioni demografiche, spesso rinforzando stereotipi legati all'età e alla razza/genere (ad esempio, associare la rabbia a uomini anziani).

Gli autori sostengono che questi bias non siano semplici artefatti della composizione dei dati, ma riflettano prior strutturali nello spazio latente dei modelli generativi. Concludono che, senza un audit attivo e un intervento, questi sistemi rischiano di rinforzare stereotipi esclusivi, specialmente quando utilizzati per immagini "emotivamente cariche". Lo studio raccomanda trasparenza nei dati di addestramento, controlli granulari per l'utente per scindere l'emozione dai default demografici e una regolamentazione proattiva che richieda audit sui bias regolari prima del dispiegamento su larga scala.

Limitazioni: Gli autori riconoscono che il loro audit è limitato a un set specifico di modelli e a un set predefinito di emozioni e attributi. Notano che il loro affidamento su classificatori automatizzati, pur essendo scalabile, può introdurre errori di classificazione, e che il loro framework è diagnostico piuttosto che prescrittivo riguardo alle strategie di mitigazione.