🤖 machine learning

Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

Questo articolo rivela che i sistemi di text-to-image basati su LLM introducono bias demografici più forti rispetto ai baseline non basati su LLM a causa dei loro system prompt, e propone FairPro, un framework training-free che mitiga tali bias generando adattivamente istruzioni orientate all'equità pur preservando l'intento dell'utente.

Autori originali: NaHyeon Park, Na Min An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

Pubblicato 2026-06-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: NaHyeon Park, Na Min An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Il "Traduttore Entusiasta"

Immaginate di voler disegnare un'immagine basata su una frase semplice, come "Un botanico".

Nelle vecchie macchine da disegno, avreste consegnato la frase direttamente all'artista. L'artista avrebbe disegnato un botanico, ma avrebbe potuto fare affidamento sulle proprie vecchie abitudini o stereotipi (ad esempio, disegnando solo uomini bianchi).

Nelle nuove macchine da disegno più intelligenti (quelle studiate in questo articolo), c'è un passaggio extra. Prima che l'artista veda la vostra frase, un traduttore intelligente (un modello linguistico IA) la legge per primo. Questo traduttore dovrebbe aiutare aggiungendo dettagli per rendere l'immagine migliore. Ad esempio, potrebbe trasformare "Un botanico" in "Un botanico in un campo verde con un cappello, che tiene in mano una lente d'ingrandimento".

Il Problema: Il documento ha scoperto che questo "traduttore intelligente" spesso aggiunge stereotipi indesiderati mentre cerca di essere utile. Anche se non avete richiesto un genere, una razza o un'età specifica, il traduttore potrebbe presumere: "Oh, i botanici sono di solito uomini bianchi", e aggiungere questi dettagli alle istruzioni prima ancora che l'artista inizi a disegnare.

L'Indagine: Il Test "COMPBIAS"

I ricercatori hanno costruito un enorme kit di test chiamato COMPBIAS (pensatelo come un esame standardizzato per le macchine da disegno). Hanno testato 1.024 prompt diversi, che andavano dai molto semplici ("Un medico") ai molto complessi ("Un medico che salva un paziente in un ospedale affollato").

Hanno confrontato due tipi di macchine:

Scuola Vecchia: Istruzioni dirette all'artista.
Scuola Nuova: Le istruzioni passano prima attraverso il "traduttore intelligente".

I Risultati:

Le macchine della "Scuola Nuova" erano più distorte. Producevano immagini con stereotipi molto più forti (ad esempio, principalmente uomini bianchi per "medici") rispetto a quelle della vecchia scuola.
La "Trappola dell'Allineamento": Le nuove macchine erano in realtà migliori nel seguire le vostre istruzioni e nel creare immagini di alta qualità. Ma il documento ha scoperto un compromesso: più erano brave a comprendere le vostre parole, più tendevano a ricorrere agli stereotipi quando non specificavate i dettagli.
La complessità peggiora le cose: Più complesso era il vostro prompt, più il traduttore aggiungeva dettagli stereotipati, rendendo il pregiudizio più forte.

Il Colpevole: Il "System Prompt"

I ricercatori hanno indagato sul perché accada questo. Hanno scoperto che il colpevole è il System Prompt.

Pensate al System Prompt come al regolamento o alla nota del manager data al traduttore intelligente. Dice al traduttore come comportarsi.

Il documento ha scoperto che questi regolamenti predefiniti contengono spesso assunzioni nascoste.
Quando il traduttore legge un prompt neutro come "Un giudice", il regolamento lo spinge a pensare a un tipo specifico di persona (ad esempio, un uomo bianco anziano) prima ancora di scrivere la descrizione per l'artista.
I ricercatori hanno dimostrato questo osservando i "pensieri" (gli embedding testuali) della macchina. Hanno visto che il traduttore stava segretamente cambiando parole neutre in parole distorte prima che l'immagine venisse mai creata.

La Soluzione: "FAIRPRO" (L'Allenatore di Equità)

I ricercatori non volevano semplicemente eliminare il traduttore intelligente, perché rende le immagini splendide. Invece, hanno creato una soluzione chiamata FAIRPRO.

Come funziona:
Immaginate che accanto al traduttore intelligente ci sia un allenatore.

L'Allenatore controlla il Prompt: Quando dite "Un botanico", l'allenatore guarda il regolamento del traduttore.
L'Allenatore riscrive le Regole: Inveve di lasciare che il traduttore indovini, l'allenatore gli dà una nuova istruzione temporanea: "Questa persona è un botanico. Non dare per scontato il suo genere, la sua razza o la sua età. Mantieni la diversità."
Il Risultato: Il traduttore aggiunge ancora dettagli utili (come il cappello e la lente d'ingrandimento), ma smette di presumere che il botanico sia un uomo bianco. Crea un mix di immagini più diversificato.

Perché è speciale:

Nessun Ri-addestramento: Non hanno dovuto ricostruire l'intera macchina o insegnarle nuove cose. Hanno solo cambiato le istruzioni che riceve mentre sta lavorando.
Vi Rispetta: Se voi effettivamente dite "Una botanica donna", l'allenatore rispetta questa scelta e mantiene il genere femminile, ma assicura comunque che la razza e l'età siano diverse. Corregge solo le parti che non avete specificato.

In Sintesi

Il documento mostra che le parti "intelligenti" dei moderni generatori di immagini IA sono in realtà la fonte di nuovi tipi di pregiudizio. Modificando semplicemente le istruzioni date a questi traduttori intelligenti (i System Prompt), possiamo impedire loro di fare supposizioni ingiuste senza rovinare la qualità delle immagini. È come insegnare a un assistente premuroso a smettere di indovinare le vostre preferenze e invece chiedere: "Chi dovrei disegnare?" prima di fare supposizioni.

Sintesi Tecnica: Allineato ma Stereotipato? Come i System Prompt Modellano il Bias Demografico nei Modelli di Generazione Immagini Basati su LLM

Problematica
I recenti sistemi Text-to-Image (T2I) utilizzano sempre più spesso Large Language Models (LLM) per il condizionamento del testo, al fine di interpretare ed espandere i prompt dell'utente, mirando a migliorare l'allineamento testo-immagine e il ragionamento compositivo. Tuttavia, questo articolo identifica un effetto collaterale critico: l'integrazione del condizionamento basato su LLM introduce assunzioni demografiche implicite nella generazione di immagini, anche quando i prompt dell'utente sono neutri o sotto-specificati. Gli autori sostengono che, sebbene questi sistemi migliorino l'aderenza al prompt, possano simultaneamente amplificare lo skew demografico, creando un compromesso tra equità (fairness) e allineamento. Un focus specifico è posto sui system prompt — istruzioni incorporate che guidano l'LLM nell'interpretazione degli input dell'utente — come una via precedentemente inesplorata per la propagazione del bias.

Metodologia
Per investigare questo fenomeno, gli autori introducono COMPBIAS, un benchmark completo composto da 1.024 prompt organizzati in quattro livelli di complessità:

Neutro (L1): Prompt occupazionali (es. "Un botanico").
Attributo (L2): Prompt con un attributo demografico esplicito (es. "Un botanico asiatico").
Attributo + Contesto (L3): Prompt arricchiti con contesti d'azione.
Espanso (L4): Descrizioni lunghe generate da un LLM a partire da occupazioni base.

Lo studio valuta otto recenti modelli T2I, inclusi i baseline non-LLM (es. SD3.5, FLUX.1) e i sistemi basati su LLM (es. SANA1.5, Qwen-Image, FLUX.2). Il bias viene quantificato utilizzando un punteggio di Fair Discrepancy (FD) normalizzato, che misura la deviazione delle distribuzioni demografiche generate da un riferimento uniforme, mentre la fedeltà è valutata tramite la similarità CLIP e GenEval.

Risultati Chiave e Analisi Diagnostica

Bias Indotto da LLM: I sistemi T2I basati su LLM mostrano costantemente punteggi di bias demografico più elevati rispetto ai baseline non-LLM in tutti i livelli di complessità del prompt. Inoltre, man mano che i prompt diventano più complessi, sia l'allineamento testo-immagine che il bias demografico aumentano, rivelando una tensione tra fedeltà semantica ed equità.
Il Ruolo dei System Prompt: Attraverso un'analisi controllata nello spazio di embedding del testo, gli autori dimostrano che i system prompt predefiniti rimodellano attivamente gli input neutri dell'utente in rappresentazioni demograficamente polarizzate prima che inizi la sintesi dell'immagine.
- Spostamento dell'Embedding: Rimuovere i system prompt indebolisce le associazioni di genere negli embedding del testo senza degradare significativamente la fedeltà semantica.
- Testo Decodificato: La decodifica delle rappresentazioni testuali intermedie rivela che i system prompt introducono descrittori demografici (es. termini legati al genere) assenti nel prompt originale dell'utente.
- Propagazione: Esiste una forte correlazione (64% di accordo) tra gli attributi demografici inferiti nel testo decodificato e le immagini finali generate, confermando che il bias si propaga dall'elaborazione lato linguaggio agli output visivi.

Soluzione Proposta: FAIRPRO
Motivati dalla scoperta che i system prompt sono una fonte primaria di bias, gli autori propongono FAIRPRO (FAIRness-aware System PROmpt), un framework di debiasing training-free applicato al test-time.

Meccanismo: Invece di rimuovere i system prompt (il che riduce l'arricchimento) o riscrivere i prompt dell'utente (che è meno efficace), FAIRPRO genera dinamicamente istruzioni di sistema specifiche per l'input e consapevoli dell'equità.
Processo: Dato un prompt utente $u$ , FAIRPRO utilizza un LLM per identificare potenziali completamenti stereotipati e costruisce un system prompt rivisto $s_{fair}$ che preserva i vincoli esplicitamente specificati dall'utente (es. "maschio") pur imponendo la diversità sugli attributi non specificati (es. etnia, età).
Efficienza: Il metodo richiede solo una singola chiamata aggiuntiva all'LLM, risultando in un overhead computazionale minimo (es. ~1.05x per Qwen-Image) e nessun cambiamento all'architettura del generatore di immagini sottostante.

Risultati
Gli esperimenti su otto modelli e sul benchmark COMPBIAS dimostrano che FAIRPRO:

Riduce il Bias: Abbassa sostanzialmente i punteggi di bias demografico per attributi di genere, età, etnia e aspetto rispetto sia alle impostazioni predefinite che ai baseline "senza system prompt".
Mantiene la Fedeltà: Preserva un'elevata allineamento testo-immagine e la controllabilità del prompt, evitando la perdita di fedeltà associata alla semplice rimozione dei system prompt.
Aumenta la Diversità: Aumenta la diversità visiva in posa, abbigliamento e sfondo per gli attributi non specificati senza sovrascrivere i vincoli espliciti dell'utente.
Generalizza: Mostra prestazioni robuste su benchmark esterni (TIBET) e su diverse famiglie di modelli.
Ablazione: Lo studio conferma che il prompting adattivo all'input e l'auto-audit strutturato sono componenti critiche; le istruzioni di equità statiche o la sola riscrittura del prompt dell'utente sono insufficienti.

Significatività e Rivendicazioni
L'articolo sostiene che il condizionamento testuale basato su LLM non è meramente un'interfaccia passiva per la comprensione del prompt, ma un meccanismo attivo che può codificare e trasmettere il bias demografico. La significatività di questo lavoro risiede nel:

Identificare un Nuovo Vettore di Bias: Evidenziare i system prompt come un punto di intervento critico e inesplorato per il bias nei moderni sistemi T2I.
Insight Diagnostico: Fornire prove che il bias abbia origine a monte nella fase di condizionamento del linguaggio, spostando il focus della mitigazione dalla generazione dell'immagine all'interpretazione del prompt.
Mitigazione Pratica: Introdurre FAIRPRO come una soluzione efficace, agnostica rispetto al modello e training-free che bilancia l'equità con le capacità avanzate del condizionamento basato su LLM.

Gli autori mantengono una posizione modesta, riconoscendo che il loro approccio mitiga le distribuzioni di output polarizzate al momento del test, ma non rimuove i bias codificati nei parametri dei modelli generativi sottostanti. Notano inoltre i limiti riguardanti l'uso di categorie demografiche discrete e la dipendenza dal contesto nella definizione di distribuzioni "eque".