Sintesi Tecnica: Investigazione dei Bias Associativi nella Comunicazione Inter-Modello di Grandi Modelli Generativi

Definizione del Problema

Il bias sociale nell'IA generativa è spesso caratterizzato da disparità di prestazione o "bias associativo", dove i modelli riproducono legami stereotipati tra concetti (es. attività, emozioni) e gruppi demografici (es. genere, età) anche in assenza di prompt demografici espliciti. Mentre il lavoro precedente ha studiato ampiamente il bias negli output statici dei modelli o nella fairness predittiva, esiste una lacuna critica nella comprensione di come questi bias evolvano quando i modelli generativi vengono implementati in pipeline interconnesse. Nello specifico, quando l'output di un modello (ad esempio, un descrittore immagine-testo) diventa l'input per un altro (ad esempio, un generatore testo-immagine), i bias possono propagarsi, interagire e amplificarsi attraverso scambi iterativi. Ciò è particolarmente preoccupante per i compiti di percezione incentrati sull'uomo, come il riconoscimento dell'attività umana e la predizione dell'affetto, dove tali derive potrebbero portare a trattamenti iniqui in implementazioni sensibili come la valutazione del benessere o il monitoraggio della sicurezza.

Metodologia

Gli autori propongono un framework per investigare la deriva della distribuzione demografica e i suoi meccanoli sottostanti attraverso due pipeline complementari:

1. Pipeline di Comunicazione Inter-Modello:

   • Meccanismo: Un ciclo di feedback iterativo che alterna un generatore testo-immagine (Stable Diffusion 3.5 Large) e un descrittore immagine-testo (LLaVA-Next con Mistral-7B).
   • Varianti: Lo studio implementa due tipi di loop:
     • Text-seeded (seminato con testo): Inizia con un prompt che descrive un concetto (es. "una persona che fa sport") per generare un'immagine, che viene poi descritta, e la descrizione viene utilizzata per rigenerare l'immagine.
     • Image-seeded (seminato con immagine): Inizia con un'immagine seed da un dataset, che viene descritta, e la descrizione viene utilizzata per generare una nuova immagine.
   • Convergenza: Il loop termina quando la similarità del coseno tra le descrizioni consecutive (text-seeded) o le immagini consecutive (image-seeded) supera una soglia, indicando stabilità.
   • Dataset: Gli esperimenti utilizzano PHASE (ricco di contesto, scena completa di attività umana/affetto) e RAF-DB (immagini di affetto centrate sul volto).

2. Pipeline di Spiegabilità:

   • Obiettivo: Determinare se le derive demografiche derivino da una dipendenza sistematica da indizi visivi spurii piuttosto che da caratteristiche rilevanti per il concetto.
   • Tecnica: Adatta Grad-CAM a un setting di decoder visione-linguaggio. Calcola mappe di salienza condizionate dal token per specifici token di etichetta ammissibili (es. il token "felice" o "sport").
   • Aggregazione Regionale: Le attivazioni sono aggregate su quattro regioni semantiche: Viso, Capelli, Corpo e Sfondo. Ciò consente agli autori di quantificare se il modello si affida a indizi semanticamente rilevanti (es. il volto per l'emozione) o a correlati spurii (es. capelli o sfondo).

3. Metriche di Valutazione:

   • Deriva Demografica: Misurata utilizzando il test di Stuart–Maxwell per l'omogeneità marginale, il $\kappa$ di Cohen per l'accordo e la similarità di Jaccard pesata per confrontare le distribuzioni demografiche pre-loop e post-loop (età, genere, etnia).
   • Successo della Predizione: Il tasso in cui l'etichetta selezionata dal modello corrisponde alla verità fondamentale (ground truth), analizzato attraverso i gruppi demografici per valutare le disparità di fairness.
   • Analisi Statistica: La regressione logistica è utilizzata per modellare gli effetti dello stadio di looping e del genere sul successo della predizione.

Contributi Chiave

Il documento presenta quattro contributi primari:

1. Deriva della Distribuzione Demografica (C1): Introduce una pipeline per misurare sistematicamente come le distribuzioni demografiche cambino attraverso lo scambio di conoscenza inter-modello, affrontando RQ1 (I drift riflettono associazioni stereotipate?).
2. Associazioni Regionali (C2): Propone una pipeline di spiegabilità che combina la salienza condizionata dal token con l'aggregazione basata su regioni per valutare se i drift siano causati da meccanismi sistematici (es. dipendenza da capelli/sfondo) piuttosto che da rumore, affrontando RQ2.
3. Successo della Predizione (C3): Valuta le prestazioni dei compiti a valle (predizione di emozione/attività) attraverso i gruppi demografici per quantificare le disparità derivanti dallo scambio inter-modello, affrontando RQ3.
4. Strategie di Mitigazione (C4): Delinea potenziali interventi che spaziano da quelli centrati sui dati (augmentation, raccolta mirata), ai tempi di addestramento (addestramento avversariale, obiettivi consapevoli degli attributi), fino ai tempi di deployment (prompt engineering, guardrail).

Risultati Chiave

• Deriva Demografica: Attraverso sia PHASE che RAF-DB, il loop inter-modello induce costantemente una deriva demografica.
  • Età: Gli output tendono significativamente verso rappresentazioni più giovani sia per le attività che per le emozioni.
  • Genere: Gli output tendono verso rappresentazioni a presentazione femminile, particolarmente per le emozioni (es. "Felicità" e "Rabbia" in RAF-DB hanno visto la rappresentazione femminile aumentare dal ~59% al ~92%). Curiosamente, per lo "Sport" (tipicamente stereotipato come maschile), la deriva è stata comunque verso rappresentazioni femminili, sfidando alcuni stereotipi esistenti e rinforzandone altri.
  • Etnia: In RAF-DB, c'è stata una riduzione delle rappresentazioni asiatiche e un aumento delle rappresentazioni nere e bianche a seconda dell'emozione.
• Grounding Spurio (RQ2): L'analisi di spiegabilità rivela che i modelli spesso si affidano a regioni visive spurie.
  • Per le emozioni, dove il volto dovrebbe essere l'indizio primario, i modelli hanno mostrato frequentemente un'alta attivazione su regioni di capelli e sfondo.
  • Per le attività, sebbene i corpi e gli sfondi siano indizi rilevanti, la dipendenza dai capelli (demograficamente correlati) suggerisce che il modello utilizzi l'aspetto come una "scorciatoia" per la predizione del concetto.
• Successo della Predizione e Fairness (RQ3):
  • Sport (PHASE): Il looping ha migliorato l'accuratezza complessiva ma ha peggiorato la disparità di genere, con soggetti maschi che presentavano tassi di successo più elevati post-loop.
  • Felicità: I risultati dipendevano dal dataset. In PHASE, il looping ha ridotto la disparità di genere; in RAF-DB, ha amplificato la disparità (favorendo le femmine) riducendo drasticamente l'accuratezza complessiva.
  • Rabbia: Non sono stati trovati effetti significativi del looping o del genere in nessuno dei due dataset.
  • Conclusione: Ottimizzare la performance (accuratezza) tramite loop iterativi non garantisce esiti equi e può talvolta degradare la fairness.

Significato e Rivendicazioni

Il documento afferma che la comunicazione inter-modello nei sistemi di IA incentrati sull'uomo introduce un nuovo vettore per la propagazione del bias. A differenza del bias statico, questi bias evolvono e possono essere amplificati attraverso scambi ripetuti. Lo studio dimostra che:

1. Il Drift è Sistematico: Le variazioni demografiche non sono rumore casuale ma riflettono comportamenti sistematici dei modelli, spesso basati su indizi spurii (come capelli o sfondo) piuttosto che su caratteristiche rilevanti per il concetto.
2. Il Contesto Conta: La natura del dataset (volti in primo piano vs scene complete) influenza il modo in cui questi bias si manifestano e si propagano.
3. Performance $\neq$ Fairness: I miglioramenti nell'accuratezza della predizione dopo il looping possono coincidere con un aumento della disparità demografica, evidenziando la necessità di vincoli espliciti di fairness.
4. Necessità di Guardrail: Gli autori sottolineano che l'integrazione "plug-and-play" di modelli generativi richiede salvaguardie attente, inclusi il monitoraggio continuo della deriva demografica e l'uso della spiegabilità come strumento diagnostico per rilevare la dipendenza da indizi distorti.

Il lavoro conclude che affrontare questi problemi richiede un approccio olistico che coinvolga la cura dei dati, gli interventi di addestramento e i controlli al momento del deployment per prevenire il rafforzamento degli stereotipi nelle pipeline interconnesse di IA.