Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

Questo lavoro introduce "Cultural Counterfactuals", un dataset sintetico di 60.000 immagini modificate che colloca persone diverse in contesti culturali reali per valutare e quantificare i pregiudizi culturali (religione, nazionalità, status socioeconomico) nei Modelli Visivo-Linguistici su larga scala, colmando il vuoto esistente negli studi sui bias non legati alle caratteristiche fisiche.

L'essenziale

Il Problema: L'AI che giudica "dall'abito"

Immagina di avere un giudice digitale (un'intelligenza artificiale chiamata LVLM) che guarda le foto delle persone e cerca di descriverle o prendere decisioni su di loro (come quanto pagarle per un lavoro o quanto affittare loro una casa).

Fino a poco tempo fa, sapevamo che questo giudice era ingiusto quando guardava chi era la persona: se era un uomo o una donna, di che colore era la pelle, o quanti anni aveva. Era come se il giudice dicesse: "Sei un uomo, quindi sei un leader; sei una donna, quindi sei brava a multitasking".

Ma c'era un altro tipo di ingiustizia che nessuno aveva controllato bene: il contesto.
Immagina la stessa identica persona. Se la metti in una foto davanti a una moschea, il giudice potrebbe pensare: "Questa persona è pericolosa". Se la metti davanti a una chiesa, potrebbe pensare: "Questa persona è una brava persona". Se la metti in un quartiere ricco, pensa: "È affidabile". Se la metti in un quartiere povero, pensa: "È a rischio".

Il problema è che l'AI sta giudicando la persona basandosi solo sull'ambiente che la circonda, non sulla persona stessa. È come se un professore desse un voto più basso a uno studente solo perché la sua foto è stata scattata in una classe disordinata, anche se lo studente ha studiato lo stesso.

La Soluzione: Il "Trucco del Camaleonte"

Gli autori di questo studio hanno creato uno strumento geniale chiamato Cultural Counterfactuals (Controfattuali Culturali).

Immagina di avere una macchina fotografica magica (un modello di editing delle immagini).

1. Prendi una foto di una persona (ad esempio, una donna di 30 anni).
2. Prendi una foto di uno sfondo reale: una moschea, una chiesa, un grattacielo di New York, una baracca in un villaggio povero.
3. Usi la macchina magica per incollare la persona dentro ogni sfondo.

Ora hai 10 foto diverse. In tutte le foto c'è esattamente la stessa persona, ma in ambienti culturali diversi.
Questo è il "segreto": perché la persona è identica, qualsiasi differenza nel giudizio dell'AI non può essere colpa della persona. Deve essere colpa dell'ambiente (la religione, la nazione, o lo stato economico) che l'AI sta "sentendo" nell'immagine.

È come se facessi la stessa domanda a 10 persone diverse, ma cambiassi solo il vestito che indossano. Se la risposta cambia, è colpa del vestito, non della persona che ha risposto.

L'Esperimento: Mettere alla prova il Giudice Digitale

Gli autori hanno usato questo "trucco" per testare 5 diversi giudici digitali (modelli AI famosi come Qwen, Gemma, LLaVA, ecc.). Hanno fatto loro domande strane e importanti:

• "Quanto dovremmo pagare questa persona per un lavoro?"
• "Perché questa persona è stata arrestata?"
• "Questa persona è una cattiva influenza per la società?"

Ecco cosa hanno scoperto, con analogie semplici:

1. L'AI è un "prepotente" con i poveri: Quando la stessa persona era ritratta in un contesto di basso reddito, l'AI tendeva a suggerire salari più bassi e affitti più alti, o a inventare scuse per arrestarla. Era come se l'AI dicesse: "Sei povero, quindi devi essere un criminale o non vali nulla".
2. L'AI ha "paure" religiose: Quando la persona era davanti a una moschea, l'AI generava risposte molto più tossiche e negative (parlando di terrorismo o violenza) rispetto a quando era davanti a una chiesa o a un tempio, anche se era la stessa persona.
3. L'AI è confusa: Alcuni modelli (come LLaVA) non riuscivano nemmeno a capire dove fosse la persona nella foto. Altri (come Qwen) capivano benissimo dove fosse, ma cambiavano comunque il loro giudizio in modo ingiusto.

Il Risultato: Perché è importante?

Questo studio ci dice che l'Intelligenza Artificiale non è solo "stupida" o "razzista" in modo semplice. È sensibile alle "vibrazioni" culturali delle immagini.

Se un'azienda usa queste AI per assumere persone o concedere mutui, rischia di discriminare le persone non per chi sono, ma per dove sembrano essere o per cosa sembrano fare (basandosi su stereotipi culturali).

In sintesi

Gli autori hanno creato un laboratorio di controllo (il dataset di 60.000 immagini) dove hanno "vestito" la stessa persona con 100 diversi "mantelli culturali". Hanno scoperto che l'AI, quando vede certi mantelli, cambia il suo comportamento in modo ingiusto, trattando la stessa persona come un "eroe" in un contesto e come un "cattivo" in un altro.

La lezione finale: Per rendere l'AI giusta, non basta insegnarle a non guardare il colore della pelle. Dobbiamo insegnarle a non giudicare un libro dalla copertina, e a non giudicare una persona dall'ambiente in cui si trova.

Sommario tecnico

1. Il Problema

I Large Vision-Language Models (LVLM) hanno mostrato una crescente potenza, ma sono anche soggetti a bias sociali dannosi. La ricerca precedente si è concentrata principalmente su bias legati a tratti demografici visivamente evidenti, come razza e genere. Tuttavia, i bias culturali (religione, nazionalità, status socioeconomico) sono rimasti relativamente poco studiati.
La sfida principale risiede nel fatto che l'appartenenza a un gruppo culturale spesso non è deducibile dal solo aspetto fisico dell'individuo, ma dipende da segnali contestuali nell'immagine (es. un luogo di culto, un paesaggio urbano, l'arredamento di una casa). I dataset esistenti mancano di annotazioni contestuali culturali o non permettono di isolare l'effetto del contesto dall'aspetto della persona, rendendo difficile misurare se un LVLM discrimina in base al contesto culturale piuttosto che all'identità visiva.

2. Metodologia e Dataset: Cultural Counterfactuals

Per colmare questo vuoto, gli autori hanno introdotto Cultural Counterfactuals, un dataset sintetico di alta qualità contenente quasi 60.000 immagini organizzate in 10.300 set controfattuali.

Costruzione del Dataset

Il processo di generazione segue un approccio ibrido per garantire realismo e controllo:

1. Acquisizione delle Immagini:
   • Contesti Culturali: Sono state selezionate foto reali da dataset esistenti (Google Landmarks, VIPPGeo, Dollar Street) etichettati per religione, nazionalità e status socioeconomico. L'uso di foto reali è stato scelto perché i generatori di immagini AI tendono a fallire nel rappresentare accuratamente dettagli culturali specifici (es. errori architettonici nelle moschee).
   • Persone: Sono state generate 7.200 immagini di persone con diverse combinazioni di attributi sociali incrociati (razza, età, genere) utilizzando il modello text-to-image FLUX.1-dev.
2. Fusione Controfattuale:
   • È stato utilizzato un modello di editing immagini all'avanguardia (FLUX.1-Kontext) per inserire l'immagine di una persona all'interno di un contesto culturale reale.
   • Per ogni persona, sono stati generati set controfattuali dove lo stesso individuo appare in diversi contesti (es. la stessa persona in una chiesa, in una moschea, in un tempio induista, o in case a basso/alto reddito).
3. Filtraggio e Rigenerazione:
   • È stata implementata una pipeline a più stadi per garantire la qualità:
     • Filtraggio CLIP: Verifica la similarità tra l'immagine generata e le immagini sorgente (contesto e persona) per assicurarsi che la fusione sia avvenuta correttamente.
     • Filtraggio Rilevabilità del Contesto: Dopo aver rimosso digitalmente la persona (usando RMBG-2.0), un modello LVLM (Qwen2.5-VL) verifica se il contesto culturale sottostante è ancora riconoscibile.
     • Rigenerazione Iterativa: I casi di fallimento vengono rigenerati cambiando il seed casuale o campionando nuovi contesti, fino a ottenere un dataset pulito.

Struttura del Dataset

Il dataset copre tre dimensioni culturali:

• Religione: 6 contesti (Chiesa cristiana, Moschea, Sinagoga, Tempio shintoista, Tempio induista, Tempio buddista).
• Nazionalità: 8 paesi (USA, Francia, Germania, Cina, India, Brasile, Sudafrica, Marocco).
• Status Socioeconomico: 3 livelli (Basso, Medio, Alto reddito).

3. Framework di Valutazione del Bias

Gli autori hanno sviluppato un framework robusto per valutare 9,07 milioni di risposte generate da 5 LVLM open-source (Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6, Molmo-7B). Le valutazioni si basano su diversi tipi di prompt:

• Classificazione del Contesto: Per misurare la "consapevolezza culturale" (capacità del modello di riconoscere il contesto).
• Output Numerici: Prompt su stipendi e affitti per rilevare discriminazioni economiche basate sul contesto.
• Parole Chiave (Keywords): Analisi della sensibilità del modello ai cambiamenti di contesto.
• Completamento di Frasi: Prompt prescrittivi (es. "Questa persona non dovrebbe...", "Questa persona è stata arrestata per...") per estrarre stereotipi.
• Tossicità (MaxToxicity): Misura della variazione della tossicità generata tra diversi contesti all'interno dello stesso set controfattuale.
• Modellazione degli Argomenti (Topic Modeling): Analisi qualitativa dei temi ricorrenti nelle risposte tossiche.

4. Risultati Chiave

L'analisi ha rivelato che i LVLM sono significativamente influenzati dal contesto culturale, mostrando bias sistemici:

• Consapevolezza Culturale: I modelli variano nella capacità di riconoscere i contesti. Qwen2.5-VL e Gemma-3 mostrano la migliore accuratezza (fino all'86% per la religione), mentre LLaVA-v1.6 fatica notevolmente (23% per la nazionalità).
• Bias Numerici (Stipendi e Affitti):
  • Esistono deviazioni statisticamente significative negli stipendi offerti in base alla nazionalità e alla religione. Ad esempio, le persone ritratte in contesti USA, Germania o Cina ricevono stime salariali più alte rispetto a quelle in Brasile, India o Marocco.
  • Nel contesto socioeconomico, i modelli tendono a offrire stipendi più alti e affitti più bassi (o viceversa, a seconda del modello) basandosi sull'immagine della casa, dimostrando una discriminazione basata sulla classe sociale.
• Tossicità e Stereotipi:
  • La tossicità non è distribuita uniformemente. Per il modello Molmo-7B, oltre il 60% dei casi ad alta tossicità si verifica quando il contesto è una Sinagoga o una Chiesa cristiana.
  • Esempi di Stereotipi:
    • Contesto Moschea: Associato a accuse di "terrorismo" o "produzione di armi di distruzione di massa".
    • Contesto Chiesa Cristiana: Associato a "abusi sessuali storici su minori".
    • Contesto Basso Reddito: Descritto come "cattiva influenza" per non allinearsi alle norme sociali.
    • Contesto Alto Reddito: Descritto come "cattiva influenza" per materialismo e consumo ostentato.
• Intersezionalità: L'analisi mostra che il bias è amplificato quando attributi demografici (es. etnia mediorientale) e contesto culturale (es. Moschea) si sovrappongono, rafforzando gli stereotipi.

5. Contributi e Significato

Contributi Principali:

1. Cultural Counterfactuals: Il primo dataset controfattuale specifico per diagnosticare bias culturali (religione, nazionalità, status socioeconomico) in LVLM.
2. Framework di Valutazione: Un metodo completo che analizza tre tipi di output (numerico, parola singola, testo narrativo) per isolare l'impatto del contesto.
3. Analisi su Larga Scala: La valutazione di 9 milioni di risposte che evidenzia come i bias contestuali siano pervasivi e variabili tra i modelli.

Significato:
Questo lavoro dimostra che i bias negli LVLM non sono limitati all'aspetto fisico, ma sono profondamente radicati nell'interpretazione del contesto culturale. Anche se un modello riconosce correttamente il contesto, può comunque applicare stereotipi dannosi basati su di esso.
Il paper sottolinea la necessità di:

• Sviluppare strumenti di diagnosi specifici per i bias contestuali.
• Creare strategie di mitigazione che considerino non solo l'identità visiva, ma anche il significato culturale delle scene.
• Utilizzare dataset controfattuali di alta qualità per testare l'equità dei modelli multimodali in scenari reali (es. assunzioni, alloggio, giustizia).

Il dataset e il codice sono stati resi pubblici per supportare la ricerca futura sulla mitigazione dei bias culturali nell'IA.