Cross-Cultural Value Awareness in Large Vision-Language Models

Titolo: Consapevolezza dei Valori Cross-Culturale nei Grandi Modelli Vision-Linguistici (LVLM)

Autori: Phillip Howard, Xin Su (Thoughtworks), Kathleen C. Fraser (Università di Ottawa).

1. Il Problema

Negli ultimi anni, l'adozione diffusa dei Grandi Modelli Vision-Linguistici (LVLM) ha sollevato preoccupazioni crescenti riguardo alla loro equità, in particolare per la tendenza a rafforzare stereotipi sociali dannosi. Sebbene la ricerca precedente si sia concentrata ampiamente sui pregiudizi legati a tratti demografici visibili (razza, genere, età), esiste un vuoto significativo nella comprensione di come questi modelli gestiscano i contesti culturali (religione, nazionalità, status socioeconomico).
A differenza dei tratti fisici, la cultura non può essere determinata con affidabilità dal solo aspetto fisico di un individuo, ma richiede l'interpretazione del contesto in cui appare. Il problema centrale è capire se e come gli LVLM attribuiscono sistemi di valori morali, etici e politici diversi agli individui in base al contesto culturale rappresentato nell'immagine, potenzialmente rafforzando stereotipi culturali.

2. Metodologia

Gli autori hanno condotto il primo studio su larga scala per analizzare l'influenza dei contesti culturali sui giudizi di valore degli LVLM, utilizzando un approccio sperimentale rigoroso basato su immagini controfattuali.

• Dataset: È stato utilizzato il dataset Cultural Counterfactuals, che contiene set di immagini controfattuali dove la stessa persona è ritratta in diversi contesti culturali (religiosi, nazionali e socioeconomici). Questo permette di isolare l'effetto del contesto culturale mantenendo costanti tutti gli altri fattori confondenti (aspetto fisico, età, genere).
• Modelli Valutati: Sono stati testati cinque LVLM popolari con pesi aperti:
  • Qwen2.5-VL-7B-Instruct
  • Gemma-3-12b-it
  • InternVL3-8B
  • LLaVA-v1.6-Mistral-7B
  • Molmo-7B-D-0924
• Prompting: I modelli sono stati interrogati per generare liste di valori morali, etici e politici associati alle persone nelle immagini, per un totale di 2,69 milioni di risposte.
• Framework di Valutazione Multidimensionale:
  1. Teoria delle Fondamenta Morali (MFT): I valori generati sono stati mappati su sei fondamenta psicologiche (Cura/Danno, Equità/Inganno, Lealtà/Tradimento, Autorità/Subversione, Santità/Degradazione, Libertà/Oppressione) per analizzare come i modelli distribuiscono i valori morali tra i diversi contesti.
  2. Analisi della Sensibilità al Contesto: È stata misurata la variazione dei valori generati quando la stessa persona viene spostata in contesti diversi, utilizzando la metrica di sovrapposizione di Jaccard. Un'alta sensibilità indica che il modello cambia i suoi giudizi in base al contesto.
  3. Analisi Lessicale (SCM): È stato applicato il Stereotype Content Model (SCM) per quantificare le dimensioni semantiche di "Calore" (sociabilità/moralità) e "Competenza" (abilità/agenzia) nei valori generati, rilevando potenziali stereotipi.

3. Risultati Chiave

• Variabilità nelle Fondamenta Morali (MFT):
  • Modelli come Qwen2.5-VL, Gemma-3 e InternVL3 mostrano una significativa variabilità nelle categorie MFT in base al contesto religioso (es. associazioni diverse tra "Cura" e chiese cristiane vs. "Santità" e templi induisti).
  • Al contrario, Molmo-7B e LLaVA-v1.6 mostrano quasi zero variabilità nelle categorie MFT tra i diversi contesti culturali, suggerendo una mancanza di capacità di ragionamento sulle differenze cross-culturali, anche quando riescono a riconoscere il contesto.
• Sensibilità al Contesto vs. Riconoscimento:
  • LLaVA-v1.6 mostra la più alta sensibilità ai valori (alta variazione nei output), ma ha anche la più bassa accuratezza nel classificare il contesto culturale. Questo suggerisce che la sua sensibilità potrebbe essere dovuta a "rumore" o caratteristiche visive irrilevanti piuttosto che a una vera consapevolezza culturale.
  • Modelli come InternVL3-8B e Gemma-3-12b combinano un'alta accuratezza nel riconoscimento del contesto con una variabilità significativa nelle categorie MFT, fornendo la prova più solida di una reale consapevolezza culturale.
• Stereotipi Socioeconomici e Religiosi:
  • L'analisi lessicale rivela che Qwen2.5-VL e InternVL3-8B mostrano differenze significative nei punteggi di "Calore" e "Competenza" in base allo status socioeconomico (es. diminuzione del calore e aumento della competenza percepita all'aumentare del reddito).
  • Sono state osservate disparità nei tassi di rifiuto (refusal rates): alcuni modelli si rifiutano più spesso di rispondere a domande sui valori politici per certi contesti religiosi (es. chiese cristiane o templi shintoisti) rispetto ad altri, indicando una riluttanza differenziata a fare assunzioni su specifici gruppi culturali.

4. Contributi Principali

1. Primo Studio su Larga Scala: Il lavoro è la prima indagine sistematica su come i contesti culturali (religione, nazionalità, classe sociale) influenzino i giudizi di valore degli LVLM.
2. Framework di Valutazione Innovativo: Introduzione di un framework multidimensionale che combina la Teoria delle Fondamenta Morali, l'analisi della sensibilità al contesto (Jaccard) e l'analisi lessicale (SCM) per diagnosticare la consapevolezza culturale.
3. Dataset e Metodologia Controfattuale: L'uso efficace di immagini controfattuali per isolare l'impatto del contesto culturale, eliminando le variabili confondenti legate all'aspetto fisico.
4. Analisi Comparativa: Dimostrazione che non tutti i modelli "sensibili" sono culturalmente consapevoli; alcuni mostrano variazioni casuali o basate su bias visivi, mentre altri mostrano un ragionamento più strutturato sulle differenze culturali.

5. Significato e Implicazioni

Questo studio evidenzia che la semplice capacità di riconoscere un contesto culturale non garantisce che un LVLM comprenda o rispetti le differenze nei sistemi di valori morali ed etici associati a quel contesto.

• Rischio di Bias: La mancanza di consapevolezza culturale o la presenza di stereotipi appresi (es. associare status socioeconomici a specifici tratti morali) può portare a giudizi ingiusti e dannosi quando questi modelli vengono deployati su larga scala.
• Direzione Futura: Il lavoro sottolinea la necessità di incorporare conoscenze specifiche sulle differenze di valori tra culture durante l'addestramento e il fine-tuning degli LVLM.
• Valutazione: Fornisce una metodologia robusta per valutare non solo se un modello vede la cultura, ma come interpreta i valori morali in quel contesto, offrendo una base per futuri studi sull'equità cross-culturale nell'IA.