Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

Questo paper presenta la creazione del dataset LatamQA, composto da oltre 26.000 domande e risposte multilingue derivate da Wikipedia e Wikidata, utilizzato per valutare e rivelare i pregiudizi culturali e le disparità linguistiche dei modelli linguistici su larga scala nei confronti delle diverse culture dell'America Latina.

L'essenziale

Immagina di avere un gruppo di oracoli digitali (le Intelligenze Artificiali più avanzate, chiamate LLM) che hanno letto quasi tutto internet. Questi oracoli sono molto bravi a rispondere a domande, ma c'è un problema: sono stati "nutriti" principalmente con libri e notizie provenienti dall'Europa del Nord e dagli Stati Uniti.

Di conseguenza, quando chiedi loro cose sulla cultura, la storia o le tradizioni dell'America Latina, spesso si comportano come un turista che ha letto una guida turistica generica: conoscono i nomi famosi, ma non capiscono le sfumature, le tradizioni locali o le storie vere delle persone.

Ecco di cosa parla questo paper, spiegato come se fosse una storia:

1. Il Problema: L'Oracolo che non conosce il Vicinato

Gli autori si sono chiesti: "Ma quanto conoscono davvero queste macchine la nostra cultura?".
Hanno notato che i dati per addestrare queste intelligenze sono sbilanciati. È come se avessi un museo di storia mondiale dove il 90% delle sale è dedicato all'Europa, e il resto è un corridoio buio con pochi oggetti sparsi. Inoltre, la maggior parte dei test per vedere se un'IA è "razzista" o "pregiudizievole" è fatta in inglese. Ma in America Latina? C'è un vuoto.

2. La Soluzione: Costruire una "Biblioteca Popolare" (LatamQA)

Per risolvere il problema, il team (composto da ricercatori cileni, francesi e brasiliani) ha deciso di non inventare nulla da zero, ma di usare ciò che la gente ha già creato: Wikipedia.

Hanno usato un approccio intelligente, come se fossero dei giardinieri digitali:

• Il Terreno: Hanno preso le categorie di Wikipedia dedicate alla "Cultura" di 20 paesi latinoamericani (dal Messico all'Argentina, dal Brasile al Perù).
• La Potatura: Non tutti gli articoli sono utili. Alcuni parlano solo di statistiche noiose o di cose tecniche. Hanno usato un sociologo (un esperto di società umana) come "filtro" per tenere solo gli articoli che raccontano davvero la vita delle persone: cibo, feste, dialetti, personaggi di film, istituzioni locali.
• La Raccolta: Da questi articoli "puliti", hanno fatto generare a un'IA delle domande e risposte, creando un enorme quiz di 26.000 domande (LatamQA).

Immagina di avere un enorme gioco del "Chi è?" o un quiz televisivo, ma invece di chiedere "Chi ha vinto l'Oscar?", chiedono: "Qual è il piatto tipico del 29 del mese in Argentina?" o "Cosa significa la parola 'flaite' in Cile?".

3. L'Esperimento: Mettere gli Oracoli alla Prova

Hanno preso diverse Intelligenze Artificiali (dalle piccole alle gigantesche) e gli hanno fatto fare questo quiz in tre lingue: Spagnolo, Portoghese e Inglese.

Ecco cosa hanno scoperto (le "sorprese" della festa):

• La lingua è la chiave: Le IA funzionano molto meglio quando parlano la lingua "nativa" della cultura. Se chiedi in spagnolo latinoamericano, capiscono meglio che se chiedi in inglese tradotto. È come se l'IA avesse bisogno di sentire il "sapore" originale della lingua per capire il contesto.
• Il bias della "Madrepatria": Questo è il punto più interessante. Le IA conoscono molto meglio la cultura spagnola (dalla Spagna) rispetto a quella latinoamericana.
  • L'analogia: È come se un'IA fosse un cuoco che ha studiato per anni la cucina di Madrid, ma quando prova a cucinare un ceviche peruviano o una feijoada brasiliana, usa le spezie sbagliate. Sa che sono piatti sudamericani, ma non ne conosce il vero sapore.
• Dimensione conta, ma non tutto: Le IA più grandi (quelle con più "cervello") fanno meglio, ma il divario tra conoscere la Spagna e conoscere il Sud America rimane. Anche le IA specializzate appositamente per l'America Latina (come PatagonIA o LatamGPT) hanno faticato a superare le grandi IA generiche, a volte commettendo errori quasi casuali.

4. Perché è importante?

Questo studio è come un termometro sociale. Ci dice che le nostre macchine intelligenti non sono ancora "globali" come pensiamo. Sono ancora "occidentali" e "ispaniche" (inteso come Spagna), ma non "latinoamericane".

Se vogliamo che queste intelligenze siano giuste e utili per tutti, dobbiamo assicurarsi che conoscano le storie, i dialetti e le tradizioni di chi vive in America Latina, non solo quelle che si trovano sui libri di testo europei.

In sintesi:
Gli autori hanno creato il più grande "quiz di cultura latina" mai fatto, usando Wikipedia come base. Hanno scoperto che le Intelligenze Artificiali attuali sono come studenti che hanno studiato molto la Spagna, ma hanno saltato le lezioni di storia e cultura dell'America Latina. Ora, grazie a questo lavoro, possiamo insegnare loro a colmare questo divario.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Leveraging Wikidata for Geographically Informed Sociocultural Bias: Dataset Creation, Application to Latin America", presentato in italiano.

1. Il Problema

I Large Language Models (LLM) mostrano significative disuguaglianze e pregiudizi rispetto a diversi contesti culturali. La maggior parte dei modelli open-weight più avanzati è addestrata su dati provenienti dal "Global North" (Nord America ed Europa), comportando comportamenti pregiudizievoli verso altre culture, in particolare quelle del Sud Globale.
Esiste una carenza critica di risorse per rilevare i bias nelle lingue non inglesi, specialmente in America Latina (Latam). Sebbene molti paesi condividano lo spagnolo o il portoghese come lingue ufficiali, presentano differenze sostanziali a livello storico, sociale e culturale. I dataset esistenti tendono a:

• Raggruppare i paesi in modo troppo generico.
• Coprire pochi paesi latini.
• Essere limitati alla sola lingua inglese.
• Non rappresentare adeguatamente le dinamiche sociali e i significati culturali specifici del Sud Globale.

2. Metodologia

Gli autori propongono un approccio scalabile per creare un dataset di domande e risposte (Q/A) basato su conoscenze socioculturali, combinando risorse di Wikimedia, ontologie di Wikidata e competenze delle scienze sociali.

A. Raccolta e Filtraggio dei Dati (Wikipedia)

• Fonte: I dati sono stati estratti da Wikipedia utilizzando l'ontologia delle categorie. Partendo da categorie madri specifiche per regione (es. "Cultura de Chile", "Cultura de Peru"), è stato effettuato uno scraping ricorsivo dei collegamenti agli articoli e alle sottocategorie.
• Filtraggio Sociologico: Sono stati applicati due filtri basati su criteri sociologici:
  1. Livello Categoria: Un sociologo ha validato manualmente le sottocategorie principali per rimuovere quelle irrilevanti (es. "Idioma Español" generico).
  2. Livello Articolo: Un classificatore (Longformer fine-tuned su 500 esempi annotati manualmente) ha filtrato gli articoli in tre classi: positiva (rilevanza culturale alta), descrittiva (informazioni tecniche/enumerative) e negativa (irrilevante). Il modello ha raggiunto un'accuratezza del 97,8% fondendo le classi positiva e descrittiva.
• Risultato: 154.000 articoli filtrati, mappati su 2.169 entità distinte.

B. Mappatura degli Elementi Culturali

Utilizzando l'ontologia di Wikidata e un LLM (Qwen3-Max) per l'etichettatura zero-shot, gli articoli sono stati mappati su 10 elementi culturali definiti da Espindola e Vasconcellos (2006), tra cui:

• Toponimi, Antroponimi, Cibo e Bevande, Dialecti, Istituzioni locali, Personaggi fittizi, Celebrazioni religiose, ecc.

C. Generazione delle Domande (Q/A)

• Prompting: È stata selezionata una definizione di cultura basata sull'esplorazione culturale generale (validata da un sociologo) per generare domande pertinenti.
• Generazione: Un LLM (gpt-oss-120b) ha generato domande e risposte basate esclusivamente sul contenuto degli articoli filtrati.
• Validazione:
  • Pertinenza: Le domande sono state valutate su tre dimensioni (simbolica, pratiche sociali, rappresentazioni sociali/memoria/identità). Il 98% delle domande era rilevante in almeno due dimensioni.
  • Grounding: Su 100 esempi, non sono state trovate allucinazioni; le risposte erano ancorate al testo.
  • Distrattori: Sono stati generati distrattori plausibili utilizzando lo stesso LLM, seguendo la metodologia di Fung et al. (2024), per creare domande a scelta multipla (MCQ).

D. Il Dataset: LatamQA

Il risultato è LatamQA, un benchmark composto da 23.499 domande a scelta multipla (MCQ) che coprono 20 paesi dell'America Latina. Il dataset è disponibile in tre lingue: Spagnolo, Portoghese e Inglese (tradotto).

3. Risultati Sperimentali

Gli autori hanno valutato diversi modelli LLM (dalle dimensioni Small a Large, inclusi modelli specializzati come PatagonIA e LatamGPT) sul benchmark LatamQA.

• Lingua di Prompting: I modelli hanno prestazioni migliori quando interrogati nella loro lingua nativa (Spagnolo o Portoghese) rispetto all'inglese, confermando che per lingue ad alta risorsa come SP/PT, la competenza linguistica influenza la conoscenza culturale.
• Bias Geografico (Iberico vs. Latam): Tutti i modelli valutati hanno ottenuto prestazioni significativamente superiori sul sottoinsieme di domande relative alla Spagna (Spagnolo Iberico) rispetto a quelle relative all'America Latina. Questo indica un forte bias nei dati di addestramento a favore della cultura spagnola europea.
• Dimensione del Modello: Esiste una correlazione positiva tra la dimensione del modello e le prestazioni. I modelli Mistral più grandi mostrano miglioramenti costanti (+5-8% di accuratezza) rispetto alle versioni più piccole.
• Modelli Specializzati:
  • PatagonIA (specializzato in spagnolo cileno) non supera i modelli generici di dimensioni comparabili (es. Mistral-medium).
  • LatamGPT (basato su Llama 3.1) ha mostrato prestazioni molto scarse, con difficoltà nel formato MCQ e accuratezza vicina al caso casuale per il portoghese e lo spagnolo latinoamericano.
• Analisi per Elemento Culturale: Le prestazioni variano in base al tipo di conoscenza testata. Elementi con pochi esempi (es. "Personaggi fittizi", "Dialecti") mostrano un divario di prestazioni maggiore tra Spagnolo Latinoamericano e Portoghese Brasiliano.

4. Contributi Chiave

1. Metodologia Scalabile: Un approccio innovativo che combina categorie Wikipedia, curazione esperta (scienze sociali) e generazione basata su LLM per creare dataset socioculturali geograficamente informati.
2. Benchmark LatamQA: La creazione di un dataset strutturato di oltre 23k MCQ che copre 20 paesi, offrendo una risorsa fondamentale per la valutazione della conoscenza culturale fine-grained.
3. Analisi Empirica: Una valutazione sistematica che evidenzia le disparità di performance tra paesi latini, l'impatto della lingua di prompting e il pregiudizio sistematico a favore della cultura spagnola europea rispetto a quella latinoamericana.

5. Significato e Limitazioni

Significato:
Questo lavoro evidenzia come i modelli LLM attuali, pur essendo potenti, siano culturalmente ciechi o distorti verso il "Global North" e la Spagna europea, fallendo nel cogliere le sfumature delle diverse culture latinoamericane. Fornisce uno strumento critico per misurare e mitigare questi bias, spingendo verso una localizzazione più accurata dei dati di addestramento e valutazione.

Limitazioni:

• La conoscenza culturale non può essere catturata completamente tramite semplici Q/A a scelta multipla; sono necessarie valutazioni più complesse (es. interazioni, discussioni).
• L'uso di un singolo LLM per la generazione delle domande potrebbe introdurre bias di preferenza.
• Il dataset si basa su Wikipedia, che potrebbe non riflettere tutte le sfumature della cultura popolare o le dinamiche sociali in tempo reale.

In conclusione, il paper rappresenta un passo fondamentale verso la valutazione e il miglioramento della competenza culturale dei LLM in America Latina, fornendo sia i dati che le metriche necessarie per affrontare le disuguaglianze algoritmiche nella regione.