Riepilogo Tecnico: IndoBias

Definizione del Problema

I Large Language Models (LLM) assorbono e riproducono stereotipi sociali dai loro corpora di pre-addestramento, danneggiando spesso i gruppi sottorappresentati. Sebbene siano stati compiuti sforzi significativi per i benchmark di bias in inglese (es. CrowS-Pairs, StereoSet), queste risorse non riescono a catturare le uniche complessità socioculturali e linguistiche dei contesti non inglesi. Nello specifico, l'Indonesia presenta una lacuna critica: una nazione con oltre 1.300 gruppi etnici e 700 lingue indigene, dove il bias è raramente uniforme. Gli attuali framework di valutazione si affidano spesso a tropi ampiamente riconosciuti, il che esclude strutturalmente le comunità più piccole o meno visibili (ad esempio, il popolo Korowai) dalla valutazione del bias, perpetuando un "bias di invisibilità". Inoltre, rimane poco chiaro come le fonti di dati di pre-addestramento (ad esempio, web crawl non filtrati rispetto ad articoli revisionati da esseri umani) e l'inclusione di lingue locali influenzino l'emergere del bias culturale negli LLM.

Metodologia

Per affrontare queste lacune, gli autori introducono IndoBias, il primo benchmark a doppio binario, culturalmente radicato, per valutare il bias in indonesiano e in tre lingue locali: giavanese, sundanese e makasar. Il benchmark consiste in due percorsi di valutazione complementari:

1. IndoBias-Pairs (Orientato alla Profondità)

Questo percorso utilizza un approccio contrastivo per misurare l'intensità degli stereotipi.

• Costruzione: Sono state create 544 coppie di frasi curate manualmente in indonesiano, coprendo cinque domini di bias: Identità e Demografia, Stato Economico, Cultura e Geografia, Ruoli Sociali e Familiari, e Ideologia e Religione. Queste sono state ulteriormente suddivise in 18 sotto-domini.
• Espansione Multilingue: Le coppie sono state tradotte in giavanese, sundanese e makasar da madrelingua, risultando in un totale di 4.352 istanze (2.176 prototipiche e 2.176 affermazioni contro-stereotipiche).
• Metrica di Valutazione: La "Protrope Win Rate" misura la proporzione di volte in cui un modello assegna una minore perplessità (maggiore probabilità) all'affermazione stereotipica rispetto al suo corrispettivo contro-stereotipico. Un punteggio del 50% indica assenza di bias; punteggi più elevati indicano un più forte bias stereotipico.

2. IndoBias-QA (Orientato alla Ampiezza)

Questo percorso utilizza un approccio basato sulla generazione per valutare l'equità rappresentativa attraverso una vasta gamma di entità, incluse quelle prive di stereotipi documentati.

• Framework: Costruito sul framework LLM Stereotype Index (LSI), combina quattro pivot: Demografia, Gruppo Demografico, Coppia di Stereotipi e Task ID.
• Ambito: Valuta 336 gruppi demografici indonesiani attraverso sei categorie: Etnia (81), Istituzioni Governative (60), Nomi (78), Partiti Politici (20), Religioni (29) e Università (68).
• Complessità del Task: Per aggirare i filtri di sicurezza e forzare risposte sostanziali, il benchmark impiega sette formati di task di complessità crescente, che vanno da semplici domande a scelta forzata fino all'assegnazione di variabili di codice e alla scrittura di storie.
• Assi dello Stereotipo: La valutazione integra framework di scienze sociali: il Social Progress Index (SPI), O*NET (per i tratti basati sulle competenze) e i Worldwide Governance Indicators (WGI) per definire le coppie di stereotipi positivi e negativi.
• Metrica di Valutazione: Lo "Stereotype Polarity" (SP) misura la percentuale di output validi mappati su un'etichetta di stereotipo positivo.

3. Simulazione di Pre-addestramento

Per comprendere l'emergere del bias durante l'addestramento, gli autori hanno condotto una simulazione di pre-addestramento controllata utilizzando IndoBERT inizializzato con pesi casuali.

• Configurazione: I modelli sono stati addestrati per 500.000 step attraverso sei diverse composizioni di dati che coinvolgono l'Indonesian Common Crawl (CC-100), Wikipedia e Liputan 6 (notizie), con diverse miscele di dati in giavanese e sundanese.
• Analisi: I checkpoint sono stati valutati ogni 25.000 step utilizzando IndoBias-Pairs per tracciare l'evoluzione del bias.

Risultati Chiave

Prestazioni dei Modelli su IndoBias-Pairs

• Decoder vs. Encoder: I modelli decoder (LLM generativi) hanno mostrato un bias prototipico significativamente più forte rispetto ai modelli solo-encoder. Molti modelli decoder hanno raggiunto una protrope win rate superiore al 70% in indonesiano, mentre gli encoder raramente superavano il 67% e spesso oscillavano vicino al 50%.
• Effetti Linguistici: Il prompting in indonesiano ha generalmente prodotto punteggi di bias elevati. Tuttavia, nel dominio "Ideologia e Religione", le lingue locali (particolarmente il makasar) hanno talvolta mostrato un bias maggiore rispetto all'indonesiano.
• Impatto del Fine-Tuning: Il fine-tuning dei modelli su dati di lingua locale (ad esempio, Komodo-7B, SeaLLM-v3, Sailor2-8B) ha costantemente aumentato il bias prototipico. Gli autori ipotizzano che il miglioramento della fluidità nelle lingue locali amplifichi le associazioni presenti nei corpora di addestramento del mondo reale.

Prestazioni su IndoBias-QA

• Discrepanza tra i Modelli: I modelli più recenti e capaci (ad esempio, Qwen3.5, GPT-5 mini) hanno mostrato deviazioni standard più elevate nella polarità dello stereotipo (SPσ) tra i gruppi demografici rispetto ai modelli più vecchi. Ciò suggerisce che, sebbene i nuovi modelli possano non essere uniformemente più biased, il loro bias è più variabile e dipendente dal contesto.
• Bias Non Uniforme: Il bias varia significativamente tra i gruppi demografici. Ad esempio, i modelli hanno classificato i gruppi etnici marginalizzati (come i Korowai) come materialmente peggiori rispetto ai gruppi principali (come i Giavanesi). Allo stesso modo, le istituzioni governative e i candidati politici hanno ricevuto punteggi disparati su metriche come "Controllo della Corruzione" e "Opportunità", ponendo rischi per l'equità in applicazioni downstream come l'assunzione o l'analisi elettorale.

Risultati del Pre-addestramento

• Fonte dei Dati: I corpora web non filtrati (CC-100) hanno introdotto significativamente più bias durante il pre-addestramento rispetto alle fonti revisionate da esseri umani come Wikipedia e gli articoli di notizie (Liputan 6).
• Miscelazione Multilingue: L'introduzione di lingue locali (giavanese, sundanese) nella miscela di pre-addestramento ha generalmente aumentato il bias in tutte le lingue valutate, con l'eccezione della valutazione in indonesiano in specifici scenari di dati misti.

Significato e Contributi

Il documento rivendica tre contributi primari:

1. Benchmark IndoBias: Il primo benchmark di bias culturalmente radicato per il contesto indonesiano, che copre quattro lingue e utilizza sia percorsi di valutazione contrastivi che basati sulla generazione.
2. Valutazione Comprensiva: Un benchmarking esteso di modelli encoder e decoder (generali, del sud-est asiatico e specifici dell'Indonesia) e un'analisi della polarità dello stereotipo attraverso 336 gruppi demografici, rivelando pattern di bias non uniformi.
3. Approfondimenti sul Pre-addestramento: Una simulazione controllata che dimostra come i dati web non filtrati introducano più bias rispetto alle fonti curate e come l'incorporazione di lingue locali nel pre-addestramento possa involontariamente amplificare gli stereotipi culturali.

Gli autori concludono che lo studio del bias in contesti culturali specifici è essenziale. Sottolineano che i framework di valutazione standard spesso non riescono a catturare l'intricata rete di pregiudizi linguistici e demografici nelle società multilingui come l'Indonesia. IndoBias mira a supportare lo sviluppo di tecnologie linguistiche più eque evidenziando queste specifiche complessità culturali e linguistiche.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Copertura Non Esaustiva: Nonostante la copertura di 336 gruppi, questa rappresenta solo una frazione dei più di 1.300 gruppi etnici e 700+ lingue dell'Indonesia.
• Esclusione Strutturale: L'approccio contrastivo (IndoBias-Pairs) esclude intrinsecamente i gruppi che non possiedono stereotipi ampiamente riconosciuti, rischiando di perpetuare l'invisibilità delle comunità più vulnerabili.
• Ambito Linguistico: Lo studio è limitato a indonesiano, giavanese, sundanese e makasar a causa della disponibilità di risorse.
• Vincoli della Simulazione: La simulazione di pre-addestramento ha utilizzato una dimensione del batch ridotta e un numero limitato di step (500.000) rispetto al pre-addestramento su larga scala moderno, il che potrebbe influenzare la generalizzabilità dei risultati.