How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

Riepilogo Tecnico: Come Dataset, Sviluppatori e Modelli Influenzano i Bias in una Lingua a Risorse Limitate

Enunciato del Problema
I sistemi sociotecnici, in particolare nel campo dell'Elaborazione del Linguaggio Naturale (NLP), esibiscono frequentemente bias basati sull'identità che emarginano specifici gruppi sociali. Sebbene le audit algoritmiche siano diventate un metodo standard per rilevare tali bias, la ricerca esistente si concentra prevalentemente su contesti occidentali e lingue ad alta risorsa. Ciò lascia le lingue a risorse limitate, come il bengalese (parlato da oltre 260 milioni di persone), sottostudiate. Le comunità bengalesi affrontano forze storiche e coloniali complesse che plasmano le identità di genere, religiosa (induista vs musulmana) e nazionale (bangladese vs indiana). Queste identità sono spesso espresse sia esplicitamente che implicitamente attraverso norme linguistiche, come variazioni dialettali (Bangal vs Ghoti) e scelte lessicali.

Il problema centrale affrontato è la "fallacia della funzionalità dell'IA", dove si presume che i sistemi funzionino correttamente basandosi sulle prestazioni dei benchmark, oscurando come i bias emergano dall'interazione di molteplici componenti tecnici. Nello specifico, manca una comprensione di come la combinazione di modelli pre-addestrati, dataset di affinamento e i background demografici degli sviluppatori dei dataset plasmino collettivamente il bias nei modelli di analisi del sentiment a valle (BSA) per il bengalese.

Metodologia
Gli autori hanno condotto un'audit algoritmica completa che ha coinvolto 38 modelli di analisi del sentiment affinati. La metodologia è proceduta in quattro fasi chiave:

1. Identificazione del Dataset e Indagine sugli Sviluppatori: I ricercatori hanno identificato 19 dataset di analisi del sentiment bengalese (BSA) tramite Google Dataset Search. Hanno contattato gli sviluppatori di questi dataset per raccogliere informazioni demografiche (genere, religione, nazionalità) tramite un sondaggio online, ricevendo risposte da 12 dataset. Per proteggere l'anonimato, i dataset sono stati de-identificati (D1–D19).
2. Selezione del Modello e Affinamento: Sono stati selezionati due modelli linguistici pre-addestrati: mBERT (un modello multilingue addestrato su 104 lingue) e BanglaBERT (un modello specificamente pre-addestrato su corpora bengalesi). Ciascuno dei 19 dataset BSA è stato utilizzato per affinare entrambi i modelli, risultando in 38 modelli affinati distinti.
3. Valutazione del Bias: Gli autori hanno utilizzato il Bengali Identity Bias Evaluation Dataset (BIBED), che contiene coppie di frasi semanticamente identiche ma che differiscono per marcatori di identità (genere, religione, nazionalità) sia esplicitamente (menzioni dirette) che implicitamente (norme linguistiche, dialetti, termini di parentela).
4. Analisi Statistica: L'audit ha impiegato confronti statistici per valutare il bias:
   • Classificazione Nominale: Ha utilizzato il test $\chi^2$ per valutare la relazione tra categorie di identità e classificazione del sentiment (positivo/negativo/neutro).
   • Punteggi di Sentiment: Ha utilizzato test t accoppiati o test dei ranghi con segno di Wilcoxon per confrontare i punteggi medi di sentiment (da 0 a 1) assegnati a diversi gruppi di identità.
   • Quantificazione: Ha calcolato il Tasso di Classificazione Positiva (PCR) per misurare la parità demografica e la Metrica di Confronto a Coppie (PCM) per quantificare la differenza media nei punteggi di sentiment tra coppie di identità.

Contributi Chiave

• Audit Empirico dell'NLP a Risorse Limitate: Questo studio fornisce una delle prime audit sistematiche dell'analisi del sentiment bengalese, andando oltre gli strumenti distribuiti per tracciare le origini del bias lungo l'intera pipeline (dataset, sviluppatori, modelli).
• Analisi dell'Interazione: Mette in discussione la nozione che il bias risieda esclusivamente nei modelli o nei dataset, dimostrando come il bias emerga dall'interazione tra architetture pre-addestrate e dati di affinamento.
• Demografia degli Sviluppatori vs Bias del Modello: Indaga la correlazione tra le demografie degli sviluppatori dei dataset e il bias del modello, una dimensione spesso trascurata nelle audit tecniche.
• Confronto Metodologico: Il documento confronta l'efficacia di diversi test statistici e metriche (categorie nominali vs punteggi continui) nel rilevare bias sottili in contesti a risorse limitate.

Risultati
Lo studio ha prodotto diverse scoperte significative riguardo alla distribuzione e alle fonti del bias:

• Prevalenza del Bias: La maggior parte dei 38 modelli affinati ha esibito bias significativi.
  • Genere: Il 61% dei modelli ha assegnato punteggi di sentiment più alti alle identità maschili, mentre il 24% ha favorito le identità femminili.
  • Religione: Il 61% dei modelli ha favorito le identità musulmane (o stili linguistici associati), mentre il 24% ha favorito le identità induiste.
  • Nazionalità: Il 50% dei modelli ha favorito le identità bangladesi, rispetto al 26% che ha favorito le identità indiane.
• Demografia degli Sviluppatori: Nonostante la maggior parte degli sviluppatori dei dataset si identificasse come maschio, musulmano e bangladese, i test statistici (p-value > 0,05) hanno rivelato nessuna relazione significativa tra i background demografici degli sviluppatori e la direzione del bias nei modelli risultanti.
• Interazione Modello-Dataset:
  • Vantaggio Specifico per la Lingua: BanglaBERT ha generalmente prodotto modelli affinati meno biasati rispetto al multilingue mBERT, suggerendo che il pre-addestramento specifico per la lingua offre un beneficio di mitigazione.
  • Instabilità del Dataset: Nessun dataset è stato esente da bias. I dataset che hanno funzionato bene in una dimensione di identità hanno spesso esibito bias sostanziali in altre.
  • Spostamenti Contestuali: Lo stesso dataset poteva indurre bias in direzioni opposte a seconda del modello base utilizzato (ad esempio, D1 ha indotto un bias femminile con mBERT ma un bias maschile con BanglaBERT).
• Sensibilità della Metrica: Lo studio ha rilevato che l'analisi dei punteggi di sentiment continui ha identificato un numero significativamente maggiore di modelli biasati (ad esempio, 85% per il genere) rispetto all'analisi delle categorie di sentiment nominali (24% per il genere), sottolineando l'importanza di utilizzare metriche numeriche per audit rigorose.

Significato e Affermazioni
Il documento afferma che raggiungere l'equità nei sistemi NLP è complesso e non può essere risolto semplicemente selezionando un modello o un dataset specifico. Invece, il bias è un prodotto dell'infrastruttura sociotecnica, inclusa il riutilizzo di modelli pre-addestrati e la ricombinazione di dataset.

Gli autori inquadrano le loro scoperte attraverso la lente dell'ingiustizia epistemica, sostenendo che le tecnologie linguistiche possono sistematicamente screditare la testimonianza dei gruppi emarginati assegnando loro punteggi di sentiment più bassi o interpretando male le loro norme linguistiche. Sostengono che, sebbene i modelli multilingue (mBERT) offrano generalizzazione, spesso esacerbano gli svantaggi per le lingue a risorse limitate confondendo dialetti e stili distinti.

Lo studio promuove la decolonizzazione dell'NLP riconoscendo la sottorappresentazione di voci diverse nella creazione dei dataset e chiedendo un "allineamento all'indietro" – valutare e governare i sistemi per evitare di esacerbare i rischi di disallineamento – piuttosto che affidarsi esclusivamente all'addestramento per allineamento in avanti, che potrebbe essere non fattibile a causa della scarsità di dati. Infine, gli autori sottolineano la necessità di audit algoritmiche in contesti a risorse limitate per favorire la trasparenza, affrontare i disallineamenti di valore e promuovere regolamentazioni dell'IA più inclusive.