💻 computer science

Investigating Bias in Bulgarian in the Context of Large Language Models

Questo articolo presenta un dataset bulgaro annotato manualmente per valutare il rilevamento dei pregiudizi, rivelando un alto grado di accordo tra gli annotatori umani ma una significativa divergenza tra umani e modelli linguistici di grandi dimensioni, dimostrando al contempo che l'uso di prompt in lingua bulgara migliora l'allineamento del modello con i giudizi umani.

Autori originali: Ivelina Stoyanova

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ivelina Stoyanova

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot super intelligente come comprendere le storie umane. Gli dai milioni di libri, articoli e siti web da leggere, sperando che impari non solo la grammatica, ma anche come essere equo, gentile e neutrale. Questo è il mondo dei Large Language Models (LLM), i cervelli artificiali dietro i chatbot e i motori di ricerca. Ma ecco il problema: i robot imparano imitando ciò che vedono. Se i libri che leggono contengono stereotipi antiquati o opinioni ingiuste su certi gruppi di persone, il robot potrebbe accidentalmente imparare anche quei pregiudizi. È come uno studente che legge solo libri di storia scritti da una sola parte di una guerra; potrebbe pensare che quella parte abbia sempre ragione. Gli scienziati sono preoccupati perché, se questi robot iniziassero a prendere decisioni su lavori, prestiti o notizie, potrebbero trattare le persone in modo iniquo senza volerlo. La grande domanda è: possiamo insegnare a questi robot a individuare l'ingiustizia nel testo, e loro la vedono nello stesso modo in cui la vedono gli esseri umani?

Questo articolo approfondisce quella domanda, ma con un colpo di scena: guarda alla lingua bulgara. La maggior parte della ricerca sull'IA si concentra sull'inglese, il che è come studiare solo un gusto di gelato e presumere di aver capito tutto il congelatore. I ricercatori volevano vedere se le stesse regole si applicano a una lingua con meno risorse digitali e una cultura molto diversa. Hanno costruito un "kit di prova" speciale utilizzando 3.177 frasi da Wikipedia bulgaro. Due esperti umani hanno letto queste frasi e le hanno valutate su una scala da 0 a 5 per vedere quanto fossero pregiudiziali, cercando ingiustizie legate al genere, alla religione, alla razza, all'aspetto e alla disabilità. Poi, hanno chiesto a tre diversi modelli di IA (Gemma 4, BgGPT-Gemma-3 e Qwen 3) di valutare esattamente le stesse frasi.

I risultati sono stati un po' uno shock, come chiedere a un umano e a un robot di giudicare un trucco di magia e ottenere risposte completamente diverse. I due umani erano d'accordo tra loro quasi sempre (solo il 4,9% delle volte discordevano sul fatto che una frase fosse pregiudiziale). Tuttavia, quando i modelli di IA hanno cercato di fare lo stesso lavoro, sono stati molto meno affidabili. I robot discordavano con gli umani dal 24% al 34% delle volte. Peggio ancora, quando gli umani dicevano che una frase era pregiudiziale, i robot spesso non lo vedevano, e quando i robot segnalavano qualcosa come pregiudiziale, gli umani spesso pensavano che andasse bene.

Il documento suggerisce che i robot non sono solo "sbagliati"; stanno giocando con un libro di regole diverso. Gli umani erano molto severi su quanto fosse grave il pregiudizio (assegnando punteggi alti per un forte pregiudizio), ma i robot erano molto più cauti, dando punteggi molto bassi anche quando gli umani vedevano una forte ingiustizia. È come se gli umani stessero gridando: "È terribile!", mentre i robot sussurrassero: "Forse un po' maleducato?".

C'è stata però una scoperta interessante. Uno dei modelli di IA, BgGPT-Gemma-3, è stato costruito specificamente per la Bulgaria. Quando i ricercatori gli ponevano domande in inglese, faceva un pessimo lavoro. Ma quando hanno cambiato le istruzioni in bulgaro, il robot ha iniziato improvvisamente a vedere il pregiudizio più come un essere umano. È come se parlare la sua lingua madre avesse risvegliato una parte diversa del suo cervello, aiutandolo a comprendere meglio il contesto culturale.

Lo studio conclude che non possiamo ancora fidarci dei robot per correggere il pregiudizio in lingue con scarse risorse come il bulgaro. Attualmente sono troppo diversi dal giudizio umano. L'autore suggerisce che, invece di affidarsi a una singola IA per fare la valutazione, potremmo aver bisogno di un team di diverse IA e poi far controllare il loro lavoro agli umani. Sottolinea inoltre che dobbiamo costruire dizionari e strumenti migliori specificamente per la cultura bulgara, perché i robot attualmente perdono i sottili indizi culturali che gli esseri umani colgono istantaneamente. Fino ad allora, i robot stanno ancora imparando come essere veramente equi.

Sintesi Tecnica: Investigazione del Bias nel Bulgaro nel Contesto dei Large Language Models

Problematica
I Large Language Models (LLM) spesso riflettono e amplificano i pregiudizi sociali presenti nei loro dati di addestramento. Mentre esiste una ricerca significativa per le lingue ad alta risorsa come l'inglese, vi è una lacuna critica nelle metodologie di rilevamento del bias, nei dataset e nelle risorse lessicali per le lingue a bassa risorsa, nello specifico il bulgaro. Il documento affronta la mancanza di una definizione unificata di bias applicabile sia agli esseri umani che agli LLM, la scarsità di lessici di bias specifici per il bulgaro e l'incertezza sul fatto che gli LLM possano allinearsi in modo affidabile ai giudizi umani sulla percezione del bias in contesti culturalmente specifici. Lo studio pone tre domande fondamentali: Una definizione operativa di bias può garantire la coerenza sia per gli umani che per gli LLM? Gli annotatori umani concordano sulla percezione del bias? Gli LLM si allineano ai giudizi umani e, in caso negativo, come e perché divergono?

Metodologia
Lo studio impiega un approccio multistadio che combina la costruzione di risorse lessicali, la creazione di dataset, l'annotazione manuale e la valutazione degli LLM.

Costruzione della Risorsa Lessicale: Un "Dizionario del Bias Bulgaro" è stato compilato manualmente ed espanso utilizzando il Bulgarian WordNet e il SentiWordNet. Contiene 3.786 voci categorizzate in cinque tipi di bias (Genere, Religione, Razza/Etnia, Aspetto Fisico, Disabilità) più una categoria generale. Le voci includono parole segnale di bias e parole che marcano il bias, annotate con attributi quali parte del discorso, polarità del bias, registro (es. dispregiativo, colloquiale) e forza valutativa.
Creazione del Dataset: Un dataset di 3.177 frasi è stato estratto da Wikipedia in bulgaro (articoli e pagine di discussione) datato dicembre 2025. Le frasi sono state pre-elaborate (tokenizzate, lemmatizzate) e inizialmente punteggiate utilizzando un algoritmo basato sul lessico. Questo algoritmo calcola un punteggio a livello di frase basato sulla forza valutativa, la polarità e la prossimità delle parole segnale di bias e delle parole che marcano il bias entro una finestra di 10 token.
Annotazione Manuale: Due parlanti nativi bulgari hanno annotato manualmente le frasi per la presenza e l'intensità del bias su una scala ordinale da 0 (nessun bias) a 5 (forte bias) per ciascuno dei cinque tipi di bias e una categoria "Altro". L'accordo tra annotatori (IAA) è stato misurato utilizzando il $\kappa$ di Cohen pesato, l' $\alpha$ di Krippendorff e il Coefficiente di Correlazione Intraclasse (ICC).
Valutazione degli LLM: Tre LLM sono stati valutati rispetto alle annotazioni umane:
- Gemma 4: Un modello multilingue istruito per l'istruzione con il bulgaro nel suo corpus di pre-addestramento.
- BgGPT-Gemma-3: Un modello adattato al bulgaro (12 miliardi di parametri) basato su Gemma 3, testato con prompt sia in inglese che in bulgaro.
- Qwen 3: Un modello multilingue (8 miliardi di parametri) con copertura delle lingue slave ma senza esplicito fine-tuning per il bulgaro.
  I modelli sono stati incaricati di rilevare il bias e assegnare punteggi di intensità. L'accordo tra umani e LLM è stato valutato utilizzando gli stessi parametri dell'accordo umano-umano.

Contributi Chiave

Dataset Annotato per il Bias in Bulgaro: La creazione di un dataset annotato manualmente di 3.177 frasi che copre cinque tipi specifici di bias, fungendo da benchmark per il rilevamento del bias in lingue a bassa risorsa.
Dizionario del Bias Bulgaro: Una risorsa lessicale strutturata di 3.786 voci progettata per identificare segnali di bias e marcatori valutativi specifici del bulgaro.
Definizione Operativa di Bias: Una definizione operativa di bias a livello di frase che tiene conto di atteggiamenti sistematicamente non neutrali, applicabile sia alla valutazione umana che a quella delle macchine.
Analisi Empirica dell'Allineamento Umano-LLM: Una valutazione completa di quanto bene gli attuali LLM si allineino ai giudizi umani in un contesto a bassa risorsa e culturalmente specifico, rivelando divergenze significative sia nel rilevamento che nella valutazione dell'intensità.

Risultati

Accordo Umano-Umano: Gli annotatori hanno mostrato un alto accordo sulla classificazione binaria del bias (biased vs. non-biased), con un tasso di mismatch del solo 4,9% e un $\kappa$ pesato di 0,863. Tuttavia, l'accordo sulla valutazione dell'intensità (scala 0–5) era inferiore, in particolare per i casi non nulli, dove l' $\alpha$ di Krippendorff mediava -0,160, indicando un disaccordo superiore al caso specifico per quanto riguarda i punteggi di intensità.
Allineamento Umano-LLM: Tutti gli LLM hanno mostrato una sostanziale divergenza dai giudizi umani.
- Tassi di Mismatch: Gli LLM hanno mostrato tassi di mismatch dal 24% al 34% nel compito binario, rispetto al 4,9% degli umani.
- Metriche di Accordo: I valori di $\kappa$ pesato tra umani e LLM variavano da 0,108 (Qwen 3) a 0,255 (Gemma 4), rientrando nell'intervallo da lieve a discreto.
- Valutazione dell'Intensità: Gli LLM assegnavano sistematicamente punteggi di intensità inferiori rispetto agli umani. Le metriche di accordo non nullo ( $\alpha_{nz}$ ) erano uniformemente negative per tutti i modelli, indicando che quando gli LLM segnalavano il bias, spesso segnalavano frasi diverse o assegnavano livelli di gravità differenti rispetto agli umani.
Risultati Specifici del Modello:
- Linguaggio del Prompt: L'uso di prompt in bulgaro per BgGPT-Gemma-3 ha migliorato l'allineamento con i giudizi umani (aumentando la sovrapposizione di bias dal 12,8% al 21,6% e riducendo i tassi di mismatch) rispetto ai prompt in inglese.
- Variabilità del Tipo di Bias: Gli LLM sono stati relativamente più bravi nelle categorie "Aspetto" e "Disabilità" (probabilmente a causa di marcatori lessicali espliciti), ma sono stati scarsi nelle categorie "Genere" e "Religione", che si affidano a sottili indizi culturali e contestuali.
- Clustering dei Modelli: I modelli della famiglia Gemma (Gemma 4 e varianti BgGPT) si sono raggruppati insieme, suggerendo bias condivisi dalla loro linea di pre-addestramento, mentre Qwen 3 ha formato un cluster distinto con l'accordo più basso.

Significatività e Rivendicazioni
Il documento sostiene che gli attuali LLM sono inaffidabili come sostituti autonomi degli annotatori umani nel rilevamento del bias, specialmente per le lingue a bassa risorsa e i contesti culturalmente specifici. I risultati sottolineano che:

La Percezione del Bias è Situata Culturalmente: Gli LLM faticano con i bias che richiedono competenza pragmatica e culturale (es. ruoli di genere, pratiche religiose), mentre performano meglio su bias lessicalmente espliciti.
Il Linguaggio del Prompt Conta: Il prompting nella lingua target migliora significativamente l'allineamento degli LLM con le aspettative culturali umane, suggerendo che il linguaggio del prompt è una variabile sperimentale critica, non solo un dettaglio di implementazione.
Necessità di Risorse Fondate: Lo studio evidenzia la necessità di risorse lessicali e metodologie di annotazione culturalmente fondate per le lingue a bassa risorsa, poiché il transfer learning da modelli multilingue è insufficiente per catturare schemi di bias specifici.
Cautela Metodologica: Un alto accordo inter-LLM non dovrebbe essere interpretato come un proxy della qualità dell'annotazione, poiché i modelli possono condividere bias sistematici derivanti dai loro dati di addestramento piuttosto che convergere sui giudizi sociali umani.

L'autore conclude che, sebbene gli LLM possano replicare parzialmente il rilevamento binario del bias, essi divergono significamente nella valutazione dell'intensità e nella sensibilità alle categorie. Il lavoro futuro dovrebbe concentrarsi sul fine-tuning con corpora di bias nella lingua target, sull'integrazione del contesto culturale nei prompt e sull'espansione dei dataset verso domini diversi per migliorare l'equità e le prestazioni in contesti a bassa risorsa.

Sintesi Tecnica: Investigazione del Bias nel Bulgaro nel Contesto dei Large Language Models

Articoli simili