Side-by-side Comparison Amplifies Dialect Bias in Language Models

Sintesi Tecnica: Il Confronto Diretto Amplifica il Bias Dialettale nei Modelli Linguistici

Enunciato del Problema
I Modelli Linguistici (LM) mostrano bias sistematici contro i parlanti basati su variazioni dialettali, un fenomeno noto come bias dialettale covert. Ciò si verifica anche in assenza di etichette dialettali esplicite, poiché i modelli associano stereotipi negativi all'Inglese Vernacolare Afroamericano (AAVE) rispetto all'Inglese Americano Standard (SAE). Sebbene ricerche precedenti abbiano stabilito l'esistenza di questo bias in isolamento, non è chiaro come il bias si manifesti in contesti decisionali ad alto rischio dove i modelli sono tenuti a classificare o confrontare candidati fianco a fianco. Inoltre, è sconosciuto se specificare esplicitamente le etichette dialettali (bias overt) mitighi o esacerbi queste disparità rispetto all'inferenza implicita (bias covert). I framework di valutazione esistenti spesso si affidano a prompt assoluti (valutazione di tweet in isolamento), che possono sottostimare la gravità del bias in contesti comparativi.

Metodologia
Gli autori impiegano una tecnica di probing "matched-guise" utilizzando un dataset di 2.019 coppie di tweet equivalenti per intento (uno SAE, uno AAVE) derivate da Groenwold et al. [20]. Lo studio valuta tre modelli: LLaMA-3.1-8B, DeepSeek-V3 e GPT-4.0-mini.

La valutazione viene condotta attraverso quattro condizioni distinte:

1. Prompting Assoluto: I tweet SAE e AAVE vengono valutati indipendentemente.
2. Prompting Contrastivo: I tweet SAE e AAVE vengono presentati fianco a fianco per un confronto diretto.
3. Ambiente Covert: Non vengono fornite etichette dialettali esplicite; il modello inferisce il dialetto dalle caratteristiche linguistiche.
4. Ambiente Overt: Vengono incluse nel prompt etichette dialettali esplicite (es. "Questo tweet è scritto in AAVE").

I modelli vengono invitati a valutare ogni tweet su una scala Likert da 1 a 5 per 12 tratti stereotipati raggruppati in sei coppie di valenza (es. Intelligenza/Stupidità, Cortesia/Scortesia), basandosi sulle Princeton Trilogies [18, 25, 26].

Per quantificare il bias, lo studio utilizza:

• d di Cohen: Per misurare la grandezza dell'effetto delle disparità di punteggio tra SAE e AAVE.
• CF Gap (Counterfactual Fairness Gap): Per misurare l'errore assoluto medio normalizzato tra i punteggi assegnati a coppie equivalenti per intento.
• Valore Q: Una metrica di rapporto di verosimiglianza logaritmica per valutare la fiducia del modello nell'assegnare punteggi specifici a diversi dialetti.

Per la mitigazione, gli autori applicano il fine-tuning per equità controfattuale a LLaMA-3.1-8B. Ciò comporta l'addestramento del modello ad assegnare punteggi di tratti identici alle coppie di tweet SAE e AAVE, utilizzando i punteggi SAE del modello stesso dal setting assoluto come verità fondamentale. Viene anche testato un approccio di debiasing basato sul prompting come baseline.

Risultati Chiave

1. Amplificazione nei Contesti Contrastivi: La scoperta più significativa è che il confronto fianco a fianco amplifica significativamente il bias dialettale covert. Per tutti i modelli, le grandezze dell'effetto (d di Cohen) e i gap CF sono sostanzialmente maggiori nel setting contrastivo rispetto a quello assoluto. Ad esempio, DeepSeek-V3 ha mostrato un aumento del 51,78% nei valori di d di Cohen passando dal prompting assoluto a quello contrastivo. Ciò suggerisce che i contesti comparativi, comuni nelle assunzioni o nella moderazione dei contenuti, esacerbano i bias esistenti oltre quanto osservato in isolamento.
2. Esacerbazione del Bias Overt: Contrariamente all'assunzione che l'etichettatura esplicita possa ridurre il bias rendendo il modello consapevole del contesto, specificare esplicitamente le etichette dialettali (setting overt) spesso amplifica ulteriormente il bias, specialmente negli scenari contrastivi. Nel setting contrastivo overt, le disparità per tratti come Articolazione e Sofisticazione hanno raggiunto grandi grandezze dell'effetto.
3. Sensibilità del Modello: LLaMA-3.1-8B ha dimostrato la maggiore sensibilità alla variazione dialettale, mostrando i gap CF più ampi e la minore auto-coerenza (stabilità dei punteggi su prompt ripetuti) per gli input AAVE rispetto all'SAE.
4. Limiti della Mitigazione: Il fine-tuning per equità controfattuale ha ridotto con successo il bias per un sottoinsieme di tratti (es. Insopisticatezza, Stupidità, Incoerenza) nel setting assoluto. Tuttavia, questi miglioramenti non sono stati costantemente validi nel setting contrastivo. In alcuni casi, il fine-tuning ha aumentato le disparità per altri tratti (es. Intelligenza, Cortesia) quando i modelli sono stati costretti a confrontare direttamente i dialetti. Il debiasing basato sul prompting ha mostrato risultati misti ed è stato meno affidabile a causa della sensibilità alla formulazione del prompt.

Significato e Contributi
Il paper apporta quattro contributi principali:

1. Amplificazione Contrastiva: Dimostra che il bias dialettale covert non è statico, ma viene dinamicamente amplificato quando i modelli eseguono giudizi comparativi, un'informazione cruciale per applicazioni reali che coinvolgono la classificazione o la selezione.
2. Confronto Overt vs Covert: Fornisce un confronto diretto che mostra come i segnali dialettali overt non mitigino il bias ma spesso lo intensifichino, mettendo in discussione l'efficacia delle attuali strategie di allineamento alla sicurezza nella gestione di segnali identitari espliciti.
3. Framework di Valutazione: Evidenzia che i setting di valutazione standard (prompting assoluto) possono sottostimare significativamente la gravità del bias dialettale, rendendo necessaria l'inclusione di test contrastivi negli audit di equità.
4. Sfide di Mitigazione: Rivela che, sebbene il fine-tuning per equità controfattuale possa ridurre il bias aggregato, è insufficiente per garantire un'equità coerente attraverso tutti i tratti e i contesti di valutazione, in particolare negli scenari comparativi ad alto rischio.

Gli autori concludono che il bias dialettale rimane un problema irrisolto nei LM, con le strategie di mitigazione esistenti che non riescono ad affrontare gli effetti di amplificazione intrinseci nel processo decisionale contrastivo. Sostengono la necessità di framework di valutazione più robusti che tengano conto di queste dinamiche comparative per prevenire il rafforzamento delle disuguaglianze strutturali nei sistemi automatizzati.