Mitigating Label Bias with Interpretable Rubric Embeddings

Riepilogo Tecnico: Mitigazione del Bias delle Etichette con Incorporamenti di Griglie Interpretabili

Enunciato del Problema
In domini di decisione ad alto rischio come l'assunzione, l'ammissione universitaria e la moderazione dei contenuti, le etichette di verità fondamentale per la quantità di interesse (ad esempio, la qualità reale del candidato o la futura performance lavorativa) sono spesso non disponibili o proibitivamente costose da ottenere. Di conseguenza, i modelli sono frequentemente addestrati su valutazioni umane storiche (etichette proxy), come decisioni di assunzione passate o punteggi di ammissione. Il documento sostiene che se queste valutazioni storiche contengono bias ingiusti a favore di specifici gruppi demografici, i modelli addestrati su di esse erediteranno e potenzialmente amplificheranno tali bias.

Gli autori dimostrano che gli approcci standard che utilizzano incorporamenti di testo a scatola nera esacerbano questo problema. Questi incorporamenti, sebbene ricchi di informazioni, codificano implicitamente attributi sensibili (ad esempio, il genere) anche quando i marcatori espliciti vengono rimossi. Teoricamente, gli autori mostrano che se una rappresentazione $R$ codifica l'appartenenza a un gruppo, i modelli addestrati su etichette biasate $Y' = Y + B$ (dove $B$ è un termine di rumore dipendente dal gruppo) sono garantiti nel replicare e amplificare il bias nelle loro previsioni.

Metodologia
Il documento propone gli Incorporamenti di Griglia (Rubric Embeddings) come soluzione. A differenza degli incorporamenti a scatola nera che catturano tutte le regolarità statistiche nel testo, gli incorporamenti di griglia sono costruiti a partire da criteri definiti da esperti, allineati al costrutto sottostante di interesse.

1. Costruzione della Griglia: Gli autori hanno collaborato con gli addetti alle ammissioni per definire 396 misure interpretabili e radicate nel dominio (ad esempio, chiarezza del saggio, traiettoria lavorativa, voti specifici dei corsi, forza della lettera di raccomandazione).
2. Estrazione delle Caratteristiche: I Modelli Linguistici di Grande Dimensione (LLM) vengono utilizzati per valutare le candidature lungo queste specifiche dimensioni della griglia, creando un vettore di caratteristiche strutturato e semanticamente significativo.
3. Baseline di Confronto: Il metodo proposto viene valutato rispetto a:
   • Incorporamenti a Scatola Nera: Incorporamenti di testo standard (ad esempio, text-embedding-3-large).
   • Ridazione: Rimozione degli indizi di genere prima dell'incorporamento.
   • Marginalizzazione: Media delle previsioni su manipolazioni controfattuali del genere.
   • Ortogonalizzazione: Proiezione delle caratteristiche per renderle indipendenti dall'appartenenza al gruppo.
   • Kitchen Sink: Combinazione di caratteristiche a scatola nera e di griglia.

Quadro Teorico
Gli autori formalizzano il bias utilizzando il quadro degli esperimenti di corrispondenza (studi di audit). Definiscono il bias come la differenza attesa nelle previsioni del modello quando le caratteristiche di un candidato vengono manipolate per apparire di un genere diverso ($T(X, m)$ vs $T(X, f)$).

• La Proposizione 2 dimostra che il bias di un modello addestrato su un'etichetta proxy dipende dall'estensione in cui la rappresentazione codifica l'appartenenza al gruppo. Se la rappresentazione $R$ consente uno spostamento delle caratteristiche basato sul genere, il modello eredita il bias dell'etichetta.
• La Proposizione 3 evidenzia che anche con etichette non biasate, gli incorporamenti a scatola nera possono indurre bias se omettono variabili rilevanti che sono correlate sia all'esito sia all'attributo protetto (bias della variabile omessa).
• L'analisi teorica suggerisce che gli incorporamenti di griglia, limitando lo spazio delle ipotesi a caratteristiche semanticamente rilevanti ed escludendo il rumore correlato al gruppo, dovrebbero teoricamente eliminare il meccanismo attraverso il quale il bias delle etichette si propaga.

Risultati Empirici
Lo studio utilizza un dataset di 1.112 candidature a un programma di laurea magistrale in politica pubblica. Gli autori hanno iniettato sinteticamente diversi gradi di bias ($b$) nei punteggi di ammissione per simulare la discriminazione storica contro le candidate donne.

• Incorporamenti a Scatola Nera: I modelli addestrati su questi incorporamenti hanno mostrato un alto livello di bias. All'aumentare del vantaggio maschile sintetico ($b$), la proporzione di donne ammesse è crollata precipitosamente (fino a quasi lo 0% a livelli di bias elevati), e la qualità media della coorte ammessa (misurata dai punteggi di verità fondamentale) è diminuita. Gli incorporamenti hanno previsto il genere con un AUC del 99,6%, confermando che codificano attributi sensibili.
• Ridazione e Marginalizzazione: Sebbene teoricamente non biasate rispetto alla specifica manipolazione $T$, queste metodologie hanno fallito nella pratica. Gli incorporamenti ridatti hanno comunque permesso ai modelli di prevedere il genere con un AUC dell'81,2% a causa di regolarità statistiche residue. La marginalizzazione ha corretto il bias apparente ma ha penalizzato involontariamente il gruppo che era effettivamente più qualificato nella verità fondamentale, portando a una qualità inferiore della coorte.
• Incorporamenti di Griglia: I modelli addestrati su incorporamenti di griglia hanno mostrato bias virtualmente nullo a tutti i livelli di bias delle etichette iniettato. Crucialmente, hanno mantenuto una coorte ammessa demograficamente diversificata (percentuale stabile di donne) e hanno raggiunto la più alta qualità della coorte (più alti punteggi medi di verità fondamentale) rispetto a tutti gli altri metodi.
• Accuratezza Predittiva: Contro-intuitivamente, mentre i modelli a scatola nera hanno ottenuto un Errore Quadratico Medio (RMSE) inferiore sulle etichette proxy biasate, i modelli con incorporamenti di griglia hanno ottenuto il RMSE più basso sulle etichette di verità fondamentale. Questo supporta l'affermazione teorica secondo cui l'inclusione di caratteristiche correlate al bias (come i segnali di genere negli incorporamenti a scatola nera) degrada le prestazioni sull'esito reale quando le etichette sono biasate.

Contributi Chiave

1. Insight Teorico: Il documento fornisce una decomposizione formale che mostra come la propagazione del bias delle etichette dipenda dalla capacità della rappresentazione di codificare l'appartenenza al gruppo. Distingue tra bias delle etichette e bias della variabile omessa, mostrando come gli incorporamenti a scatola nera possano confondere i due.
2. Proposta Metodologica: Introduce gli incorporamenti di griglia come un metodo pratico e costruttivo per la selezione delle caratteristiche che opera la rimozione delle caratteristiche che inducono bias senza fare affidamento su forti assunzioni strutturali sul processo di etichettatura.
3. Validazione Empirica: Utilizzando un dataset innovativo con iniezione sintetica di bias, gli autori dimostrano che gli incorporamenti di griglia migliorano simultaneamente l'equità (parità di gruppo) e l'utilità (qualità della coorte), superando le interventi standard di equità come l'ortogonalizzazione e la ridazione.

Significato e Affermazioni
Gli autori affermano che gli incorporamenti di griglia offrono una strategia pratica per mitigare il bias delle etichette nei contesti decisionali in cui la verità fondamentale non è disponibile. Il significato risiede nello spostare il focus dal semplice aggiustamento delle funzioni di perdita o dal ridimensionamento dei dati al riesame di come gli input sono rappresentati.

Il documento sostiene che fondare le previsioni su criteri interpretabili e specifici del dominio permette ai modelli di allinearsi al costrutto sottostante di interesse, filtrando efficacemente le correlazioni spurie (come i segnali di genere) che portano a risultati biasati. Sebbene gli autori riconoscano le limitazioni, in particolare l'alto costo di costruzione delle griglie e la potenziale incapacità di affrontare certe forme di impatto disparato o di giustificare interventi specifici per gruppo, concludono che questo approccio fornisce un modo principiato per apprendere in presenza di etichette biasate, affrontando una sfida di lunga data nella progettazione equa degli algoritmi.