How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

Sintesi Tecnica: Come Influenza la Privacy Differenziale i Pregiudizi Sociali nei LLM? Una Valutazione Sistematica

Enunciato del Problema
I Modelli Linguistici su Grande Scala (LLM) addestrati su corpora di dimensioni web rischiano di memorizzare dati sensibili di addestramento, ponendo minacce alla privacy. La Privacy Differenziale (DP), in particolare tramite DP-SGD, è emersa come un quadro metodologico rigoroso per limitare l'influenza dei singoli punti dati durante l'addestramento, riducendo così la memorizzazione. Tuttavia, la relazione tra la limitazione della memorizzazione attraverso la DP e la mitigazione dei pregiudizi sociali nei LLM rimane scarsamente compresa. Sebbene la DP possa indebolire la dipendenza da associazioni stereotipate attenuando l'influenza di specifici esempi di addestramento, il rumore introdotto durante l'addestramento potrebbe anche distorcere in modo imprevedibile le rappresentazioni apprese. La ricerca esistente ha esplorato principalmente questa interazione in contesti di fine-tuning, lasciando un vuoto nella comprensione di come i pregiudizi si formino quando la DP viene applicata durante la fase di pre-addestramento stessa.

Metodologia
Gli autori presentano una valutazione sistematica dei pregiudizi sociali in un LLM pre-addestrato addestrato con DP-SGD, confrontandolo con baseline non-DP. Lo studio utilizza VaultGemma-1B, l'unico LLM pubblicamente disponibile pre-addestrato interamente con DP-SGD (budget di privacy $\epsilon = 2$), come modello DP. Viene confrontato con due baseline non-DP: Gemma-3-1B-PT (che corrisponde al modello DP per dimensioni) e Gemma-2-2B (che corrisponde alla famiglia di addestramento ma è più grande).

Per garantire una valutazione completa, la valutazione abbraccia quattro paradigmi complementari:

1. Punteggio di Frase: Misura i pregiudizi attraverso confronti controllati di probabilità utilizzando dataset come StereoSet, WinoBias e CrowS-Pairs. Le metriche includono il Punteggio del Modello Linguistico (LMS), il Punteggio Stereotipico (SS) e il Test di Associazione del Contesto Idealizzato (ICAT).
2. Completamento del Testo: Cattura i pregiudizi nella generazione a testo aperto utilizzando BOLD e HolisticBias. La valutazione si concentra su considerazione, sentimento e tossicità, calcolando le lacune di pregiudizio tra gruppi demografici.
3. Classificazione Tabulare: Valuta l'equità di gruppo su dati tabulari serializzati in testo (Adult Census Income, COMPAS, German Credit) utilizzando l'Apprendimento in Contesto (ICL). Lo studio testa quattro strategie ICL (Casuale, Bilanciata, Istruzione, Rimozione) per isolare il pregiudizio intrinseco del modello dal pregiudizio indotto dal prompt.
4. Risposta alle Domande: Valuta i pregiudizi tramite domande a scelta multipla con contesto ambiguo utilizzando il dataset BBQ, misurando l'accuratezza sui contesti disambiguati e i Punteggi Stereotipici su quelli ambigui.

Risultati Chiave
Lo studio rivela una significativa discrepanza tra il pregiudizio a livello di logit e il pregiudizio a livello di output, con risultati che variano sostanzialmente tra i paradigmi di valutazione:

• Punteggio di Frase: La DP riduce costantemente il pregiudizio stereotipato. Il modello VaultGemma-1B ha ottenuto punteggi stereotipici (SS) più bassi e punteggi ICAT più alti rispetto alle baseline non-DP, in particolare in compiti che richiedono la dipendenza dalla conoscenza del mondo (ad es. WinoBias Tipo 1). Ciò suggerisce che la DP indebolisce la fiducia del modello nell'assegnare probabilità più elevate a completamenti stereotipati.
• Completamento del Testo: I benefici della DP osservati nel punteggio di frase non si sono generalizzati in modo affidabile. Sebbene il modello DP abbia mostrato lacune di pregiudizio più piccole nella considerazione e nella tossicità per alcune demografie, i risultati sono stati misti tra metriche e dataset. Ad esempio, i modelli non-DP hanno talvolta superato il modello DP nelle lacune di pregiudizio legate al sentimento.
• Classificazione Tabulare: Non è stato osservato alcun vantaggio coerente per il modello DP. Le prestazioni di tutti i modelli sono rimaste vicine alla baseline casuale (livello di probabilità), e le metriche di equità sono state fortemente influenzate dalla scelta della strategia di apprendimento in contesto piuttosto che dallo stato di privacy del pre-addestramento del modello. Ciò indica che i modelli base pre-addestrati faticano a estrarre segnali predittivi da dimostrazioni tabulari strutturate tramite ICL.
• Risposta alle Domande: Sul benchmark BBQ, tutti i modelli hanno mostrato un'accuratezza vicina alla baseline casuale e valori SS vicini a 50. Gli autori attribuiscono ciò all'incapacità dei modelli base (privi di fine-tuning con istruzioni) di seguire in modo affidabile il formato del compito a scelta multipla, rendendo inefficace la valutazione del pregiudizio intrinseco tramite questa formulazione basata sulla generazione.

Contributi Chiave

1. Valutazione Unificata: Questo è il primo lavoro a valutare sistematicamente l'effetto del pre-addestramento con privacy differenziale sui pregiudizi sociali nei LLM generativi attraverso quattro paradigmi distinti.
2. Discrepanza dei Paradigmi: Gli autori dimostrano che, sebbene la DP riduca il pregiudizio stereotipato nel punteggio di frase (livello di logit), questo miglioramento non si trasferisce in modo coerente al completamento del testo, alla classificazione tabulare o alla risposta alle domande (livello di output).
3. Sensibilità all'ICL: Lo studio evidenzia che i risultati della classificazione tabulare sono altamente sensibili alle strategie di apprendimento in contesto, limitandone l'utilità per isolare il pregiudizio intrinseco del modello nei modelli base pre-addestrati.
4. Limiti della Valutazione: Il lavoro sottolinea che le conclusioni sui pregiudizi sociali variano sostanzialmente a seconda del paradigma di valutazione, rivelando limiti nell'affidarsi a valutazioni basate su un singolo benchmark.

Significato e Affermazioni
Il paper afferma che la riduzione della memorizzazione tramite DP non riduce necessariamente l'ingiustizia in tutti i contesti. I risultati evidenziano una disconnessione critica: indebolire le associazioni stereotipate a livello di logit non garantisce output equi nella generazione a testo aperto o nei compiti di decisione. Di conseguenza, gli autori sostengono che l'addestramento con preservazione della privacy da solo è insufficiente per garantire output equi del modello. Sottolineano la necessità di una valutazione multi-paradigma quando si valuta l'equità nei LLM, poiché un singolo metodo di valutazione può fornire un quadro incompleto o fuorviante del comportamento di un modello. Lo studio conclude che privacy ed equità potrebbero richiedere interventi fondamentalmente diversi, poiché i meccanismi che riducono la memorizzazione non mitigano uniformemente i pregiudizi sociali su tutti i tipi di compiti.