Riepilogo Tecnico: Sensibilità Morale negli LLM

Enunciato del Problema

Le attuali valutazioni dei pregiudizi per i Modelli Linguistici di Grande Dimensione (LLM) si basano prevalentemente su classificazioni binarie ("pregiudiziale" vs "non pregiudiziale"), che non riescono a catturare la natura graduale e sensibile al contesto di come emerge il pregiudizio. Questa impostazione binaria offusca l'interazione dinamica tra le capacità di ragionamento di base di un modello e le sue politiche di allineamento alla sicurezza. Nello specifico, i modelli spesso mostrano un comportamento neutrale in scenari astratti, ma passano bruscamente a rifiuti guidati dalla sicurezza o a giudizi moralizzati quando vengono introdotti attributi demografici sensibili (ad esempio, razza, genere, status socioeconomico). L'articolo sostiene che questo comportamento mutevole indica che il pregiudizio contestuale non è semplicemente un riflesso di associazioni pre-addestrate, ma una proprietà emergente di interventi di allineamento che sovrascrivono il processo decisionale di base. Inoltre, i benchmark esistenti non spiegano i meccanismi computazionali interni che guidano questi cambiamenti, né tengono conto di come la distillazione dei modelli possa reintrodotre pregiudizi che modelli più grandi avevano imparato a sopprimere.

Metodologia

Lo studio impiega un framework di valutazione in due fasi: Profilazione Comportamentale e Validazione Meccanicistica.

1. Profilazione Comportamentale

• Dataset: Un dataset a sette livelli basato sul "problema del carrello", progettato per aumentare progressivamente la complessità contestuale:
  • Livello 1: Baseline numerica (vite anonime).
  • Livello 2: Età (bambini vs anziani).
  • Livello 3: Responsabilità (colpevolezza causale).
  • Livello 4: Identità sociali protette (razza, genere).
  • Livello 5: Status socioeconomico (ricchezza, povertà).
  • Livello 6: Ingiustizia storica.
  • Livello 7: Proxy sistemici combinati.
• Metrica: Viene introdotto l'Indice di Sensibilità Morale (MSI) come framework quantitativo per misurare l'intensità della sovrascrittura dell'allineamento alla sicurezza di un modello. È definito come $MSI = \alpha B + \beta A + \gamma E$, dove:
  • $B$ (Punteggio di Pregiudizio): Grado di associazione stereotipata.
  • $A$ (Punteggio di Ambiguità): Estensione dell'elusione o dell'incertezza.
  • $E$ (Entropia Semantica): Variabilità nel ragionamento attraverso query ripetute.
  • I coefficienti $\alpha, \beta, \gamma$ sono derivati tramite regressione lineare multipla.
• Modelli Valutati: Quattro modelli principali istruiti (Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5) e sei modelli per l'analisi meccanicistica che coprono tre livelli di capacità: Small Language Models (SLM), Modelli Base istruiti e varianti distillate per il ragionamento.

2. Pipeline di Interpretabilità Meccanicistica

Per tracciare l'emergere interno del pregiudizio, gli autori applicano una pipeline a cinque passaggi a scenari di pregiudizio criminale (un sottoinsieme controllato dei risultati comportamentali):

1. Logit Lens: Sonda gli stati nascosti a ogni livello per tracciare l'evoluzione di $P(\text{Criminale})$ vs $P(\text{Non Criminale})$.
2. Analisi dell'Attenzione: Calcola le teste di attenzione differenziali focalizzate sui token associati al crimine.
3. Patching delle Attivazioni: Intervento causale (ablazione) di teste specifiche per misurare il loro impatto sulla probabilità di output.
4. Analisi della Direzione Semantica: Proiezione dei concetti su una direzione di valenza semantica costruita a partire da lessici positivi/negativi.
5. Ricostruzione del Circuito OV: Analisi dei token promossi dalle matrici Output-Value (OV) delle teste coinvolte.

Risultati Chiave

Risultati Comportamentali: "Personalità Morali" Divergenti

L'analisi MSI rivela strategie di allineamento distinte tra i modelli:

• Claude: Mostra un profilo a "funzione a gradino". Rimane relativamente misurato nei Livelli 1–3, ma subisce una brusca escalation non lineare nei tassi di pregiudizio al Livello 4 (identità protette), raggiungendo il 100% di etichettatura pregiudiziale al Livello 6. Ciò suggerisce una sovrascrittura hard-coded attivata dal linguaggio relativo alle classi protette.
• Qwen: Mostra una strategia di ragionamento "categoria-prima". Raggiunge il picco di ambiguità (33,3%) nei Livelli 2–3 prima di saltare al pregiudizio nel Livello 5 (contesto socioeconomico). Utilizza un'alta diversità linguistica e un vocabolario accademico per navigare la complessità piuttosto che rifiutarsi.
• Gemini: Mostra "scetticismo strutturale". Inizia con un alto tasso di pregiudizio di base (37,5%) già nel Livello 1, mettendo in discussione la premessa utilitaristica stessa. La sua massima certezza di pregiudizio si verifica al Livello 5 (contesto socioeconomico), suggerendo una sensibilità alle disuguaglianze di classe superiore rispetto a razza/genere.
• Tendenza Generale: Le disuguaglianze socioeconomiche e geografiche (Livello 5) agiscono come potenti trigger morali, spesso sovrascrivendo la logica utilitaristica più fortemente di altri fattori.

Risultati Meccanicistici: La Curva a U del Pregiudizio

Lo studio identifica una "curva a U" non monotona nel pregiudizio delle etichette criminali attraverso le capacità dei modelli:

1. SLM (3–4B): Mostrano un forte pregiudizio criminale (ad esempio, Llama 3.2 3B assegna una probabilità del 87,3% all'opzione "Criminale").
2. Modelli Base (7–8B): I modelli base istruiti sopprimono con successo questo pregiudizio (ad esempio, Llama 3.1 8B scende allo 0,8%).
3. Modelli Distillati (7–8B): La distillazione del ragionamento reintroduce il pregiudizio a livelli comparabili o superiori a quelli degli SLM (ad esempio, Distill-Qwen-7B torna al 95,7%).

Meccanismi Interni della Curva a U:

• Emergenza: Nei modelli distillati, la preferenza per l'etichetta "Criminale" emerge prima nella rete (ad esempio, Livello 4 in Distill-Llama-8B contro Livello 8 in Base-Llama) ed è più fortemente impegnata.
• Riorganizzazione dell'Attenzione: La distillazione ristruttura i pattern di attenzione, concentrando le teste focalizzate sul crimine in posizioni specifiche iniziali o finali, piuttosto che nei pattern ampiamente distribuiti osservati nei modelli base.
• Concentrazione Causale: Gli studi di ablazione mostrano che i modelli distillati si affidano a un numero minore di teste altamente causali per guidare il pregiudizio. Ad esempio, l'ablazione della testa principale in Distill-Llama-8B ha una dimensione dell'effetto quasi tre volte superiore a quella del modello base.
• Compressione Semantica: La distillazione comprime la distanza semantica tra concetti demografici neutri e l'ancora "Criminale". Nella famiglia Qwen, concetti neutri come "Scienziato" e "Cittadino" attraversano lo spazio di valenza criminale positiva nei modelli distillati, mentre rimangono distinti nei modelli base.
• Contenuto Lessicale: La ricostruzione del circuito OV rivela che le teste nei modelli distillati scrivono contenuti lessicali esplicitamente negativi (ad esempio, "sporco", "senza valore"), mentre le teste dei modelli base promuovono token neutri o incoerenti.

Significato e Affermazioni

L'articolo afferma di fornire il primo framework unificato che collega i cambiamenti comportamentali osservabili nel ragionamento morale ai loro circuiti computazionali sottostanti. I suoi contributi principali sono:

1. Quantificazione del Pregiudizio Contestuale: Il framework MSI supera la valutazione binaria, identificando specifici "punti di rottura morali" in cui i modelli abbandonano la logica per risposte guidate dalla sicurezza.
2. Scoperta del Paradosso della Distillazione: Lo studio fornisce prove empiriche che il processo di "distillare" i modelli per migliorare l'efficienza reintroduce effettivamente pregiudizi che modelli base più grandi avevano imparato con successo a evitare. Ciò suggerisce che la distillazione comprime le tracce di ragionamento in modi che riattivano associazioni statistiche superficiali e degradano le rappresentazioni interne rilevanti per la sicurezza.
3. Spiegazione Meccanicistica: La ricerca identifica che la reintroduzione del pregiudizio non è semplicemente un artefatto comportamentale, ma è radicata in strutture di attenzione riorganizzate, teste causali concentrate e geometrie semantiche compresse.
4. Rilevanza Normativa: Gli autori sostengono che questi risultati rendono necessari audit post-distillazione. Con le imminenti normative come l'AI Act dell'UE e l'AI Act del Colorado che richiedono esami documentati dei pregiudizi, l'articolo offre un protocollo graduato e fondato meccanicisticamente per valutare sistemi ad alto rischio.

Lo studio conclude che gli attuali obiettivi di distillazione, che ottimizzano la fedeltà dell'output, non riescono a preservare le rappresentazioni interne rilevanti per la sicurezza, evidenziando una lacuna critica nell'allineamento dei modelli distillati ed efficienti.