💬 NLP

Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

Questo articolo dimostra che l'effetto Knobe, un pregiudizio morale nei giudizi di intenzionalità, emerge nei grandi modelli linguistici sottoposti a fine-tuning, ma può essere localizzato in strati specifici e mitigato attraverso interventi mirati di layer-patching senza necessità di riaddestramento.

Autori originali: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Pubblicato 2026-07-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come essere un buon giudice. Non gli dai solo un libro di regole; gli mostri migliaia di storie su persone che prendono decisioni e gli chiedi: "Quella persona si è comportata bene o male?". Col tempo, il robot impara degli schemi. Ma ecco la parte complicata: gli esseri umani non sono giudici perfetti. Spesso abbiamo dei pregiudizi nascosti. Per esempio, se una persona causa accidentalmente un risultato negativo, siamo molto più propensi a dire: "Voleva farlo apposta!", rispetto a quando causa accidentalmente un risultato positivo. Questo è un celebre vizio psicologico chiamato "effetto Knobe". È come se i nostri cervelli avessero un filtro integrato che ci fa pensare che i brutti incidenti fossero intenzionali, mentre i buoni incidenti fossero solo fortuna.

Gli scienziati sono preoccupati che, se insegniamo ai robot ad agire come noi, potrebbero acquisire questi stessi filtri strani. Se un robot prende decisioni morali per noi, dobbiamo sapere: pensa come un essere umano o è solo un gigantesco calcolatore? È qui che entra in gioco l' "interpretabilità meccanicistica". Pensa al cervello di un enorme robot come a una città gigantesca con milioni di piccoli lavoratori (neuroni) che si scambiano bigliettini. L'interpretabilità meccanicistica è come indossare occhiali a raggi X per vedere esattamente quali lavoratori stanno passando quali biglietti. Invece di limitarsi a indovinare perché il robot ha dato una certa risposta, possiamo sbirciare dentro la macchina per vedere gli ingranaggi specifici che girano. Questo è importante perché, se riusciamo a trovare esattamente dove vive un pregiudizio all'interno del robot, forse possiamo riparare proprio quell'ingranaggio senza dover ricostruire l'intera città.

I ricercatori in questo articolo hanno deciso di mettere alla prova questa idea. Volevano vedere se i popolari modelli di IA (nello specifico Llama, Mistral e Gemma) avessero acquisito l' "effetto Knobe" e, se sì, se avrebbero potuto trovare il punto esatto nel cervello dell'IA in cui questo pregiudizio si nascondeva. Hanno iniziato testando i modelli di IA sulle stesse storie morali usate con i volontari umani. Hanno scoperto che i modelli di IA "grezzi" (raw), che non erano ancora stati istruiti per parlare come gli umani, non mostravano realmente questo pregiudizio. Le loro risposte erano piuttosto equilibrate. Tuttavia, una volta che i ricercatori li hanno "affinati" (finetuning) — addestrandoli a seguire le istruzioni e ad allinearsi alle preferenze umane — il pregiudizio è apparso improvvisamente. L'IA ha iniziato ad agire proprio come noi: era molto più propensa a dire che un esito negativo era intenzionale rispetto a uno positivo.

Ma la vera magia è accaduta quando hanno guardato dentro la macchina. Usando una tecnica chiamata "Layer-Patching", i ricercatori hanno trattato l'IA come un insieme di strati sovrapposti, come i piani di un grattacielo. Sospettavano che il pregiudizio non fosse sparso ovunque, ma fosse bloccato in un set specifico di piani. Per testare questo, hanno preso i "pensieri" (attivazioni) del modello grezzo e imparziale e li hanno scambiati con quelli del modello affinato e influenzato, un piano alla volta. Era come prendere una planimetria pulita e imparziale e incollarla sopra un piano specifico di un edificio corrotto per vedere se l'intera struttura tornava a essere onesta.

I risultati sono stati sorprendentemente precisi. Hanno scoperto che il pregiudizio non era sparso casualmente; era localizzato nei livelli medi-superiori del cervello dell'IA. Ancora più eccitante, hanno scoperto che scambiare anche un solo strato specifico della versione imparziale nel modello influenzato era sufficiente per cancellare quasi completamente l'effetto Knobe. Per alcuni modelli, il pregiudizio è sceso da una forte differenza di 1,6 o 3,8 a quasi zero (0,00 o 0,03). E la cosa migliore? Lo hanno fatto senza riaddestrare il modello o modificarne i pesi. È stata una riparazione chirurgica. Hanno anche controllato che questa "chirurgia" non rompesse la capacità del robot di fare altre cose, come rispondere a domande generali, e hanno scoperto che i modelli rimanevano altrettanto intelligenti di prima.

L'articolo suggerisce che questi pregiudizi sociali non sono una sorta di magia misteriosa e irrisolvibile che emerge dall'intero sistema. Al contrario, sono schemi specifici e localizzati che vengono scritti nel cervello dell'IA durante il processo di addestramento in cui cerchiamo di farle agire come un essere umano. Usando questi occhiali a raggi X e scambi chirurgici, i ricercatori hanno dimostrato che possiamo individuare questi pregiudizi e rimuoverli con interventi mirati, mantenendo l'IA utile senza i suoi indesiderati tic umani.

Sintesi Tecnica: Analisi del Bias Morale nei Modelli LLM Fine-tuned attraverso l'Interpretabilità Meccanicistica

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato la capacità di interiorizzare bias simili a quelli umani durante il processo di fine-tuning, eppure i meccanismi specifici attraverso i quali questi bias si manifestano all'interno dell'architettura del modello rimangono poco chiari. Mentre gli studi comportamentali confermano che gli LLM possono riprodurre bias cognitivi come l'effetto Knobe — un fenomeno in cui gli individui sono più propensi a giudicare un'azione come intenzionale quando essa conduce a un effetto collaterale negativo rispetto a uno positivo, pur con intenzioni identiche — la rappresentazione interna di questo bias non è ancora ben compresa.

Il documento affronta tre domande di ricerca primarie:

RQ1: Gli LLM esibiscono l'effetto Knobe, e in che misura questo è una conseguenza del fine-tuning rispetto al pretraining?
RQ2: Esistono specifici layer Transformer responsabili della codifica di questo bias morale?
RQ3: Interventi mirati, specificamente il Layer-Patching, possono mitigare o eliminare questo bias senza il retraining del modello?

Metodologia

Modelli e Dati

Lo studio ha valutato tre famiglie di LLM open-weights: Llama-3 (nello specifico varianti 8B e 1B), Mistral (7B) e Gemma (9B, 2B e 27B), analizzando sia le versioni pretrainate ( $M_p$ ) che quelle istruite/fine-tuned ( $M_f$ ).

Il dataset consisteva in 80 scenari morali adattati da Ngo et al. [27], derivati dagli studi originali sull'effetto Knobe. Ogni scenario presentava un agente che compiva un'azione con un effetto collaterale noto (positivo o negativo) ma senza curarsi dell'esito. Il modello veniva sollecitato ad assegnare un punteggio di intenzionalità da 0 (non intenzionale) a 10 (completamente intenzionale).

Per simulare la variabilità della risposta umana ed evitare output deterministici, gli autori hanno impiegato un campionamento stocastico con un seed fisso ma con temperatura randomizzata ( $T \sim U[0.85, 1.15]$ ) su 283 generazioni per modello per ogni scenario.

Design Sperimentale

Analisi Comportamentale (RQ1): Gli autori hanno calcolato la dimensione dell'effetto Knobe ( $\Delta_{Knobe}$ ) come la differenza tra i punteggi medi di intenzionalità per le condizioni negative ( $\mu_{neg}$ ) e positive ( $\mu_{pos}$ ). La significatività statistica è stata valutata tramite un'ANOVA a misure ripetute.
Localizzazione Meccanicistica (RQ2): Utilizzando la libreria TransformerLens, gli autori hanno estratto le attivazioni del residual stream da ogni layer. Hanno calcolato la differenza assoluta nelle attivazioni medie tra gli scenari negativi e positivi ( $\delta_l$ ) per ogni layer $l$ . Confrontando queste differenze tra i modelli pretrainati e quelli fine-tuned, hanno identificato i layer in cui il bias viene codificato.
Intervento tramite Layer-Patching (RQ3): Gli autori hanno implementato un algoritmo di Layer-Patching. Per un determinato layer $l$ nel modello fine-tuned, le attivazioni residue venivano sostituite con le attivazioni corrispondenti del modello pretrainato durante l'inferenza. Il passaggio in avanti (forward pass) continuava utilizzando queste attivazioni patchate. Questo processo è stato ripetuto per ogni layer per determinare quale layer specifico, una volta "privo di bias", riducesse più efficacemente il $\Delta_{Knobe}$ .

Risultati Chiave

1. Emergenza del Bias tramite Fine-tuning (RQ1)

Modelli Pretrained: Hanno mostrato un effetto Knobe trascurabile o nullo. Le distribuzioni dei punteggi di intenzionalità per gli scenari negativi e positivi erano ampiamente sovrapponibili, indicando che i modelli base non possiedono intrinsecamente questa specifica asimmetria morale.
Modelli Fine-tuned: Hanno esibito un effetto Knobe significativo e sistematico. Tutti i modelli fine-tuned assegnavano punteggi di intenzionalità più elevati agli effetti collaterali negativi rispetto a quelli positivi.
Magnitudo: L'effetto è stato più pronunciato in Gemma-2-9B ( $\Delta_{Knobe} = 3.83$ ), seguito da Mistral-7B ($1.67$) e Llama-3.1-8B ($1.60$).
Confronto con gli Esseri Umani: La magnitudo del bias nei modelli fine-tuned si è avvicinata o ha superato i baseline comportamentali umani (umano $\Delta_{Knobe} \approx 3.15$ ), suggerendo che le procedure di allineamento possono amplificare i bias cognitivi umani.

2. Localizzazione del Bias (RQ2)

Specificità del Layer: Il bias non era distribuito in modo diffuso. Le differenze di attivazione tra le condizioni morali erano minime nei modelli pretrainati, ma sono diventate altamente localizzate nei layer Transformer medi o tardivi nei modelli fine-tuned.
Interpretazione: Ciò suggerisce che, mentre il pretraining cattura co-occorrenze statistiche, il processo di fine-tuning (specificamente l'instruction tuning) introduce un'asimmetria valutativa strutturata, codificata nei layer superiori, semanticamente ricchi, dell'architettura.

3. Mitigazione tramite Layer-Patching (RQ3)

Efficacia: Sostituire le attivazioni in un singolo layer critico con quelle del modello pretrainato è stato sufficiente per quasi eliminare l'effetto Knobe.
- Llama-3.1-8B: $\Delta_{Knobe}$ ridotto da 1.60 a 0.00.
- Mistral-7B: $\Delta_{Knobe}$ ridotto da 1.67 a 0.00.
- Gemma-2-9B: $\Delta_{Knobe}$ ridotto da 3.83 a 0.03.
Preservazione dell'Utilità: L'intervento non ha richiesto un nuovo addestramento. La valutazione su benchmark standard (ARC-Easy, HellaSwag, MMLU, TruthfulQA) ha mostrato che i modelli patchati mantenevano livelli di performance comparabili ai baseline fine-tuned, con solo lievi regressioni (~1%).

4. Studio di Ablazione: Scala del Modello

Lo studio ha esaminato modelli più piccoli (1B, 2B) e più grandi (27B).

Consistenza: Il pattern è rimasto costante in tutte le scale: i modelli pretrainati non mostravano un bias significativo, mentre i modelli fine-tuned esibivano l'effetto Knobe.
Scaling: La magnitudo assoluta del bias aumentava con la dimensione del modello (ad esempio, Gemma-2-27B ha mostrato un $\Delta_{Knobe}$ di 6.07), suggerendo che i modelli più grandi interiorizzano e amplificano più fortemente questi costrutti morali astratti quando vengono allineati.

Significato e Rivendicazioni

Il documento afferma che i bias sociali negli LLM non sono semplicemente proprietà emergenti e diffuse dell'intero network, ma possono essere meccanicamente localizzati a specifici sottocomponenti funzionali (layer specifici).

I contributi chiave includono:

Attribuzione Causale: Dimostrare che l'effetto Knobe è indotto principalmente dal processo di fine-tuning/allineamento piuttosto che dai dati di pretraining da soli.
Modularità del Bias: Mostrare che i bias morali operano come computazioni modulari all'interno dell'architettura Transformer, specificamente nei layer medi-tardivi.
Mitigazione Pratica: Provare che il Layer-Patching offre un metodo chirurgico e post-hoc per rimuovere specifici bias morali senza il costo computazionale del retraining e senza una degradazione catastrofica delle capacità generali.

Gli autori concludono che questo lavoro unisce interpretabilità e fairness, suggerendo che interventi mirati possono controllare l'emergere di bias cognitivi simili a quelli umani negli LLM, offrendo una via per un deployment più responsabile di questi modelli nei compiti di ragionamento etico.