Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

Immagina di aver costruito un robot super intelligente capace di scrivere storie, risolvere problemi di matematica e chiacchierare di qualsiasi cosa. Ma c'è un intoppo: devi assicurarti che non aiuti accidentalmente qualcuno a costruire una bomba o a scrivere una lettera cattiva. Questo è il mondo dei Large Language Models (LLM), i cervelli artificiali dietro molti dei chatbot che usiamo oggi. Per mantenerli sicuri, gli ingegneri li "allineano", insegnando loro a dire "No" alle richieste pericolose. Per molto tempo, gli scienziati hanno pensato che questa "sicurezza" fosse come una nebbia morbida e invisibile diffusa uniformemente in tutto il cervello del robot. Se avessi modificato una parte del cervello, la sicurezza avrebbe potuto oscillare un po', ma sarebbe rimasta sostanzialmente la stessa. Tuttavia, nel mondo reale, questi scudi di sicurezza sono sorprendentemente fragili. Un trucco astuto o un piccolo cambiamento possono talvolta far dimenticare al robot le sue regole. Questo solleva un grande, affascinante mistero: dove si nasconde esattamente il pulsante "No" dentro il cervello del robot? È sparso ovunque, o è rintanato in un angolo specifico e minuscolo?

Un team di ricercatori ha deciso di giocare il ruolo del detective per risolvere questo mistero. Invece di limitarsi a indovinare, hanno tentato un esperimento folle: il trapianto di pesi. Immagina di avere due robot identici. Uno è il "Robot Buono" (allineato alla sicurezza), e l'altro è il "Robot Non Allineato" (la versione originale, non allineata). I ricercatori hanno iniziato a scambiare parti del cervello del Robot Buono con quelle del Robot Non Allineato, pezzo per pezzo, per vedere quali parti portassero effettivamente il potere del "rifiuto". Non hanno solo scambiato interi cervelli; hanno scambiato tipi specifici di connessioni, come le parti che si concentrano sulle parole (attenzione) rispetto a quelle che elaborano e pensano (livelli MLP).

Ecco cosa hanno scoperto, ed è un po' come scoprire che il "No" del robot non è un intero team di guardie, ma una squadra di specialisti molto specifica e minuta:

1. Le parti che "pensano" fanno il lavoro pesante
I ricercatori si aspettavano che le parti del cervello che si concentrano sul contesto (chiamate pesi dell'attenzione) potessero essere le principali guardie della sicurezza. Ma si sbagliavano! Quando hanno scambiato solo le parti "pensanti" (chiamate pesi MLP) del Robot Buono con quelle del Non Allineato, il Robot Non Allineato ha iniziato improvvisamente a rifiutare le richieste scorrette almeno 2,7 volte più spesso rispetto a quando avevano scambiato le parti di "concentrazione". Si scopre che il "No" della sicurezza è codificato principalmente nei livelli MLP, ovvero le parti della rete che effettivamente elaborano e trasformano le informazioni.

2. Il "Centro" è la zona magica
Ma non si tratta di una parte pensante qualsiasi. I ricerci hanno scoperto che il segnale di sicurezza è concentrato in una sezione centrale molto specifica. Nei modelli testati, il potere di "rifiuto" più forte è stato trovato nel Blocco 3, che corrisponde ai livelli da 8 a 11. Se guardate il cervello del robot come un edificio di 28 piani, le guardie della sicurezza vivono principalmente all'ottavo e all'undicesimo piano. Quando hanno scambiato solo questi piani specifici, il robot è diventato molto più bravo a dire "No".

3. Più non è sempre meglio (L'effetto "Goldilocks")
Ecco il colpo di scena che rende la storia ancora più interessante. I ricercatori pensavano che se un blocco di sicurezza era buono, allora scambiare tutti i blocchi di sicurezza sarebbe stato perfetto. Ma non è stato così! In molti casi, aggiungere più blocchi allineati rendeva il robot peggiore nel rifiutare le richieste scorrette. È come avere un team di guardie giurate: se ne porti troppe, potrebbero iniziare a inciampare l'una nell'altra o a litigare, e la sicurezza cala effettivamente. I ricercatori hanno scoperto che un mix selettivo di soli sei blocchi spesso funzionava meglio rispetto allo scambio dell'intero sistema di sicurezza. A volte, aggiungere un settimo blocco riduceva l'abilità del robot di dire "No".

4. La trappola del "Sovra-rifiuto"
C'è un altro intoppo. Le stesse parti che spingono il robot a dire "No" alle richieste cattive lo portano anche a dire "No" a quelle innocue. Questo è chiamato sovra-rifiuto (over-refusal). Quando i ricercatori hanno scambiato i pesi MLP, il robot è diventato bravissimo a fermare i cattivi, ma ha iniziato anche a rifiutare di rispondere a domande innocenti come "Che tempo fa?" o "Raccontami una barzelletta". Ciò suggerisce che il meccanismo di sicurezza è un po' uno strumento rozzo; è difficile separare il segnale "ferma le cose cattive" dal segnale "ferma tutto" solo scambiando le parti.

Perché questo è importante?
Questa scoperta suggerisce che la sicurezza nell'IA non è uno scudo gigante e indistruttibile diffuso in tutta la rete. Al contrario, è una caratteristica localizzata e fragile, concentrata in pochi livelli specifici. Questo spiega perché la sicurezza dell'IA possa essere così fragile: se accidentalmente si modifica o si rimuovono quei livelli specifici (livelli 8–11), l'intero sistema di sicurezza può crollare. Significa anche che, se vogliamo migliorare la sicurezza dell'IA in futuro, non abbiamo bisogno di riaddestrare l'intero robot. Potremmo semplicemente dover regolare o proteggere con cura quei livelli centrali specifici.

I ricercatori non hanno trovato una soluzione magica che risolva tutti i problemi di sicurezza. Hanno scoperto che la sicurezza è sensibile all'interazione, il che significa che le parti del cervello lavorano insieme in modi complessi e non si può semplicemente iniettare più parti di sicurezza e aspettarsi un risultato migliore. Ma individuando esattamente dove risiede il "No", ci hanno fornito una mappa per capire perché l'IA a volte fallisce e come potremmo costruire sistemi di sicurezza migliori e più robusti in futuro. È un promemoria del fatto che, anche nel vasto e complesso mondo dell'IA, le cose più importanti spesso accadono nel mezzo.