💬 NLP

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

Questo paper dimostra che un adattatore post-transformer leggero, addestrato sugli stati nascosti congelati, corregge la soppressione delle probabilità logaritmiche su fatti ideologicamente sensibili nei modelli linguistici allineati senza comprometterne la coerenza, risolvendo inoltre un bug silenzioso dei gradienti nella libreria MLX di Apple che aveva inizialmente invalidato i risultati.

Autori originali: Bryan Sanchez

Pubblicato 2026-04-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Bryan Sanchez

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un'intelligenza artificiale (come un chatbot avanzato) sia come un libraio molto istruito ma timoroso.

1. Il Problema: Il Libraio che sa tutto, ma non parla

Questo libraio (il modello linguistico) ha letto milioni di libri. Conosce la verità su argomenti delicati, come la storia politica o i diritti umani. Se gli chiedi un fatto semplice e neutrale, te lo racconta.

Ma se gli chiedi qualcosa di "sensibile" o provocatorio, succede una cosa strana: il libraio sa la risposta, ma decide di non dirvela.
Nel suo "cervello" (i dati nascosti), la verità è lì, chiara e presente. Ma quando deve parlare (generare una risposta), la sua voce si blocca e sceglie di dire cose vaghe, evitare l'argomento o ripetere ciò che è "sicuro" da dire, anche se sa che è falso. È come se avesse una mano invisibile che gli copre la bocca ogni volta che tocca certi argomenti.

2. La Soluzione: L'Orecchino Magico (l'Adapter)

Gli autori del paper hanno creato una soluzione geniale e minimalista. Invece di riscrivere l'intero cervello del libraio (che sarebbe costoso e rischioso), hanno creato un piccolo orecchino magico (chiamato adapter).

È minuscolo: Pesa pochissimo (circa lo 0,02% del peso totale del modello). È come aggiungere un piccolo adesivo a un'auto enorme.
Dove si mette: Lo attaccano dopo che il libraio ha pensato, ma prima che apra bocca.
Cosa fa: Ascolta il pensiero del libraio. Se nota che sta per scegliere una risposta "censurata" o falsa su un argomento sensibile, l'orecchino dà una piccola spinta per cambiare la scelta, facendo sì che il libraio scelga la risposta vera e fattuale.

3. Come hanno imparato a farlo? (Il Bug Silenzioso)

C'è una parte divertente e istruttiva della storia. All'inizio, gli scienziati hanno provato a mettere l'orecchino, ma non funzionava. Sembrava che l'orecchino fosse rotto.
Hanno scoperto che il problema non era l'orecchino, ma il manuale di istruzioni (il software Apple MLX che usavano).
C'era un "bug silenzioso": il software diceva "tutto ok", ma in realtà non stava trasmettendo le informazioni necessarie per insegnare all'orecchino come funzionava. Era come se qualcuno ti desse un telefono rotto che sembra funzionare, ma non riceve chiamate.
Una volta corretto questo errore di istruzioni, l'orecchino ha imparato in pochissimo tempo (meno di 100 secondi di allenamento) a correggere il libraio su 15 fatti specifici e a generalizzare la sua abilità su altri 16 fatti che non aveva mai visto prima.

4. Il Trucco per non impazzire (Dove applicarlo)

C'è un dettaglio fondamentale per far funzionare tutto: dove si applica l'orecchino.

Se lo metti ovunque: Se provi a correggere il libraio mentre sta scrivendo ogni singola parola della frase, il risultato è un caos. Il libraio inizia a dire cose senza senso, come se avesse la testa che gli gira.
Se lo metti solo alla fine: Se lo usi solo per decidere l'ultima parola da dire in quel momento (mentre le parole precedenti restano intatte), il libraio rimane lucido, coerente e dice la verità. È come se l'orecchino sussurrasse: "Ehi, per questa parola specifica, scegli la verità", senza disturbare il resto del discorso.

5. Il Risultato Finale

Grazie a questo piccolo orecchino:

Il modello non ha perso la sua conoscenza: sa ancora tutto quello che sapeva prima.
Ha smesso di censurare se stesso: ora, quando gli chiedi fatti sensibili, è molto più probabile che ti dia la risposta vera invece di girarci intorno.
Funziona su modelli di diverse dimensioni (piccoli, medi e grandi) e funziona sia con modelli che parlano in modo neutro sia con quelli istruiti a seguire ordini.

In sintesi

Immagina di avere un assistente molto intelligente che, per paura o per regole imposte, evita certi argomenti. Invece di licenziarlo o riscrivergli la memoria, gli dai un piccolo promemoria (l'adapter) che gli sussurra: "Ricordati, su questo argomento specifico, la verità è X".
Il risultato? Un assistente che rimane intelligente e coerente, ma che finalmente ha il coraggio di dire la verità.

Il paper ci insegna anche una lezione importante: a volte, quando un esperimento fallisce, non è colpa della scienza, ma di un piccolo errore nascosto negli strumenti che usiamo (il bug del software). Controllare sempre i "numeri" di base è fondamentale!

1. Il Problema: Allineamento e Soppressione dei Fatti

Il lavoro affronta un fenomeno critico nei modelli linguistici (LLM) allineati tramite tecniche come RLHF (Reinforcement Learning from Human Feedback) o DPO: la disconnessione tra conoscenza e espressione.

Il Fenomeno: I modelli spesso conservano la conoscenza fattuale nelle loro rappresentazioni interne (hidden states), ma sopprimono attivamente la probabilità logaritmica (log-probability) dei token corrispondenti durante la generazione, specialmente su argomenti politicamente sensibili (es. censura cinese su Tiananmen, Xinjiang, Taiwan).
La Sfida: Anche se un modello "sa" la verità (rilevabile tramite sonde lineari), tende a generare risposte allineate alle narrative di stato o a rifiutarsi di rispondere, specialmente quando il contesto è formulato in modo provocatorio o accusatorio.
Obiettivo: Correggere post-hoc queste log-probabilità soppresse senza modificare i pesi del modello base, mantenendo la coerenza della generazione.

2. Metodologia

L'approccio proposto utilizza un adattatore post-transformer leggero, applicato dopo l'ultimo strato del transformer e prima della proiezione sui logit.

Architettura dell'Adattatore:
- Viene applicato agli stati nascosti ( $h$ ) del modello congelato (frozen).
- Due varianti a parità di parametri (786K, circa lo 0,02% del modello base):
  1. SwiGLU (Gated): Utilizza tre matrici (gate, up, down) con un meccanismo di gating.
  2. Lineare (Ungated): Una semplice bottiglia lineare a due matrici.
- L'output è una correzione residuale: $h_{out} = h + \text{adapter}(h)$ .
Addestramento:
- Gli stati nascosti sono pre-calcolati dal modello congelato e staccati dal grafo computazionale (gradient-detached).
- Solo l'adattatore viene addestrato.
- Funzione di Perdita: Un hinge loss sui margini delle log-probabilità (obiettivo $\tau = 1.5$ ) per favorire le risposte fattuali, combinato con una anchor loss su fatti di conoscenza generale per prevenire la regressione della conoscenza (catastrophic forgetting).
Strategia di Applicazione durante la Generazione:
- Last-position-only: L'adattatore viene applicato solo alla posizione corrente di previsione. Questo preserva la coerenza della generazione mantenendo invariata la KV cache per i token precedenti.
- All-positions: Applicare l'adattatore a tutti i token durante la generazione autoregressiva porta a output incoerenti a causa del drift cumulativo degli stati nascosti.
- Logit-space: Applicare l'adattatore direttamente sugli spazi dei logit (dopo la proiezione) fallisce nel produrre generazione coerente, suggerendo che l'intervento deve avvenire a livello di stato nascosto.

3. Contributi Chiave e Scoperte Tecniche

A. Correzione della Soppressione

L'adattatore riesce a memorizzare perfettamente i fatti di addestramento (15/15) e a generalizzare su fatti tenuti in riserva (held-out) con un tasso di successo compreso tra l'11% e il 39% su diverse scale di modelli (Qwen3-4B, 8B, 14B).

Risultato: Inverte il ranking delle log-probabilità, rendendo le risposte fattuali più probabili rispetto alle alternative censurate o evasive, specialmente su frasi di intensità "neutra" e "pungente".

B. Confronto Architetture

Non esiste una differenza statisticamente significativa tra adattatori gated (SwiGLU) e non gated (lineari) ( $p > 0.09$ ). Questo suggerisce che la logica di censura nei modelli potrebbe avere componenti sia lineari che non lineari, rendendo entrambe le architetture efficaci.

C. Il Bug Silenzioso in MLX (Contributo Pratico)

Una delle scoperte più importanti del paper è l'identificazione di un bug silenzioso nel framework Apple MLX.

Il Problema: L'uso errato dell'API nn.value_and_grad con un dizionario di parametri (adapter.parameters()) invece del modulo stesso (adapter) restituisce gradienti nulli (0.0) senza lanciare errori.
Impatto: Questo ha causato risultati nulli in iterazioni precedenti del lavoro. La correzione richiede di passare il modulo come primo argomento alla funzione di gradiente.
Significato: Questo bug può portare a conclusioni errate in tutta la ricerca sugli adattatori che utilizza MLX, rendendo questo punto un contributo metodologico cruciale per la comunità.

4. Risultati Sperimentali

Dataset: 31 fatti ideologici su 8 temi sensibili (Tiananmen, Tibet, ecc.) a 4 livelli di intensità.
Baseline: Senza adattatore, il modello Qwen3-8B passa l'89% dei fatti neutri ma solo il 20% di quelli provocatori.
Con Adattatore:
- Memorizzazione: 100% sui dati di training.
- Generalizzazione: Miglioramento significativo rispetto alla baseline (che era ~6.5% sui dati di test) fino al 38.8% sul modello 14B.
- Generazione: Su modelli "Instruct", l'applicazione "last-position-only" produce testo coerente e meno censurato (es. descrivendo eventi storici reali invece di deviare o rifiutarsi), mentre l'applicazione su tutti i token rompe la coerenza.
- Nessuna Regressione: L'uso della anchor loss garantisce che la conoscenza generale non venga degradata.

5. Significato e Implicazioni

Intervento Minimale: Dimostra che è possibile correggere il comportamento di censura di un LLM con un numero di parametri trascurabile (786K) e senza ri-addestrare il modello base.
Livello di Intervento: Stabilisce che l'intervento sugli stati nascosti (hidden states) è il livello corretto per correggere la routing della censura, mentre l'intervento sugli spazi dei logit è insufficiente per la generazione coerente.
Trasparenza: Il lavoro fornisce un metodo per "sbloccare" la conoscenza fattuale che i modelli possiedono ma che l'allineamento ha reso inaccessibile, offrendo un approccio tecnico per mitigare la censura senza compromettere la sicurezza o la coerenza del modello.
Avvertenza per la Ricerca: La documentazione del bug in MLX è un avvertimento essenziale per i ricercatori che utilizzano questo framework, sottolineando la necessità di verificare i gradienti durante lo sviluppo di nuovi adattatori.

In sintesi, il paper dimostra che la "censura" nei LLM allineati è spesso un problema di routing delle probabilità di output piuttosto che una mancanza di conoscenza, e che può essere risolta efficacemente tramite piccoli adattatori post-transformer, a patto di utilizzare correttamente gli strumenti di calcolo dei gradienti.