💬 NLP

MoRFI: Monotonic Sparse Autoencoder Feature Identification

Questo articolo introduce MoRFI, un metodo che utilizza autoencoder sparsi per identificare direzioni latenti nei grandi modelli linguistici che correlano monotonicamente con le allucinazioni durante il fine-tuning su nuove conoscenze, dimostrando che queste specifiche caratteristiche possono essere intervenute per recuperare la capacità del modello di recuperare le conoscenze memorizzate.

Autori originali: Dimitris Dimakopoulos, Shay B. Cohen, Ioannis Konstas

Pubblicato 2026-04-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dimitris Dimakopoulos, Shay B. Cohen, Ioannis Konstas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Large Language Model (LLM) come uno studente brillante che ha passato anni a leggere una massiccia biblioteca di libri (pre-addestramento). Questo studente ha memorizzato un'enorme quantità di fatti. Tuttavia, quando gli chiediamo di imparare un nuovo, specifico insieme di fatti in seguito (fine-tuning), accade qualcosa di strano: se i nuovi fatti sono completamente sconosciuti allo studente, inizia a "allucinare". Inizia a inventare risposte con sicurezza, anche per i vecchi fatti che conosceva perfettamente.

Questo documento, MoRFI, indaga perché ciò accade nel cervello dello studente e come risolverlo senza dovergli insegnare tutto di nuovo.

Il Problema: Il Glitch della "Nuova Conoscenza"

Pensa al cervello dello studente come a una gigantesca e complessa sala di controllo piena di migliaia di interruttori a luce (questi sono chiamati caratteristiche latenti). Quando lo studente impara cose nuove, aziona alcuni interruttori. I ricercatori hanno scoperto che quando costringono lo studente a imparare molti nuovi fatti che non conosceva prima, un insieme specifico di interruttori rimane bloccato in posizione "ON".

Questi interruttori bloccati agiscono come un rumore forte o una distrazione. Coprono i segnali quieti e costanti di cui lo studente ha bisogno per richiamare le sue vecchie, affidabili conoscenze. Più nuovi fatti sconosciuti tenta di accumulare, e più a lungo studia, più forte diventa questo rumore, e peggio diventa nel rispondere a domande su ciò che già sapeva.

La Soluzione: MoRFI (Il Detective)

I ricercatori hanno costruito uno strumento chiamato MoRFI (Identificazione delle Caratteristiche a Relazione Monotona). Immagina MoRFI come un detective super-intelligente con un paio di occhiali speciali.

L'Indagine: Il detective osserva la sala di controllo dello studente mentre impara. Cerca interruttori che si comportano in un modo molto specifico: man mano che allo studente vengono forniti sempre più fatti "sconosciuti", questi specifici interruttori diventano sempre più luminosi (o più spenti) in una linea costante e prevedibile.
Il Filtro: La maggior parte degli interruttori semplicemente sfarfalla in modo casuale. MoRFI li ignora. Si interessa solo degli interruttori che cambiano in modo monotono—il che significa che cambiano in una direzione coerente mentre aumenta la nuova conoscenza.
La Scoperta: Tracciando questi specifici interruttori attraverso diversi modelli (come Llama, Gemma e Mistral), il detective ha trovato un piccolo gruppo sparso di essi che è direttamente responsabile del "rumore delle allucinazioni".

La Soluzione: Riattivare gli Interruttori

Una volta che il detective identifica questi interruttori "teppisti", i ricercatori hanno provato un semplice esperimento: Steering (Guida).

Invece di riaddestrare lo studente, hanno fisicamente raggiunto la sala di controllo e riattivato quegli specifici interruttori al loro stato originale (o li hanno attivati nella direzione opposta).

Il Risultato: Ha funzionato come per magia. Aggiustando solo questi pochi interruttori, lo studente ha improvvisamente ricordato di nuovo i suoi vecchi fatti.
L'Analogia: È come una radio che ha captato troppo statico da una nuova stazione. Invece di ricostruire la radio, giri semplicemente il selettore leggermente per annullare la frequenza del statico. La musica (la vecchia conoscenza) torna chiara.

Risultati Chiave in Lingua Semplice

Non è Cancellazione, è Blocco: Lo studio ha scoperto che lo studente non ha effettivamente dimenticato i vecchi fatti. I fatti erano ancora lì, ma il "rumore" del nuovo apprendimento stava bloccando il percorso per recuperarli. Riattivare gli interruttori ha liberato il percorso.
Spegnere è Meglio di Accendere: I ricercatori hanno scoperto che per alcuni interruttori, era più efficace spegnerli (sopprimerli) che aumentarli. Questo suggerisce che il nuovo apprendimento stava sovraccitando certe parti del cervello, e calmarle era la chiave.
Funziona Ovunque: Hanno testato questo su tre diversi tipi di "studenti" (diversi modelli AI), e lo stesso piccolo gruppo di interruttori ha causato il problema in tutti loro. Questo suggerisce un meccanismo universale su come questi modelli si confondono.
L'Interruttore "Composito" vs "Singolo": Se provi a risolvere il problema aggiustando tutti i cambiamenti contemporaneamente (una direzione "composita"), aiuta un po'. Ma se trovi l'interruttore singolo più importante e aggiusti solo quello, il miglioramento è enorme. Questo significa che il problema è molto specifico e localizzato, non una nebbia generale su tutto il cervello.

Riepilogo

Il documento sostiene che quando i modelli AI imparano nuovi, sconosciuti fatti, non perdono le loro vecchie conoscenze; vengono semplicemente "distrai" da pochi segnali interni specifici. Gli autori hanno creato un metodo per trovare questi segnali distraenti e hanno dimostrato che semplicemente spegnendoli (o aggiustandoli) permette all'AI di recuperare istantaneamente la capacità di rispondere correttamente alle domande, curando efficacemente l'allucinazione causata dai nuovi dati di addestramento.

1. Enunciato del Problema

I Large Language Models (LLM) acquisiscono la conoscenza fattuale principalmente durante il pre-addestramento. Tuttavia, le fasi successive di post-addestramento, come il Fine-Tuning Supervisionato (SFT) su nuovi dati, introducono spesso allucinazioni. L'ipotesi prevalente è che esporre i modelli a fatti sconosciuti alla loro distribuzione di pre-addestramento comprometta la loro capacità di recuperare la conoscenza parametrica memorizzata.

Sebbene studi precedenti abbiano stabilito che il fine-tuning su dati sconosciuti aumenti i tassi di allucinazione, le cause meccaniche interne rimangono poco comprese. Nello specifico, non è chiaro:

Quali specifiche caratteristiche latenti nel flusso residuo siano causalmente legate al degrado del recupero della conoscenza.
Se queste caratteristiche possano essere identificate e manipolate per recuperare la conoscenza originale del modello senza re-addestramento.
Come questi meccanismi differiscano tra architetture di modelli e durate di addestramento.

2. Metodologia: MoRFI

Gli autori propongono MoRFI (Monotonic Relationship Feature Identification), una pipeline a due stadi progettata per isolare caratteristiche latenti causali utilizzando Sparse Autoencoder (SAE).

A. Esperimento di Fine-Tuning Controllato

Gli autori conducono un esperimento controllato su tre modelli: Llama 3.1 8B, Gemma 2 9B e Mistral 7B v03.

Dataset: EntityQuestions (derivato da Wikidata).
Variabili:
1. Proporzione di Sconosciuto ( $\uparrow$ Unknown): I dataset di addestramento sono costruiti con percentuali variabili (da 0% a 100%) di fatti "Sconosciuti" (fatti che il modello base non conosce) mescolati a fatti "Noti".
2. Epoch di Addestramento ( $\uparrow$ Epochs): I modelli sono addestrati per durate variabili (Stop Anticipato, 10, 20, 30, 40, 50 epoch).
Osservazione: All'aumentare della proporzione di fatti sconosciuti e degli epoch di addestramento, l'accuratezza sui test di QA a libro chiuso diminuisce significativamente, confermando il fenomeno delle allucinazioni.

B. L'Algoritmo MoRFI

MoRFI analizza le attivazioni SAE attraverso un tensore 4D (Campioni $\times$ Proprietà $\times$ Latenti $\times$ Tempo/Epoch) per trovare caratteristiche con trend monotoni robusti.

Campionamento e Aggregazione: Utilizza il bootstrap per generare migliaia di ambienti di test simulati, calcolando le attivazioni medie per creare una baseline ridotta dal rumore.
Validazione del Trend: Applica la correlazione di rango di Spearman e i test di Mann-Kendall per verificare se l'attivazione di una caratteristica cambia in modo monotono (crescendo o diminuendo costantemente) all'aumentare della proporzione di dati sconosciuti o degli epoch di addestramento. Questo filtra le fluttuazioni spurie.
Ordinamento Direzionale: Classifica le caratteristiche in insiemi Crescenti (le attivazioni crescono con i dati sconosciuti) e Decrescenti (le attivazioni diminuiscono).
Classifica Finale: Classifica le caratteristiche in base alla frequenza con cui appaiono tra le prime $K$ caratteristiche alterate in tutte le repliche bootstrap.

C. Steering delle Attivazioni

Una volta identificate le latenti candidate, gli autori eseguono lo steering delle attivazioni (intervento sul livello medio del flusso residuo) per testare la causalità:

Intervento: Aggiungere o sottrarre il vettore di decodifica SAE di una specifica latente dal flusso residuo.
Obiettivo: Verificare se lo steering di queste latenti può recuperare l'accuratezza persa durante il fine-tuning su fatti sconosciuti.
Gruppo di Controllo: Una baseline di latenti "non in trend" viene utilizzata per garantire che i guadagni non siano artefatti di perturbazioni arbitrarie.

3. Contributi Chiave

Algoritmo MoRFI: Un metodo generale e statisticamente rigoroso per identificare le latenti SAE che mostrano trend monotoni in condizioni di fine-tuning controllato, distinguendole dal rumore transitorio.
Collegamento Causale alle Allucinazioni: Il paper dimostra che l'esposizione a fatti sconosciuti interrompe il recupero della conoscenza lungo direzioni specifiche e identificabili nel flusso residuo.
Recupero della Conoscenza tramite Steering: Gli autori mostrano che interventi su singole latenti possono recuperare il 69–85% della conoscenza persa durante il fine-tuning su dati sconosciuti, invertendo efficacemente le allucinazioni al momento dell'inferenza.
Asimmetria nelle Dinamiche delle Latenti:
- Lo Steering Negativo è Superiore: Sopprimere (steering negativo) le caratteristiche che aumentano con i dati sconosciuti produce guadagni di accuratezza maggiori rispetto all'amplificare le caratteristiche che diminuiscono.
- Le Latenti Decrescenti sono Impattanti: Le caratteristiche che diminuiscono naturalmente quando esposte a dati sconosciuti, se sottoposte a steering positivo, recuperano anch'esse conoscenza significativa, suggerendo che codificano percorsi di accesso alla conoscenza memorizzata che vengono soppressi.

4. Risultati Chiave

Degrado delle Prestazioni: Aumentare la percentuale di fatti sconosciuti nel mix di addestramento degrada costantemente le prestazioni del modello, con un effetto esacerbato da un addestramento più lungo (più epoch).
Efficacia dello Steering:
- Su Llama 3.1 8B, la migliore latente sottoposta a steering negativo ha recuperato il 33,4% di accuratezza relativa (rispetto a una baseline del 17,8%).
- Su Mistral 7B, la migliore latente sottoposta a steering negativo ha recuperato il 39,77% di accuratezza relativa.
- Gruppo di Controllo: Lo steering con latenti non in trend ha prodotto cambiamenti di prestazione trascurabili o negativi, validando che i guadagni sono specifici delle caratteristiche causali identificate.
Tasso di Recupero della Conoscenza ( $R_K$ ): Dei fatti recuperati tramite steering, il 69–85% era originariamente noto al modello base (MD0). Questo conferma che l'intervento ripristina l'accesso alla conoscenza pre-addestrata piuttosto che apprendere nuovi fatti.
Segnale Sparso: Gli interventi su singole latenti hanno superato lo steering con la direzione composita "differenza delle medie" ( $\delta_u$ ). Ciò indica che il segnale rilevante per la conoscenza è sparso e concentrato in poche latenti specifiche, mentre la direzione composita contiene rumore che diluisce l'effetto.
Allineamento Semantico: I fatti recuperati riguardano prevalentemente predicati geografici (es. Paese, Capitale, Paese di Origine), e le latenti migliori mostrano un allineamento semantico con questi concetti in strumenti esterni come Neuronpedia.

5. Significato e Implicazioni

Interpretabilità Meccanica: Il paper va oltre la correlazione per stabilire un legame causale tra specifiche latenti SAE e la capacità del modello di accedere alla conoscenza memorizzata. Suggerisce che l'"oblio" durante il fine-tuning non è la cancellazione della conoscenza, ma una disruzione dei percorsi di accesso.
Mitigazione al Tempo di Inferenza: I risultati suggeriscono che le allucinazioni causate dal fine-tuning possono essere mitigate al momento dell'inferenza tramite steering mirato delle attivazioni, senza la necessità di re-addestramento o sistemi complessi di generazione aumentata dal recupero (RAG).
Sicurezza e Allineamento: Identificando le specifiche caratteristiche "disallineate" o "disruptive per la conoscenza", questo lavoro fornisce un percorso per pratiche di fine-tuning più sicure e interventi mirati per prevenire le allucinazioni dei modelli quando esposti a informazioni nuove o conflittuali.
Generalizzabilità: Il framework MoRFI è agnostico rispetto al modello e applicabile a qualsiasi variabile controllata che induca una sequenza di checkpoint del modello, offrendo un nuovo strumento per analizzare i cambiamenti nel comportamento del modello.

In conclusione, MoRFI fornisce un metodo robusto per individuare i meccanismi interni del degrado della conoscenza negli LLM e dimostra che questi degradi sono reversibili attraverso interventi precisi su singole latenti, offrendo una via promettente per ridurre le allucinazioni nei modelli post-addestrati.