💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Questo articolo investiga il "gap tra conoscenza e utilizzo" (Knowing–Using Gap) nei modelli linguistici di grandi dimensioni sottoposti a fine-tuning, in cui la conoscenza memorizzata non riesce a generalizzare, utilizzando un intervento di auto-patching per rivelare che i circuiti della conoscenza interna disallineati impediscono un ragionamento efficace e proponendo una strategia euristica che recupera il 58–75% delle prestazioni di generalizzazione potenziali.

Autori originali: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario robot super intelligente che ha appena imparato un nuovo fatto: "Sydney si trova in Australia". Gli chiedi: "Dove si trova Sydney?" e lui risponde perfettamente. Ma poi gli chiedi: "Qual è la capitale del paese in cui si trova Sydney?" e il robot si blocca, comportandosi come se non sapesse minimamente di cosa tu stia parlando.

Questo è esattamente il puzzle che i ricercatori di HKUST(GZ) e HKUST stanno cercando di risolvere. Lo chiamano il "Knowing–Using Gap" (il divario tra sapere e usare). È quel momento frustrante in cui un Large Language Model (LLM) ha chiaramente memorizzato una nuova informazione, ma non riesce a usarla per risolvere un puzzle leggermente più complesso.

Il Mistero: Perché il Robot si Blocca

I ricercatori hanno scoperto che questo non accade perché il robot sta "dimenticando" o perché è troppo stupido per capire la logica. In realtà, il robot conosce la risposta; è solo che l'ha nascosta nella stanza sbagliata.

Per capire questo, pensa al cervello del robot come a un enorme ufficio su più piani.

I Piani Bassi (Livelli 1–10): Questi sono come la reception e l'ufficio postale. Sono ottimi per archiviare pacchi in arrivo (memorizzare fatti).
I Piani Centrali (Livelli 10–20): Questo è il dipartimento "pensante", dove avviene il ragionamento complesso.
I Piani Alti (Livelli 20–30): È qui che viene scritto e inviato il rapporto finale.

Quando il robot impara un nuovo fatto, lo scarica rapidamente nella Reception o al Piano Alto. È al sicuro lì! Ma il "Dipartimento Pensante" nel mezzo non riceve mai la comunicazione. Quindi, quando il robot cerca di risolvere un puzzle in più passaggi (come collegare Sydney all'Australia, e poi l'Australia alla sua capitale), l'informazione rimane bloccata nel posto sbagliato. È come avere una tessera della biblioteca in tasca ma cercare di usarla alla cassa di un supermercato.

Il Lavoro da Detective: "Self-Patching"

Come hanno provato che l'informazione era presente, ma solo collocata male? Hanno inventato un trucco astuto chiamato Self-Patching.

Immagina di avere due versioni del robot che girano fianco a fianco.

Il Robot A sta cercando di rispondere alla domanda difficile e fallisce.
Il Robot B ha la risposta archiviata nella sua "Reception".

I ricercatori sono entrati nel Robot B, hanno preso la specifica memoria di "Sydney si trova in Australia" e l'hanno fisicamente spostata nel "Dipartimento Pensante" del Robot A.

Il risultato? Il Robot A ha risolto istantaneamente il problema!

Questo esperimento ha dimostato che la conoscenza non mancava affatto; era solo disallineata. Il robot aveva i dati, ma non venivano instradati nella parte giusta del cervello per fare i calcoli. I ricercatori chiamano questo fenomeno la "Knowledge–Circuit Misalignment Hypothesis" (Ipotesi del disallineamento tra conoscenza e circuito).

Cosa NON è

I ricercatori sono stati molto attenti a escludere altre idee:

Non è una mancanza di potenza cerebrale: Hanno testato modelli più grandi e intelligenti, e il problema persisteva.
Non è un problema di "prompting": Hanno provato a dare indizi al robot (come chiedergli di "pensare passo dopo passo"), ma questo ha aiutato solo un po'. La vera soluzione era spostare la memoria, non solo porre domande migliori.
Non è che il robot stia imparando una nuova logica: Il robot non aveva bisogno di imparare come ragionare; aveva solo bisogno di accedere ai fatti che già conosceva.

La Buona Notizia: Una Soluzione Semplice

La parte migliore? I ricercatori hanno scoperto un modo per risolvere il problema senza dover sapere esattamente quale memoria appartiene a quale fatto.

Hanno notato che il "Dipartimento Pensante" (i livelli centrali) è la chiave. Hanno creato una regola semplice: "Se hai un fatto archiviato nella Reception o al Piano Alto, spostalo al Piano Centrale."

Hanno testato questa semplice regola su diversi modelli di robot e diversi tipi di conoscenza (dalla biologia agli articoli accademici).

Senza la correzione, i robot rispondevano correttamente alle domande di ragionamento solo circa il 7% - 18% delle volte.
Con questa semplice regola di "spostare la memoria", rispondevano correttamente il 35% - 45% delle volte.

Questo semplice trucco ha recuperato tra il 58% e il 75% del potenziale successo che i robot avrebbero potuto raggiungere se fossero stati perfettamente allineati. Non è una bacchetta magica che risolve tutto, ma dimostra che il problema è risolvibile.

Il Punto Chiave

Il documento mostra che quando i modelli di IA non riescono a usare ciò che hanno appreso, spesso si tratta di un problema di instradamento (routing), non di un problere di apprendimento. I fatti sono lì, conservati in sicurezza negli angoli sbagliati del cervello. Spostando semplicemente quei fatti nei livelli di "pensiero", possiamo aiutare il robot a collegare i puntini e risolvere il puzzle.

I ricercatori suggeriscono ora che l'addestramento futuro non dovrebbe concentrarsi solo sul far memorizzare i fatti ai modelli più velocemente, ma sull'insegnare loro a instradare quei fatti nel posto giusto per il ragionamento. È un passaggio dal "insegnare di più" all' "organizzare meglio".

Riepilogo Tecnico: Verso una comprensione meccanicistica del perché la conoscenza memorizzata fallisce nel generalizzare nel fine-tuning dei Large Language Model

1. Definizione del Problema: Il Gap Conoscenza–Utilizzo (Knowing–Using Gap)

Il paper affronta un modo critico di fallimento nel fine-tuning dei Large Language Model (LLM): la discrepanza tra la capacità di un modello di memorizzare nuovi fatti e la sua capacità di utilizzare tali fatti per il ragionamento a valle. Gli autori formalizzano questo fenomeno come il Knowing–Using Gap, caratterizzato da due disparità distinte:

Gap di Accuratezza: L'accuratezza della generalizzazione (utilizzare i fatti nel ragionamento) rimane significativamente inferiore all'accuratezza della memorizzazione (richiamo diretto) anche dopo la convergenza.
Lag Temporale: Le capacità di generalizzazione emergono significativamente più tardi rispetto alle capacità di memorizzazione durante il processo di addestramento.

Nonostante una capacità di modello sufficiente per adattarsi ai nuovi dati, i modelli spesso mostrano un comportamento di "ricordo ma non utilizzo", in cui possono richiamare un fatto (ad es., "Sydney si trova in Australia") ma non riescono a inserirlo in un compito di ragionamento (ad es., "Qual è la capitale del paese in cui si trova Sydney?").

2. Metodologia

Per investigare le cause meccanicistiche di questo gap, gli autori utilizzano una combinazione di costruzione di dataset, intervento causale e analisi dinamica.

Costruzione del Dataset:

Gli autori hanno costruito un dataset specializzato adattato da STaRK (una base di conoscenza semi-strutturata del mondo reale), utilizzando i sottoinsiemi biomedico (STaRK-Prime) e accademico (STaRK-MAG) per garantire la robustezza cross-domain.
Hanno definito Compiti di Memorizzazione (QA single-hop) per il fine-tuning e Compiti di Generalizzazione per la valutazione.
Sono stati progettati due tipi specifici di compiti di generalizzazione:
- Chaining (Concatenazione): Richiede un ragionamento sequenziale attraverso più hop (ad es., Entità A → Relazione → Entità B → Relazione → Entità C).
- Intersection (Intersezione): Richiede il recupero di attributi per più entità e il filtraggio basato su una relazione condivisa in presenza di rumore.
Una rigorosa validazione della novità ha garantito che i modelli pre-addestrati ottenessero punteggi vicini allo zero in questi compiti, confermando che la conoscenza iniettata fosse genuinamente nuova.

Intervento di Self-Patching:
Il principale contributo metodologico è il Self-Patching, una variante dell'activation patching.

Meccanismo: La tecnica copia la rappresentazione dello stato nascosto (hidden layer representation) di un token ancora (ad es., l'entità principale) da una corsa "source" (dove il fatto è noto) e la sostituisce in una corsa "target" (dove il modello fallisce la generalizzazione) in uno specifico layer target.
Obiettivo: Scansionando tutte le coppie di layer $(l_{src}, l_{tgt})$ , il metodo genera una mappa di permeazione spaziale. Identifica se una rappresentazione contenente la conoscenza iniettata esiste nel modello ma non viene semplicemente instradata verso i layer computazionalmente efficaci necessari per il ragionamento.
Differenziazione: A differenza del causal tracing, il self-patching non richiede una traiettoria corretta "pulita", rendendolo applicabile ai casi di fallimento della generalizzazione. A differenza di PatchScope, si concentra sull'accuratezza del prompt target piuttosto che interpretare la sorgente tramite decoding ausiliario.

3. Risultati Chiave e Conclusioni

L'Ipotesi del Disallineamento Conoscenza–Circuito:
Gli autori propongono che il Knowing–Using Gap sia guidato da un disallineamento spaziale tra lo stoccaggio della conoscenza e i circuiti di ragionamento.

Storage vs. Computation: Il fine-tuning codifica nuovi fatti in stati "orientati allo stoccaggio" (spesso nei layer iniziali o molto tardivi) che supportano il richiamo diretto. Tuttavia, queste rappresentazioni non vengono instradate in modo affidabile nei mid-layer "computazionalmente efficaci" necessari per il ragionamento multi-step.
Scomparsa del Gradiente (Gradient Vanishing): Una volta che la memorizzazione satura, la perdita diminuisce, causando la scomparsa dei gradienti. Di conseguenza, il modello non riesce ad aggiornare naturalmente il proprio routing interno per allineare la conoscenza memorizzata con il circuito di ragionamento, lasciando la conoscenza "abbandonata".

Evidenza Empirica:

Dinamiche di Permeazione: Le mappe di calore degli score di self-patching mostrano che, dopo la memorizzazione, appaiono regioni rosse "off-diagonal" (che indicano che la conoscenza esiste in specifici layer) mentre le celle diagonali rimangano blu (indicando che il modello fallisce end-to-end). Nei casi di generalizzazione riuscita, la regione rossa si espande per coprire la diagonale; nei fallimenti, si ferma prima di raggiungere la diagonale.
Recupero Oracle: Quando le rappresentazioni vengono rilocate manualmente tramite self-patching in mid-layer efficaci, l'accuratezza del compito a valle migliora drasticamente.
- Compiti di Chaining: L'oracle self-patching ha aumentato l'accuratezza di 1,5–6× in tutti i modelli e domini.
- Compiti di Intersection: Il gap è stato quasi eliminato.
Cluster Spaziali: Le posizioni di patching più efficaci formano due cluster: spostare le rappresentazioni dai layer iniziali ai mid-layer e dai layer tardivi ai mid-layer. Ciò suggerisce che il collo di bottiglia non è l'emergenza dell'informazione, ma il suo allineamento con il flusso di ragionamento dei mid-layer.

Euristica Pratica:
Andando oltre gli strumenti diagnostici, gli autori hanno progettato una strategia euristica fissa basata sui cluster spaziali osservati (prendendo in bersaglio circa 0.5L da circa 0.1L e 0.8L da circa 0.8L).

Questa strategia non-oracle recupera il 58–75% del potenziale dell'oracle, dimostrando che il fallimento della generalizzazione è parzialmente reversibile senza ricerca per singola istanza.

Studi di Ablazione:

Posizione del Token: I guadagni sono strettamente legati al patching alla posizione dell'entità principale (head-entity), non a posizioni casuali o token generici.
Prompting vs. Patching: Il prompting Chain-of-Thought (CoT) migliora le prestazioni ma rimane molto al di sotto dei guadagni del self-patching, e talvolta degrada le prestazioni. Il patching irrilevante (utilizzando rappresentazioni di fatti non correlati) produce guadagni trascurabili, confermando che l'effetto è specifico per la rappresentazione della conoscenza iniettata.
Indipendenza dalla Scala: Il fenomeno persiste attraverso diverse dimensioni di modello (da 1B a 8B) e metodi di fine-tuning (FFT vs. LoRA), indicando che si tratta di un problema di allineamento strutturale piuttosto che di un limite di capacità.

4. Significato e Rivendicazioni

Il paper sostiene di ricategorizzare il fallimento della generalizzazione nel fine-tuning non come una mancanza di capacità di apprendimento, ma come un problema di allineamento trattabile.

Insight Meccanicistico: Fornisce evidenza causale del fatto che la conoscenza memorizzata esiste internamente ma è errata nell'instradamento, fallendo nel raggiungere i layer di computazione necessari per il ragionamento.
Utilità Diagnostica: La tecnica di self-patching funge da strumento per mappare dove la conoscenza iniettata diventa causalmente utilizzabile, anche nei casi in cui il modello fallisce la generalizzazione naturale.
Implicazione Pratica: I risultati suggeriscono che un addestramento "consapevole dell'allineamento" (alignment-aware) o strategie di allineamento post-hoc potrebbero colmare il gap tra memorizzazione e generalizzazione. Il paper dimostra che una semplice euristica fissa può recuperare una parte sostanziale della capacità di generalizzazione perduta, spostando il campo dalla pura diagnosi verso rimedi pratici.

Gli autori concludono che il Knowing–Using Gap è un fenomeno robusto attraverso domini e architetture, guidato dal fallimento del fine-tuning nell'allineare naturalmente le rappresentazioni di stoccaggio con i circuiti di ragionamento.