💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

Questo articolo propone LP-SFT, un metodo di fine-tuning supervisionato che preserva la struttura intrinseca dell'entropia multimodale del modello pre-addestrato tra i token non target tramite una divergenza KL localmente normalizzata, migliorando così le prestazioni a valle e mitigando al contempo il degrado delle capacità preesistenti e della diversità di campionamento.

Autori originali: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot brillante e colto come seguire le istruzioni. Questo robot ha già letto quasi tutto internet, imparando il ritmo del linguaggio, la logica della matematica e la struttura del codice. Questa fase iniziale di apprendimento è chiamata "pretraining". Ora, vuoi insegnargli un lavoro specifico, come risolvere problemi di matematica o scrivere codice informatico. Gli mostri degli esempi di risposte corrette e il robot adatta il suo cervello per corrispondere a quegli esempi. Questo processo è chiamato "Supervised Fine-Tuning" (SFT).

Tuttavia, c'è un problema. Quando insegni al robot a essere perfetto in un nuovo lavoro, a volte dimentica come essere un buon conversatore generale. Diventa così ossessionato dalla singola risposta "corretta" che gli hai mostrato da dimenticare tutti gli altri modi interessanti e validi in cui una frase potrebbe concludersi. È come uno studente che memorizza così bene una specifica risposta a un problema di matematica da non riuscire a risolverne una versione leggermente diversa, o un escritor che conosce solo un modo per iniziare una storia. La grande domanda in questo campo è: come possiamo insegnare al robot il nuovo lavoro senza fargli dimenticare la sua vecchia, ricca conoscenza?

Questo è esattamente ciò che l'articolo "LP-SFT" affronta. Gli autori, un team di ricercatori provenienti dalle migliori università, hanno notato che il modo standard di insegnare a questi robot (chiamato "cross-entropy") è un po' troppo rozzo. Dice al robot: "Guarda solo questa singola parola che ti sto mostrando; ignora tutto il resto". Il problema è che il cervello originale del robot possiede in realtà una mappa di molte possibili parole successive "buone", non solo una. Costringendo il robot a concentrarsi solo sulla singola parola bersaglio, cancelliamo accidentalmente la mappa di tutte le altre possibilità, portando a una perdita di creatività e a un fenomeno noto come "oblio catastrofico", dove il robot dimentica le abilità che possedeva.

I ricercatori hanno scoperto qualcosa di affascinante su come pensano questi robot. Hanno scoperto che il cervello del robot non sceglie solo una parola; spesso oscilla tra alcune opzioni ugualmente buone, creando una "struttura di entropia multimodale". Immaginalo come un bivio. A volte, il robot vede due o tre percorsi che sono tutti ugualmente validi. Il metodo di addestramento standard forza il robot a scegliere solo un percorso e bruciare gli altri, anche se gli altri percorsi sarebbero stati perfettamente ragionevoli.

Per risolvere questo problema, il team ha proposto un nuovo metodo chiamato LP-SFT (Local-Preserving Supervised Fine-Tuning). Inveve di urlare solo "Scegli questa parola!" al robot, LP-SFT dice: "Scegli questa parola, ma per favore non dimenticare le altre tre o quattro parole che erano comunque piuttosto buone".

Ecco come funziona, usando un'analogia semplice: Immagina di addestrare un cane a riportare una pallina specifica. Il metodo standard è premiare il cane solo quando riporta esattamente quella pallina e ignorare tutto il resto. Alla fine, il cane potrebbe smettere di cercare altri giocattoli del tutto. LP-SFT è come dire: "Portami la pallina rossa (il bersaglio), ma mentre lo fai, ricorda che anche la pallina blu e la pallina verde erano divertenti da riportare". Il metodo crea una piccola "zona sicura" delle 10 parole più probabili che il robot avrebbe potuto scegliere. Rimuove la parola che gli stai insegnando (per non confonderlo) e poi spinge delicatamente il robot a mantenere la stessa popolarità relativa delle nove parole rimanenti come era prima.

I risultati di questo approccio sono molto promettenti. Quando i ricercatori hanno testato LP-SFT su diversi modelli (come Qwen e Llama) e compiti (matematica, programmazione e chat generale), hanno scoperto che svolge un lavoro migliore rispetto ai vecchi metodi. I robot addestrati con LP-SFT non solo erano bravi nel compito specifico che era stato loro insegnato (ottenendo punteggi alti nei test di matematica e programmazione), ma hanno mantenuto la loro capacità di essere diversi e creativi. Non hanno dimenticato la loro conoscenza generale tanto quanto gli altri. In effetti, il metodo ha raggiunto il miglior equilibrio tra l'ottenere la singola risposta corretta e il mantenere disponibile una grande varietà di soluzioni possibili.

L'articolo suggerisce che, rispettando la "mappa" originale delle possibilità del robot, possiamo insegnargli nuove abilità senza rompere il suo cervello. È un promemoria del fatto che, a volte, per insegnare a una macchina a essere perfetta, devi lasciarle mantenere un po' della sua incertezza. I ricercatori dimostrano che questa preservazione locale aiuta a impedire al robot di collassare in una mente noiosa e monocorde, mantenendolo intelligente, flessibile e pronto per tutto ciò che verrà dopo.

Riepilogo Tecnico: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. Definizione del Problema

Il Supervised Fine-Tuning (SFT) è il paradigma standard per adattare i modelli linguistici pre-addestrati (PLM) a compiti downstream. Tuttavia, lo SFT standard, che si basa sulla perdita di cross-entropy (CE) a livello di token, induce spesso una degradazione delle capacità in due dimensioni:

Dimenticanza Catastrofica (Catastrophic Forgetting): La sovra-specializzazione sulla distribuzione di fine-tuning porta alla perdita di capacità fuori dominio.
Riduzione della Diversità di Generazione: Il modello sopprime soluzioni alternative valide, facendo collassare la distribuzione verso un singolo token e riducendo la diversità accessibile tramite campionamento (misurata tramite pass@k).

Gli autori sostengono che tale degradazione derivi da un disallineamento tra l'obiettivo CE e la ricca conoscenza distributiva codificata nei PLM. Mentre i PLM apprendono capacità ampie che risultano in distribuzioni di next-token con un'informazione sostanziale oltre il singolo token target osservato, la CE standard ignora la rimanente struttura di preferenza. La soppressione ripetuta di alternative plausibili durante il fine-tuning distorce l'integrità strutturale pre-addestrata.

2. Osservazioni Chiave: Struttura dell'Entropia Multimodale

Prima di proporre una soluzione, gli autori analizzano la struttura dell'entropia delle predizioni del next-token nei modelli base.

Picchi di Entropia Multimodali: Utilizzando le entropie di Shannon ( $H_1$ ) e Rényi-2 ( $H_2$ ), gli autori osservano che la distribuzione dell'entropia presenta distinti picchi multimodali vicino a $\ln k$ per interi $k$ .
Stati Plateau-k: Questi picchi corrispondono a "stati di entropia compressa" in cui l'incertezza è distribuita su $k$ $k$ candidati di next-token simili e plausibili.
- Plateau di basso ordine ( $k=1\text{--}5$ ): Spesso corrispondono a ramificazioni logiche o semantiche dove esistono molteplici continuazioni valide.
- Plateau di alto ordine ( $k \approx 10$ ): Spesso corrispondono ad ambiguità strutturali (es. cifre casuali, ID) dove il modello distribuisce la probabilità su un insieme di caratteri.
Implicazione: Il modello base codifica intrinsecamente una ricca conoscenza distributiva. La CE standard tratta tutti i token in modo uniforme, distorcendo inutilmente questa struttura eterogenea costringendo il modello a ignorare queste alternative strutturate.

3. Metodologia: LP-SFT

Per affrontare questo problema, gli autori propongono LP-SFT (Local-Preserving Supervised Fine-Tuning). Il metodo utilizza il modello base congelato come riferimento strutturale locale per preservare le preferenze relative tra le alternative non-target senza entrare in conflitto con il segnale di apprendimento supervisionato.

Componenti Core

Insieme di Preservazione Local Top-K:
- In ogni posizione di token $t$ , il metodo costruisce un insieme di candidati $S_t$ a partire dai top- $K_{max}$ token della distribuzione del modello base congelato ( $q_t$ ).
- Per impostazione predefinita, $K_{max} = 10$ , scelto per coprire sia la ramificazione di basso ordine che il prominente plateau di alto ordine osservato nell'analisi.
Rimozione del Token Target:
- Per evitare conflitti con l'obiettivo primario di cross-entropy (che ottimizza il token target supervisionato $y_t$ ), $y_t$ viene esplicitamente rimosso dall'insieme di preservazione.
- L'insieme di preservazione diventa $A_t = S_t \setminus \{y_t\}$ .
Normalizzazione KL Locale:
- Inveves di applicare una divergenza KL globale sull'intero vocabolario (che può essere computazionalmente costosa e eccessivamente restrittiva), LP-SFT applica una divergenza KL localmente normalizzata sull'insieme $A_t$ .
- Le probabilità del modello base ( $q_t$ ) e del modello addestrabile ( $p_t$ ) sono normalizzate solo all'interno di $A_t$ per ottenere $\hat{q}_t$ e $\hat{p}_t$ .
- La perdita è definita come: $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ .
- Razionale: Questo preserva la struttura di preferenza relativa tra le rimanenti alternative non-label senza vincolare artificialmente la loro massa di probabilità assoluta o la massa totale assegnata all'insieme.

Obiettivo di Addestramento

L'obiettivo finale combina la perdita di cross-entropy standard per il token target e la perdita di preservazione locale:
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
dove $\mu$ controlla la forza di preservazione.

Efficienza di Implementazione

A differenza dei metodi che richiedono un passaggio in avanti (forward pass) del modello base ad ogni step di addestramento, LP-SFT impiega un'implementazione in due fasi:

Precomputazione Offline: Il modello base elabora l'intero dataset di addestramento una sola volta per memorizzare i logit top- $K_{max}$ .
Fine-Tuning: Il ciclo di addestramento richiede solo il forward pass del modello addestrabile, utilizzando i logit memorizzati per calcolare la perdita di preservazione locale. Ciò riduce significativamente l'overhead computazionale rispetto ai metodi di ancoraggio a vocabolario completo.

4. Risultati Sperimentali

Gli autori hanno valutato LP-SFT su tre famiglie di modelli (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) in setting di dominio misto e singolo dominio (Math, Code, General Instruction).

Performance vs. Vanilla SFT: LP-SFT supera costantemente la CE standard e i recenti baseline di potenziamento SFT (DFT, EAFT, GEM, ASFT) in termini di performance media complessiva.
Trade-off Pass@1 vs. Pass@k:
- La CE standard spesso migliora il pass@1 (accuratezza del singolo campione) a scapito del pass@k (diversità).
- Metodi come DFT migliorano il pass@1 ma causano cali significativi nel pass@k.
- LP-SFT raggiunge il miglior equilibrio: Migliora il pass@1 mantenendo o migliorando il pass@k, indicando che conserva la diversità accessibile tramite campionamento senza sacrificare l'accuratezza.
Dimenticanza Catastrofica: Nel fine-tuning a dominio misto, LP-SFT mitiga significativamente la degradazione delle capacità. Ad esempio, sul benchmark MMLU, LP-SFT ha mantenuto una performance quasi pari al modello base congelato, mentre la CE standard ha subito cali severi.
Studi di Ablazione: Il metodo è relativamente insensibile all'iperparametro $\mu$ . È stato scoperto che sia la rimozione del token target che la normalizzazione KL locale sono critiche per la stabilità e le performance.

5. Significato e Rivendicazioni

Il paper sostiene che LP-SFT offra un approccio innovativo al fine-tuning supervisionato proteggendo esplicitamente la struttura dell'entropia intrinseca dei modelli pre-addestrati.

Meccanismo: Decoupling (scollegando) l'apprendimento del token target dalla preservazione delle preferenze strutturali locali, LP-SFT impedisce l' "overwriting" (sovrascrittura) dell'incertezza strutturata del modello base.
Risultato: Questo approccio aiuta a mitigare la dimenticanza catastrofica e preserva la diversità di generazione (soluzioni accessibili tramite campionamento) mantenendo o migliorando l'accuratezza del singolo campione.
Efficienza: Il metodo fornisce questi benefici con un modesto overhead computazionale rispetto alle tecniche di ancoraggio a vocabolario completo, rendendolo un'alternativa pratica per preservare le capacità pre-addestrate durante l'adattamento di dominio.

Gli autori concludono che la preservazione locale è una strategia efficace per bilanciare l'adattamento downstream con la ritenzione delle capacità generali, suggerendo che la ricca conoscenza distributiva appresa durante il pre-addestramento debba essere preservata piuttosto che scartata durante il fine-tuning.