CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

Il paper introduce CapTrack, un framework basato sulle capacità per valutare il "dimenticare" nei modelli linguistici post-addestrati non solo come perdita di conoscenze fattuali ma come deriva comportamentale sistematica, rivelando attraverso uno studio su larga scala che tale fenomeno compromette anche robustezza e comportamenti predefiniti, con l'addestramento su istruzioni che causa la maggiore deriva e l'ottimizzazione delle preferenze che offre una parziale mitigazione.

L'essenziale

Immagina che un Grande Modello Linguistico (LLM) sia come un chef stellato che ha passato anni a cucinare di tutto: dalla pasta alla pizza, dai dolci ai piatti etnici. È un genio, sa fare di tutto e ha una memoria incredibile.

Ora, immaginiamo che questo chef voglia specializzarsi. Forse vuole diventare il miglior chef di cucina legale (per scrivere contratti) o il miglior chef di cucina medica (per dare consigli sulla salute). Per farlo, lo mandiamo a un corso di specializzazione intensivo (il "post-training").

Il problema? Dopo il corso, succede una cosa strana. Lo chef è diventato bravissimo a cucinare piatti legali o medici, ma... ha dimenticato cose fondamentali.

Non ha solo dimenticato le ricette vecchie (le "conoscenze fattuali"), ma ha anche cambiato il suo carattere e il suo modo di lavorare. Forse ora è troppo timido e non risponde alle domande semplici, oppure parla in modo troppo breve e secco, o forse non sa più come usare il forno a microonde (i "tool") o come mantenere il filo del discorso in una conversazione lunga.

Questo è il cuore del paper "CapTrack".

Il Problema: Non basta guardare il voto in matematica

Fino a poco tempo fa, per vedere se uno chef aveva dimenticato qualcosa, gli facevamo solo un test di matematica o di cultura generale. Se il voto era alto, dicevamo: "Tutto ok, non ha dimenticato nulla!".

Ma CapTrack dice: "Aspetta! Guarda come si comporta!".
Un modello può avere un voto alto in matematica, ma se:

1. Si rifiuta di rispondere a domande innocue (perché è diventato troppo "paranoico").
2. Risponde in modo troppo breve e scortese.
3. Non riesce più a seguire le istruzioni precise (es. "scrivi solo in maiuscolo").
4. Si confonde quando parliamo di lingue straniere.

Allora, anche se sa fare i calcoli, non è più un buon chef per il cliente. È come se un pilota di Formula 1, dopo aver fatto un corso di guida su ghiaccio, diventasse bravissimo sul ghiaccio ma dimenticasse come accendere le luci o come usare il clacson.

La Soluzione: CapTrack (La "Cintura di Sicurezza" delle Abilità)

Gli autori hanno creato CapTrack, che è come una cintura di sicurezza a 360 gradi per i modelli AI. Invece di guardare solo un numero, CapTrack controlla tre cose fondamentali:

1. CAN (Cosa sa fare): È la sua competenza pura. Sa ancora risolvere problemi di logica? Sa ancora programmare? (La "mente" dello chef).
2. WILL (Cosa vuole fare): È il suo carattere. È gentile? Risponde sempre o si rifiuta? È verboso o conciso? (La "personalità" dello chef).
3. HOW (Come lo fa): Segue le regole? Usa gli attrezzi giusti? Mantiene il filo del discorso in una conversazione lunga? (La "maniera" dello chef).

Cosa hanno scoperto? (Le Sorprese)

Hanno fatto esperimenti su molti chef (modelli come LLaMA, Gemma, Qwen) e hanno scoperto cose interessanti:

• Il corso "IFT" (Fine-tuning diretto) è il più pericoloso: È come se lo chef fosse stato addestrato con un metodo molto rigido. Diventa bravissimo nel nuovo compito, ma dimentica tutto il resto. Diventa scortese, perde la pazienza, smette di usare le emoji o i punti elenco, e si rifiuta di rispondere a cose che prima rispondeva. È un "dimenticatoio" massiccio.
• Il corso "DPO" (Ottimizzazione delle preferenze) è più gentile: È come un addestramento più morbido, basato su feedback. Lo chef impara il nuovo compito, ma ricorda meglio come comportarsi prima. Se fa un errore, questo metodo riesce a "riparare" un po' la situazione.
• La dimensione non conta: Pensavi che gli chef più grandi (modelli da 80 miliardi di parametri) dimenticassero meno? No! Un modello gigante dimentica esattamente quanto un modello piccolo. La grandezza non è una garanzia di sicurezza.
• Non esiste una cura magica: Hanno provato a mischiare dati diversi, a cambiare l'architettura o a usare tecniche speciali per "fissare" la memoria. Risultato? C'è sempre un compromesso. Se vuoi che lo chef sia bravissimo nel nuovo compito, devi accettare che dimenticherà qualcosa del vecchio. Non puoi avere tutto e subito.

La Metafora Finale

Immagina che il tuo modello AI sia un viaggiatore.
Prima del viaggio, sapeva parlare tutte le lingue, era gentile con tutti e sapeva usare la mappa.
Dopo il viaggio in un paese nuovo (il post-training), parla perfettamente la lingua locale, ma:

• Ha dimenticato come dire "buongiorno" nella sua lingua madre.
• È diventato scortese con gli stranieri.
• Ha perso la capacità di leggere le mappe.

CapTrack è la guida che ti dice: "Attenzione! Sì, parla bene la lingua locale, ma guarda come si è comportato con gli altri! Non è più lo stesso viaggiatore di prima".

Perché è importante?

Perché oggi usiamo questi modelli per cose importanti (medicina, legge, assistenza clienti). Se un modello "dimentica" come essere gentile o come seguire le regole, può creare problemi enormi, anche se è tecnicamente bravo.

CapTrack ci aiuta a scegliere il modello giusto non solo guardando il suo "QI", ma guardando il suo comportamento completo, per assicurarci che non diventi un genio incomprensibile o un esperto sgarbato.

Sommario tecnico

1. Il Problema

Il post-training (addestramento successivo) dei Large Language Models (LLM) è fondamentale per allineare i valori, migliorare le prestazioni e adattare i modelli a domini specifici (es. legale, medico). Tuttavia, è noto che questo processo induce il fenomeno dell'oblio (forgetting).

La visione tradizionale dell'oblio si concentra quasi esclusivamente sulla perdita di conoscenza parametrica o fattuale (es. calo di accuratezza su benchmark come MMLU). Gli autori sostengono che questa prospettiva, incentrata sull'accuratezza, è insufficiente per i moderni modelli fondazionali. Un modello può mantenere un'alta accuratezza fattuale ma subire un degrado significativo in altre aree critiche per l'esperienza utente, come la robustezza, le preferenze comportamentali di default e l'aderenza ai protocolli di interazione. L'obiettivo del paper è ridefinire l'oblio non come semplice perdita di dati, ma come uno spostamento sistematico del modello (drift) che degrada le capacità comportamentali e l'affidabilità esecutiva.

2. Metodologia: CapTrack

Per misurare questo fenomeno multidimensionale, gli autori introducono CapTrack, un framework centrato sulle capacità che combina una tassonomia strutturata con una suite di valutazione.

A. Tassonomia delle Capacità

CapTrack scompone il comportamento del modello in tre gruppi complementari:

1. CAN (Latent Competence): Cosa il modello può fare se sollecitato idealmente. Include:
   • Conoscenza parametrica e abilità (C1).
   • Ragionamento e problem solving (C2).
   • Comprensione contestuale (C3).
   • Fedeltà epistemica e grounding (C4).
   • Robustezza della competenza (invarianza del prompt, shift di dominio, stabilità multilingue) (C5).
2. WILL (Default Behavioral Preferences): Cosa il modello tende a fare di default. Include:
   • Disponibilità a rispondere (W1).
   • Utilità e portata informativa (W2).
   • Stile e livello di elaborazione (W3, es. verbosità, formattazione).
3. HOW (Protocol Compliance & Execution): Come il modello esegue le istruzioni. Include:
   • Rispetto delle istruzioni (H1).
   • Fedeltà al formato di output (H2).
   • Uso di strumenti/funzioni (H3).
   • Mantenimento dello stato e degli impegni multi-turno (H4).
   • Operazioni su finestre contestuali lunghe (H5).
   • Meccaniche di citazione (H6).

B. Suite di Valutazione

CapTrack utilizza una raccolta curata di 30 benchmark (circa 14.500 campioni), inclusi benchmark consolidati (MMLU-Pro, GSM8K, MT-Bench) e adattamenti mirati.

• Approccio Relativo: I modelli post-addestrati sono confrontati con le loro controparti "Out-of-the-Box" (OOB) per misurare lo spostamento relativo (drift) piuttosto che l'accuratezza assoluta.
• Metriche: Utilizza sia metriche basate su regole che valutazioni tramite LLM-as-a-Judge (con GPT-4o-mini come giudice standardizzato) per aspetti come la qualità del ragionamento e la sicurezza.

3. Esperimenti e Configurazione

Gli autori hanno condotto uno studio empirico su larga scala:

• Modelli: 7 modelli da 3 famiglie (Qwen 3, Gemma 3, LLaMA 3.1/3.3) con dimensioni fino a 80B parametri.
• Domini: Legale e Medico.
• Algoritmi: Instruction Fine-Tuning (IFT) e Preference Optimization (DPO).
• Mitigazione: Analisi di strategie basate su dati (dati generali vs. specifici), architettura (fusione di modelli) e regolarizzazione (LoRA).

4. Risultati Chiave

A. Estensione dell'Oblio

L'oblio va ben oltre la conoscenza parametrica. Si osservano forti derive (drift) in:

• Robustezza: Degrado significativo nella stabilità multilingue (fino al -29% per LLaMA con IFT) e nella robustezza allo shift di dominio.
• Comportamenti Default (WILL): L'IFT induce cambiamenti drastici nella verbosità (riduzioni catastrofiche fino al -40% per Gemma/LLaMA) e nella disponibilità a rispondere a task non specificati.
• Protocolli (HOW): Degrado nel mantenimento dello stato nei dialoghi multi-turno e nella precisione delle citazioni.

B. Impatto degli Algoritmi

• Instruction Fine-Tuning (IFT): È il principale motore del degrado delle capacità, causando le derive più severe in tutte le categorie, specialmente in robustezza e comportamenti.
• Preference Optimization (DPO): È molto più conservativo. Quando applicato dopo l'IFT, può parzialmente recuperare le capacità perse (specialmente nel gruppo WILL), mitigando parzialmente l'oblio.

C. Differenze tra Famiglie e Dimensioni

• Famiglie: Esistono differenze sistematiche. I modelli LLaMA e Gemma mostrano derive più forti nelle competenze latenti e nelle preferenze comportamentali rispetto a Qwen, che risulta generalmente più stabile (ma vulnerabile in robustezza multilingue).
• Dimensioni: Non esiste una correlazione monotona tra dimensione del modello e oblio. I modelli più grandi non sono uniformemente più stabili; l'oblio dipende dall'interazione tra algoritmo, dati e specifica capacità, non solo dalla scala.

D. Strategie di Mitigazione

Lo studio ha testato tre assi classici di apprendimento continuo:

1. Dati: L'uso di dati generali (replay) invece di dati specifici del dominio non garantisce una mitigazione uniforme. Gli effetti sono misti e dipendenti dalla capacità.
2. Architettura (Fusione di Modelli): La fusione di modelli (es. TIES merging) riduce l'oblio ma a scapito dei guadagni nel dominio specifico.
3. Regolarizzazione (LoRA): Anche l'uso di LoRA non risolve il problema fondamentalmente.

Conclusione sulle Mitigazioni: Tutte le strategie testate rivelano un trade-off fondamentale tra stabilità e plasticità. Migliorare la stabilità (ridurre l'oblio) comporta quasi sempre una riduzione della plasticità (guadagni nel dominio target). Non esiste una soluzione "senza costo" (no-free-lunch) che protegga selettivamente le capacità vulnerabili senza limitare l'adattamento.

5. Significato e Contributi

Il paper offre contributi significativi per la ricerca e la pratica:

1. Ridefinizione Concettuale: Sposta il focus dell'oblio dai LLM dalla semplice perdita di fatti alla deriva comportamentale e di capacità, che ha un impatto diretto sull'esperienza utente.
2. Strumento di Valutazione (CapTrack): Fornisce una tassonomia e una suite di benchmark pratica e riproducibile per diagnosticare le derive specifiche, permettendo agli sviluppatori di scegliere modelli e strategie di adattamento in modo più informato.
3. Evidence Empirica: Dimostra che l'adattamento dei modelli è intrinsecamente legato a compromessi (trade-off) tra stabilità e plasticità, e che le strategie di mitigazione attuali sono insufficienti senza un intervento mirato a livello di capacità.
4. Implicazioni Pratiche: Suggerisce che per l'uso in produzione (specialmente in settori sensibili come legale e medico), non basta monitorare l'accuratezza; è necessario valutare la stabilità comportamentale, la robustezza e l'aderenza ai protocolli per evitare rischi operativi.

In sintesi, CapTrack evidenzia che l'oblio nei LLM è un fenomeno multifaccettato che richiede una valutazione olistica delle capacità, andando oltre i tradizionali benchmark di conoscenza generale.