Riepilogo Tecnico: Dimenticamento Spettrale tramite DG-Hard

Enunciato del Problema

Il fine-tuning di modelli linguistici di grandi dimensioni (LLM) per compiti target specifici induce routinariamente un dimenticamento catastrofico, in cui le capacità presenti nel modello base pre-addestrato ($W_{base}$) vengono degradate o distrutte, anche se i dati di addestramento non hanno mai minacciato esplicitamente tali capacità. Questo fenomeno si manifesta come un "cambiamento collaterale" nell'aggiornamento dei pesi $\Delta = W_{ft} - W_{base}$: mentre l'aggiornamento contiene un segnale strutturato a basso rango allineato al nuovo compito, accumula anche un residuo di rumore IID (indipendente e identicamente distribuito) derivante dai passaggi di discesa del gradiente stocastico (SGD). Questo residuo di rumore distorce le caratteristiche pre-addestrate, portando al crollo delle prestazioni su benchmark tenuti in riserva (ad esempio, un fine-tuning medico che riduce drasticamente il ragionamento matematico).

I metodi esistenti di riparazione post-hoc tentano di recuperare queste capacità perse operando nello spazio delle coordinate (ad esempio, interpolazione scalare come WiSE-FT, eliminazione casuale come DARE, o potatura per magnitudine/segnale come TIES e FAPM). Tuttavia, questi approcci affrontano un problema fondamentale di rappresentazione: le voci rilevanti per il compito e le voci residue dannose sono intercalate per magnitudine, segno e posizione, rendendo difficile separare il segnale dal rumore senza sacrificare o i guadagni sul compito target o le capacità recuperate.

Metodologia: DG-Hard

Il documento propone DG-Hard, un metodo di riparazione post-hoc, privo di dati e privo di gradienti, che opera nello spazio dei valori singolari anziché nello spazio delle coordinate. L'ipotesi di base è che l'aggiornamento di fine-tuning $\Delta$ segua un modello segnale-plus-rumore:
$$\Delta = \Delta_{segnale} + \Delta_{rumore}$$
dove $\Delta_{segnale}$ è un aggiornamento a basso rango allineato al compito, e $\Delta_{rumore}$ è un residuo IID che la discesa del gradiente non ha alcun incentivo a rimuovere.

L'Approccio Spettrale

1. Decomposizione Segnale-plus-Rumore: Il metodo tratta il delta dei pesi $\Delta$ per ogni matrice di pesi 2D come la somma di una componente strutturata a basso rango e una componente di rumore matriciale casuale. L'evidenza empirica suggerisce che lo spettro della componente di rumore segue la distribuzione di Marchenko-Pastur (MP), mentre il segnale appare come un numero finito di picchi di valori singolari anomali.
2. Soglia Rigida Ottimale: Invece di potatura o interpolazione arbitrarie, DG-Hard applica la soglia rigida ottimale dei valori singolari di Donoho-Gavish alla Decomposizione in Valori Singolari (SVD) di $\Delta$.
   • La soglia $\tau^*$ è derivata per minimizzare l'Errore Quadratico Medio Asintotico (AMSE) del segnale ricostruito.
   • È calcolata come $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$, dove $\hat{\sigma}$ è stimato dalla mediana dei valori singolari, e $\omega(\beta)$ è una costante dipendente dal rapporto di aspetto della matrice $\beta$.
3. Riparazione in Forma Chiusa: La procedura prevede:
   • Calcolo della SVD di $\Delta = U \text{diag}(s) V^\top$.
   • Soglia rigida dei valori singolari: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • Ricostruzione del delta potato $\Delta^* = U \text{diag}(s') V^\top$.
   • Formazione del checkpoint riparato: $W^* = W_{base} + \Delta^*$.

Questo processo non richiede dati di addestramento aggiuntivi, né calcolo dei gradienti, ed esegue in pochi minuti su una singola GPU, riducendo la riparazione a un passo di filtraggio SVD in forma chiusa.

Contributi Chiave

1. Formulazione della Riparazione Post-Hoc: Gli autori inquadrano il recupero del dimenticamento catastrofico come un problema di recupero-preservation: recuperare le capacità tenute in riserva danneggiate preservando al contempo i guadagni sul compito target e i miglioramenti tenuti in riserva incidentali.
2. Identificazione della Struttura Spettrale: Il documento dimostra empiricamente che i residui dannosi si concentrano nel bulk dei valori singolari (corrispondendo alle previsioni delle matrici casuali), mentre gli aggiornamenti rilevanti per il compito appaiono come picchi di valori singolari. Ciò spiega perché i metodi nello spazio delle coordinate faticano con il compromesso tra recupero e preservazione.
3. Algoritmo DG-Hard: L'introduzione di un metodo di riparazione privo di dati che applica la soglia rigida statisticamente ottimale di Donoho-Gavish ai delta di fine-tuning, separando efficacemente il segnale strutturato dal residuo di rumore.
4. Valutazione Condizionata alla Partizione: Gli autori introducono una suite di metriche innovativa che traccia separatamente la guarigione (recupero sui benchmark danneggiati), la preservazione (retenzione dei benchmark migliorati), la non-danneggiamento (stabilità sui benchmark invariati) e la retenzione sul compito. Questo evita le insidie della precisione media, che può nascondere fallimenti per benchmark o premiare un semplice ritorno al modello base.

Risultati Sperimentali

Il metodo è stato valutato su 14 configurazioni (modello, compito) (utilizzando Qwen3.5-4B e Llama-3.2-3B-Instruct) e nove benchmark tenuti in riserva cross-dominio.

• Prestazioni Bilanciate: DG-Hard ottiene la riparazione più bilanciata tra le baseline post-hoc. È l'unico metodo che ottiene un punteggio $\ge 80$ sia su Clean-up (guarigione + non-danneggiamento) che su Retention (preservazione + retenzione sul compito), raggiungendo un punteggio combinato di 83.3.
• Confronto con le Baseline:
  • FAPM e V-SoftMask rappresentano estremi: FAPM guarisce bene i danni (91.9 Clean-up) ma distrugge la preservazione (0.0 Retention); V-SoftMask preserva i guadagni (97.1 Retention) ma non riesce a guarire (24.9 Clean-up).
  • WiSE-FT (interpolazione lineare) si avvicina di più ma rimane indietro su Retention (71.0) rispetto a DG-Hard.
  • LoRA e CoFi-Tune soffrono di bassa ritenzione o preservazione non positiva su coorti specifiche.
• Allineamento alla Sicurezza: DG-Hard ripristina l'allineamento alla sicurezza degradato da un fine-tuning benigno su tre assi indipendenti (HarmBench, XSTest, StrongREJECT) senza utilizzare dati di allineamento. Ciò suggerisce che il degrado della sicurezza è anch'esso un sottoprodotto del residuo di rumore rimosso dal taglio spettrale.
• Cognizione vs Conoscenza: Il metodo mostra una forza particolare nella coorte di Cognizione (compiti di ragionamento), dove altre baseline spesso collassano sulla preservazione.

Significato e Affermazioni

Il documento afferma che una parte della perdita di capacità indotta dal fine-tuning non è una conseguenza inevitabile della specializzazione, ma piuttosto un residuo spettrale rimovibile all'interno dell'aggiornamento dei pesi stesso.

• Meccanismo: I risultati suggeriscono che il "rumore" accumulato durante il fine-tuning è funzionalmente inerte e dannoso, mentre il "segnale" è concentrato in un sottospazio a bassa dimensionalità. Rimuovendo il bulk spettrale, DG-Hard recupera le capacità senza re-addestramento.
• Generalità: Il metodo funziona senza accesso ai dati di pre-addestramento, ai dati di allineamento o agli iperparametri originali di addestramento, basandosi esclusivamente sui checkpoint base e di fine-tuning.
• Sicurezza: Il recupero inaspettato dell'allineamento alla sicurezza implica che sicurezza e capacità sono legate attraverso la stessa struttura spettrale, e che un fine-tuning "benigno" può erodere involontariamente la sicurezza attraverso lo stesso meccanismo di rumore che erode il ragionamento.

Gli autori concludono che il dimenticamento spettrale offre una via principiale, efficiente e priva di dati per mitigare il dimenticamento catastrofico, sfidando la nozione che la specializzazione richieda necessariamente la perdita permanente di capacità generali.