Riepilogo Tecnico: Slice – Inizializzazione di Adattatori a Rango Basso tramite Chirurgia dei Gradienti per l'Apprendimento Continuo

1. Formulazione del Problema

Il documento affronta la sfida dell'oblio catastrofico nell'apprendimento continuo (CL) dei Modelli Linguistici di Grande Dimensione (LLM) utilizzando l'Adattamento a Rango Basso (LoRA). Sebbene LoRA sia efficiente per il fine-tuning, gli schemi di inizializzazione standard (ad esempio, Gaussiana casuale per la matrice $A$ e zeri per $B$) sono "ciechi" rispetto alla struttura di conflitto tra i compiti.

In un contesto continuo, quando il gradiente di un nuovo compito ($G_{cur}$) entra in conflitto con i gradienti dei compiti appresi in precedenza ($G_{prev}$)—indicato da un prodotto interno di Frobenius negativo—i passi di ottimizzazione standard che migliorano il compito corrente degradano inevitabilmente le prestazioni sui compiti precedenti. I metodi di inizializzazione esistenti come LoRA-GA (che utilizza il gradiente del compito corrente) o i metodi spettrali (come PiSSA o MiLoRA) non tengono conto della preservazione della conoscenza precedente durante la fase di inizializzazione. Di conseguenza, l'adattatore viene inizializzato in un sottospazio che potrebbe sovrascrivere immediatamente le direzioni apprese in precedenza.

2. Metodologia: Slice

Gli autori propongono Slice (Inizializzazione a Rango Basso basata su Chirurgia dei Gradienti per l'Apprendimento Continuo), un metodo che inizializza gli adattatori LoRA in un sottospazio allineato con il compito corrente, minimizzando al contempo l'interferenza distruttiva con i compiti precedenti. Il metodo opera in quattro fasi prima di qualsiasi addestramento:

1. Stima del Gradiente: Il modello calcola le matrici dei gradienti per il compito corrente ($G_{cur}$) e un campione di compiti precedenti ($G_{prev}$) accumulando i gradienti su piccoli mini-batch. Questo richiede solo un passaggio avanti-indietro leggero.
2. Riconciliazione dei Gradienti (Chirurgia): Un operatore di proiezione $\psi$ riconcilia $G_{cur}$ e $G_{prev}$ per produrre una direzione priva di conflitti $\tilde{G}_{cur}$. Gli autori adottano una generalizzazione di PCGrad (Yu et al., 2020):
   $$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$$
   Qui, $c \in [0, 1]$ è un iperparametro. Se i gradienti sono in conflitto (prodotto interno negativo), la componente di $G_{cur}$ parallela a $G_{prev}$ viene rimossa; altrimenti, $G_{cur}$ rimane invariata.
3. Decomposizione a Rango Basso: Il gradiente riconciliato $\tilde{G}_{cur}$ subisce una Decomposizione ai Valori Singolari (SVD) troncata. Le matrici dell'adattatore vengono inizializzate come:
   • $B = U_{:, :r}$ (primi $r$ vettori singolari sinistri).
   • $A = (V_{:, r:2r})^\top$ (vettori singolari destri dal rango $r+1$ a $2r$).
   • Nota: Gli autori adottano la fattorizzazione specifica utilizzata in LoRA-GA (utilizzando i vettori singolari destri dall'$(r+1)$-esimo al $2r$-esimo per $A$), notando che, sebbene teoricamente non ovvia, è stata validata empiricamente in lavori precedenti come efficace per le inizializzazioni.
4. Ridimensionamento della Magnitudine: Per controllare i fattori confondenti relativi alla magnitudine dell'aggiornamento (come identificato da Zhang et al., 2026), i pesi inizializzati vengono ridimensionati per corrispondere alla varianza dei pesi pre-addestrati, garantendo che i guadagni di prestazioni siano dovuti alla selezione del sottospazio piuttosto che a un'amplificazione implicita della magnitudine.

3. Contributi Chiave

• Inizializzazione Slice: Una strategia di inizializzazione innovativa che integra la chirurgia dei gradienti nella fase di configurazione di LoRA, riconciliando esplicitamente i gradienti dei compiti attuali e passati prima dell'inizio dell'addestramento.
• Benchmark NI-Seq-Opposite: Gli autori introducono NI-Seq-Opposite, un insieme di tre sequenze avversarie a 5 compiti estratte dal pool Super-NI. Queste sequenze sono costruite tramite una ricerca combinatoria esaustiva per minimizzare la media della similarità del coseno dei gradienti a coppie, creando uno scenario di apprendimento continuo "difficile" in cui i compiti consecutivi hanno gradienti massimamente opposti.
• Protocollo di Valutazione Rigoroso: Il documento valuta Slice rispetto a Vanilla LoRA, LoRAM e LoRA-GA sul benchmark TRACE e sulle sequenze standard/adversarial Super-NI. Crucialmente, tutti i confronti impiegano un ridimensionamento della magnitudine con varianza abbinata per isolare gli effetti della selezione del sottospazio dagli artefatti di magnitudine.

4. Risultati Sperimentali

Valutati su Llama-3.2-3B-Instruct con rango LoRA $r=64$ (e verificati a $r=128$), i risultati dimostrano:

• Trade-off Stabilità-Plasticità: Slice raggiunge costantemente un trade-off superiore rispetto ai baseline. Sulle sequenze avversarie NI-Seq-Opposite, Slice (con $c=1.0$) ha migliorato le Prestazioni Finali (FP) fino a +22,55 punti (su G2) e +16,97 punti (su Opp1) rispetto a Vanilla LoRA, riducendo l'Oblio (Fgt) fino a 20,75 punti.
• Confronto con LoRA-GA: Sebbene LoRA-GA superi già Vanilla LoRA, Slice potenzia ulteriormente questi guadagni, in particolare nella riduzione dell'oblio su sequenze con alta interferenza inter-compito.
• Generalizzazione (GP/IP): Slice comporta solo riduzioni marginali nelle Prestazioni Generali (GP) e nelle Prestazioni in Contesto (IP) rispetto a Vanilla LoRA. Gli autori notano che il trade-off è asimmetrico: piccoli costi nelle capacità generali producono guadagni sostanziali nella ritenzione dei compiti.
• Sensibilità agli Iperparametri: Il parametro $\alpha$ (fattore di scala) può essere sintonizzato per recuperare parte delle perdite GP/IP senza influenzare significativamente le metriche di ritenzione del compito, fungendo da manopola di controllo per l'equilibrio tra generalizzazione e ritenzione.

5. Significato e Affermazioni

Il documento afferma che l'inizializzazione è un punto di intervento consequenziale ma sottoutilizzato per l'apprendimento continuo. Eseguendo un singolo passaggio leggero di chirurgia dei gradienti prima dell'addestramento, Slice indirizza il sottospazio dell'adattatore lontano dalle direzioni che sovrascriverebbero la conoscenza dei compiti precedenti.

Gli autori sottolineano che Slice è componibile: non sostituisce le strategie di tempo di addestramento (come vincoli di ortogonalità o buffer di replay), ma funge da sostituzione diretta per la fase di inizializzazione che può essere combinata con qualsiasi algoritmo CL a valle. L'introduzione di NI-Seq-Opposite fornisce un test di stress controllato per valutare la robustezza all'interferenza inter-compito, colmando una lacuna nei benchmark standard dove le sequenze di compiti sono spesso costruite senza un'esplicita considerazione del conflitto dei gradienti.

Il lavoro conclude che, sebbene il metodo comporti un sovraccarico computazionale non trascurabile durante la configurazione (accumulo di gradienti e SVD), i guadagni di stabilità risultanti rendono l'adattamento sequenziale più efficiente dal punto di vista delle risorse, riducendo la necessità di riaddestramento completo o meccanismi di replay complessi per mitigare l'oblio.