Riepilogo Tecnico: Apprendimento Continuo Guidato dall'Attribuzione per Modelli Linguistici di Grande Dimensione

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) addestrati su dati statici e di dominio ampio soffrono spesso di dimenticanza catastrofica quando vengono adattati a nuovi compiti tramite apprendimento continuo. Sebbene le strategie di mitigazione esistenti — come il replay dei dati, la regolarizzazione dei parametri e il congelamento di specifici livelli — abbiano mostrato un certo successo, manca loro una comprensione meccanicistica di come la conoscenza e i comportamenti specifici del compito siano distribuiti tra i parametri interni degli LLM. Di conseguenza, questi metodi non riescono a distinguere efficacemente quali parametri debbano essere preservati per mantenere la conoscenza precedente e quali debbano rimanere plastici per accogliere nuovi compiti. Questa limitazione porta spesso a interferenze, in cui gli aggiornamenti per un nuovo compito modificano involontariamente parametri critici per i compiti precedenti.

Metodologia

Gli autori propongono un framework di fine-tuning continuo guidato dall'attribuzione che sfrutta la stima dell'importanza dei parametri per modulare gli aggiornamenti del gradiente. La metodologia centrale consta di due fasi principali:

1. Stima dell'Importanza dei Parametri Elemento per Elemento

Il framework adatta la Propagazione della Rilevanza a Livello di Strato (LRP) per attribuire il logit del prossimo token previsto ai singoli parametri del modello all'interno di ogni strato Transformer.

• Adattamento ai Transformer: La LRP standard attribuisce rilevanza alle caratteristiche di input. Gli autori estendono questo concetto per quantificare il contributo dei parametri del modello (pesi e bias) nei Moduli di Feed-Forward (FFN) e Multi-Head Attention (MHA).
• Attribuzione Bilineare: Per gestire le moltiplicazioni di matrici intrinseche ai Transformer (ad esempio, $QK^T$ e $WV$), il metodo impiega un principio di attribuzione bilineare (ispirato ad AttnLRP). Questo tratta la moltiplicazione di matrici come un'operazione bilineare, distribuendo i punteggi di rilevanza tra le attivazioni di input e le matrici di pesi, soddisfacendo al contempo una proprietà di conservazione.
• Derivazione:
  • FFN: La rilevanza viene propagata attraverso i due strati lineari e la funzione di attivazione, derivando punteggi per i pesi $W_1, W_2$ e i bias $b_1, b_2$.
  • MHA: La rilevanza viene propagata attraverso il meccanismo di attenzione, derivando punteggi per i pesi di proiezione di query, chiave, valore e output ($W_Q, W_K, W_V, W_O$).
  • Supporto LoRA: Il metodo è formulato anche per modelli adattati con LoRA, calcolando la rilevanza sia per il backbone congelato sia per le matrici LoRA addestrabili ($A, B$).

2. Fine-Tuning Guidato dall'Attribuzione

I punteggi di importanza stimati sono utilizzati per costruire un prior specifico per il compito che guida il processo di ottimizzazione per i nuovi compiti.

• Costruzione del Prior: Per un nuovo compito $T_t$, il metodo stima prima una mappa di importanza specifica per il compito $R(W^{(l,t)})$ aggregando i punteggi di rilevanza normalizzati dai campioni generati correttamente.
• Aggregazione Storica: Durante l'apprendimento del compito $T_t$, il framework aggrega l'importanza da tutti i compiti precedenti ($T_1, \dots, T_{t-1}$) prendendo il massimo elemento per elemento dei loro punteggi di importanza:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Modulazione del Gradiente: La mappa di importanza aggregata agisce come un cancello per il gradiente. Il gradiente standard $\nabla W$ viene modulato come segue:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • I parametri con alta rilevanza storica (importanti per i compiti passati) ricevono un valore di cancello vicino a 0, risultando in aggiornamenti più piccoli.
  • I parametri con bassa rilevanza storica ricevono un valore di cancello vicino a 1, permettendo loro di essere aggiornati liberamente per apprendere il nuovo compito.

Contributi Chiave

1. Insight Meccanicistico: Il documento fornisce un'analisi meccanicistica che mostra come, nell'apprendimento continuo sequenziale, gli insiemi di parametri considerati "importanti" per compiti diversi diventino altamente sovrapposti nel modello finale, a differenza del fine-tuning indipendente su singoli compiti dove rimangono distinti. Questa sovrapposizione spiega l'interferenza che causa la dimenticanza catastrofica.
2. Framework di Attribuzione: Introduce una nuova applicazione della LRP per attribuire rilevanza direttamente ai parametri degli LM e non solo agli input, derivando regole di propagazione specifiche per i componenti Transformer (FFN e MHA).
3. Strategia di Modulazione del Gradiente: Il metodo proposto offre un approccio dinamico, elemento per elemento, all'apprendimento continuo che vincola selettivamente gli aggiornamenti basandosi sull'importanza appresa dei parametri, senza richiedere replay dei dati o congelamento rigido dei parametri.

Risultati Sperimentali

Il framework è stato valutato su benchmark di apprendimento continuo utilizzando Modelli Linguistici di Grande Dimensione (nello specifico Llama-3.2-Instruct-3B) in condizioni sia di full supervised fine-tuning sia di adattamento basato su LoRA.

• Prestazioni: Il metodo ha costantemente superato le baseline esistenti di apprendimento continuo (inclusi metodi di regolarizzazione, replay e congelamento).
• Ritenzione vs. Plasticità: Ha raggiunto una ritenzione superiore delle prestazioni sui compiti appresi in precedenza, mantenendo al contempo prestazioni competitive sui nuovi compiti.
• Osservazione: Gli esperimenti hanno confermato che il metodo proposto riduce efficacemente l'interferenza tra i compiti preservando i sottoinsiemi specifici di parametri critici per la conoscenza precedente.

Significato e Affermazioni

Il documento afferma che, andando oltre le strategie euristica (come il replay casuale o il congelamento dei livelli) e utilizzando invece la stima dell'importanza basata sull'attribuzione, l'apprendimento continuo per gli LLM può essere reso più efficiente ed efficace. Il significato risiede in:

• Consapevolezza Semantica: Il metodo tiene esplicitamente conto della distribuzione interna della conoscenza all'interno del modello, distinguendo tra i parametri che devono essere preservati e quelli che possono essere adattati.
• Generalizzabilità: Il framework è applicabile sia al fine-tuning con tutti i parametri sia agli scenari di fine-tuning efficiente in termini di parametri (LoRA).
• Fondamento Teorico: Colma il divario tra spiegabilità (metodi di attribuzione) e ottimizzazione (apprendimento continuo), offrendo un modo principiato per mitigare la dimenticanza catastrofica basandosi sulle rappresentazioni apprese dal modello stesso.