Riepilogo Tecnico: CRAFT – Adattamento Basato su Interventi Consapevoli dell'Oblio per l'Apprendimento Continuo

1. Enunciato del Problema

I Large Language Models (LLM) soffrono di oblio catastrofico quando vengono adattati a nuovi compiti tramite fine-tuning. Ciò accade perché il fine-tuning standard aggiorna gli stessi parametri che codificano le conoscenze pregresse, creando un compromesso intrinseco tra plasticità (apprendimento di nuovi compiti) e stabilità (conservazione di quelli vecchi). Le soluzioni esistenti—come la regolarizzazione (ad es. EWC), i meccanismi di replay o i vincoli architetturali come i pool LoRA—operano nello spazio dei parametri, dove origina il conflitto. Questi metodi spesso richiedono meccanismi di gating appresi (che sono essi stessi suscettibili all'oblio) o riferimenti fissi che non riescono a catturare la conoscenza condivisa in evoluzione.

Il documento ipotizza che l'apprendimento continuo debba essere ripensato non come un problema di competizione tra parametri, ma come l'organizzazione e il controllo di interventi a livello di rappresentazione. Mantenendo i pesi del backbone congelati e modificando le rappresentazioni nascoste in un sottospazio a basso rango, viene rimossa la fonte dell'interferenza a livello di pesi. Tuttavia, persistono sfide nell'apprendimento basato su rappresentazioni: come condividere la capacità tra compiti simili senza costringere compiti non correlati a competere, come instradare i compiti senza un gate appreso e come controllare l'oblio durante l'adattamento senza limitare l'efficienza.

2. Metodologia: CRAFT

CRAFT (Continual Representation-Anchored Fine-Tuning) è un framework che esegue instradamento, adattamento e fusione interamente nello spazio delle rappresentazioni senza modificare i pesi del modello. Sfrutta LoReFT (Low-rank Linear Subspace ReFT), che modifica gli stati nascosti $h^{(l)}$ in posizioni specifiche di token utilizzando una funzione di intervento a basso rango $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$.

Il framework opera in tre fasi unificate guidate da un singolo segnale di divergenza Kullback–Leibler (KL):

A. Architettura degli Interventi

CRAFT suddivide gli interventi su due flussi di prompt all'interno del flusso residuo:

1. flusso f: Applicato ai primi $t_{pos}$ token (prefisso), codifica le istruzioni.
2. flusso l: Applicato agli ultimi $t_{pos}$ token (suffisso), dove l'output viene impegnato.
   I compiti all'interno di un gruppo di compiti simili $S_k$ condividono uno stato di intervento comune $\phi_{S_k}$, mentre i compiti in gruppi diversi rimangono isolati.

B. Instradamento Deterministico (Senza Gate Appresi)

Invece di un instradatore addestrabile, CRAFT utilizza la divergenza della distribuzione di output per assegnare i compiti:

1. Riscaldamento: Un nuovo compito $\tau_t$ subisce un breve riscaldamento ($S_{wu}$ passi) da un seme casuale condiviso per produrre un intervento provvisorio $\tilde{\phi}^{(t)}$.
2. Calcolo della Distanza: La distribuzione di output $\pi_{\tilde{\phi}^{(t)}}$ viene confrontata con le distribuzioni memorizzate dei gruppi esistenti $S_k$ utilizzando una distanza KL simmetrica normalizzata:
   $$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$$
   dove $D_K$ è la distanza del nuovo compito dalla baseline, $D_{G_k}$ è la distanza del gruppo dalla baseline e $D_{KG_k}$ è la distanza tra il compito e il gruppo.
3. Assegnazione: Se $d(t, k) \le \delta$, il compito si unisce al gruppo $S_k$. Altrimenti, viene seminato un nuovo gruppo. Ciò non richiede parametri di instradamento addestrabili né identificatori di compiti.

C. Adattamento e Fusione Regolarizzati da KL

Una volta assegnato a un gruppo $S_k$:

1. Ancoraggio: Lo stato corrente del gruppo $\phi_{S_k}$ viene congelato come un ancoraggio $\phi_{anchor}$.
2. Addestramento: L'intervento del compito $\phi^{(t)}$ viene addestrato sul nuovo compito con una funzione di perdita:
   $$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$$
   Il termine KL agisce come un segnale unificato che:
   • Regolarizza l'addestramento per prevenire la deriva dalla conoscenza pregressa del gruppo.
   • Prevede l'oblio: In base a leggi empiriche (Shenfeld et al., 2025), un'alta divergenza KL è correlata all'oblio. Se la KL media dell'epoca iniziale supera una soglia $\eta$, il compito viene espulso in un nuovo gruppo.
3. Fusione: Al convergere, il $\phi^{(t)}$ addestrato sovrascrive lo stato condiviso $\phi_{S_k}$.

3. Contributi Chiave

1. Apprendimento Continuo a Livello di Intervento: CRAFT è il primo framework che esegue congiuntamente instradamento, adattamento e fusione interamente nello spazio delle rappresentazioni senza modificare i pesi del modello.
2. Instradamento Deterministico Senza Gate Appresi: Elimina la necessità di parametri di instradamento addestrabili utilizzando un breve riscaldamento e la distanza KL della distribuzione di output per assegnare i compiti, rendendo l'instradatore robusto all'oblio.
3. Controllo Unificato dell'Oblio: Introduce un singolo segnale basato su KL che regola simultaneamente la deriva dell'addestramento, prevede l'oblio e governa l'integrazione di nuove conoscenze, sostituendo euristiche disgiunte.
4. Validazione Empirica: L'approccio è stato validato su tre LLM distinti (Llama-3.2-1B, Gemma-2B, Llama-2-7B) e su benchmark diversificati (TRACE, Math-LLM, sequenze O-LoRA).

4. Risultati Sperimentali

CRAFT è stato valutato rispetto a baseline solide tra cui SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA e metodi recenti come SAPT e TASL.

• Miglioramenti delle Prestazioni: CRAFT migliora le Prestazioni Complessive (OP) fino all'8,03% (su Llama-3.2-1B) rispetto ai migliori metodi dello stato dell'arte.
• Riduzione dell'Oblio: Riduce il tasso di oblio del Trasferimento Inverso (BWT) fino al 6,49%. Sul flusso di 15 compiti con Llama-3.2-1B, CRAFT ha raggiunto un BWT del 2,60% rispetto al 6,41% di TreeLoRA e al 10,99% di O-LoRA.
• Efficienza Parametrica: CRAFT utilizza 3,75 volte meno parametri di intervento addestrabili rispetto a solide baseline basate su LoRA. Ad esempio, su Llama-3.2-1B con 15 compiti, CRAFT ha richiesto solo 4,20M di parametri contro 15,73M per LoRA standard.
• Robustezza: Il metodo rimane robusto attraverso diverse ordinazioni dei compiti ed è insensibile alle variazioni della soglia di instradamento $\delta$ e della lunghezza del riscaldamento $S_{wu}$ all'interno di un ampio plateau.
• Invarianza tra Gruppi: L'analisi teorica ed empirica conferma che l'addestramento di un compito in un cluster non influisce sull'output di inferenza dei compiti in altri cluster, poiché lo scope dell'ottimizzatore tocca solo l'intervento del gruppo specifico.

5. Significato e Affermazioni

Il documento afferma che controllare l'adattamento nello spazio delle rappresentazioni, guidato dalla divergenza nello spazio degli output, fornisce un approccio scalabile e principiato all'apprendimento continuo.

• Riformulazione del Compromesso: Rimuovendo gli aggiornamenti dei pesi, CRAFT sposta il compromesso stabilità-plasticità da una lotta di trazione nello spazio dei parametri a un problema di organizzazione delle modifiche alle rappresentazioni.
• Controllo Principiato dell'Oblio: L'uso della divergenza KL come segnale unificato permette al sistema di misurare e controllare direttamente l'oblio invece di affidarsi a proxy.
• Scalabilità: Il framework scala con il numero di gruppi di compiti scoperti ($K$) piuttosto che con il numero totale di compiti ($T$), offrendo una soluzione più efficiente per flussi di compiti lunghi.
• Limitazioni: Gli autori riconoscono che il meccanismo di instradamento potrebbe avere difficoltà con compiti vicini al soffitto o flussi in cui i compiti sono quasi duplicati ma presentati sequenzialmente (ad es. due metà dello stesso dataset), poiché la distanza KL simmetrica potrebbe saturare. Suggeriscono che lavori futuri potrebbero coinvolgere la semina di riscaldamenti da cluster esistenti per gestire tali casi.

In sostanza, CRAFT dimostra che l'oblio catastrofico può essere efficacemente controllato a livello degli output del modello attraverso una modifica strutturata delle rappresentazioni, senza la necessità di vincolare o modificare i pesi di base sottostanti.