Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

Titolo: Joint Flashback Adaptation per un Instruction Tuning Resistente all'Oblio

1. Il Problema: L'Oblio Catastrofico nel Fine-Tuning Incrementale

I Large Language Models (LLM) hanno dimostrato prestazioni eccezionali in vari compiti. Tuttavia, nell'applicazione reale, è necessario adattare continuamente questi modelli a nuovi compiti incrementali per allinearsi alle preferenze umane e seguire nuove istruzioni.
Il problema centrale affrontato è l'oblio catastrofico (catastrophic forgetting): quando un modello viene addestrato su nuovi compiti, tende a dimenticare drasticamente le conoscenze acquisite sui compiti precedenti.

Le soluzioni esistenti presentano limitazioni significative:

• Metodi basati sul Replay: Richiedono l'accesso ai dati di addestramento originali (spesso non disponibili per motivi di privacy o perché i modelli open-source rilasciano solo i parametri).
• Metodi basati sulla Regularizzazione: Spesso portano a vincoli sottodimensionati o sovradimensionati, richiedendo comunque l'accesso a campioni passati per calcolare le funzioni di perdita.
• Metodi PEFT e Adapter: Richiedono spesso la differenziazione esplicita del tipo di compito (Task-ID), riducendo la flessibilità e la generalizzazione.

L'obiettivo è adattare un modello LLM già allineato a nuovi compiti preservando le sue capacità sui vecchi compiti, senza accedere ai dati di replay originali e senza richiedere la differenziazione dei task.

2. Metodologia: Joint Flashback Adaptation (JFA)

Gli autori propongono JFA, un metodo che combina l'uso di "flashback" (prompts limitati dei vecchi task) con l'apprendimento congiunto di task latenti.

Componenti Chiave:

• Flashback (Prompts dei vecchi task):

  • Invece di riutilizzare interi dataset, JFA utilizza un numero limitato di prompts (istruzioni di input) estratti casualmente dai set di validazione dei vecchi task.
  • Nota cruciale: Non sono necessari i target (etichette) per questi flashback, solo i prompt.
  • Viene introdotta una funzione di perdita di divergenza ($L_{DIV}$) che penalizza il modello se le sue risposte ai prompt di flashback deviano troppo rispetto alle risposte generate dal modello originale (modello di riferimento). Questo vincola lo spostamento delle conoscenze.

• Apprendimento Congiunto di Task Latenti (Joint Task Learning - JTL):

  • Per affrontare la scarsità di dati nei flashback e facilitare la condivisione della conoscenza, JFA introduce task latenti che fungono da interpolazione tra i flashback e i nuovi task.
  • Ogni task latente è rappresentato da una coppia: una chiave (vettore di embedding) e un incremento di peso ($\Delta\theta$).
  • Meccanismo di Recupero: Per ogni campione di addestramento (nuovo o flashback), il sistema codifica l'input e recupera i $k$ task latenti più simili tramite similarità cosena.
  • Aggiornamento dei Parametri: I parametri del modello vengono aggiornati non solo sui dati reali, ma anche interpolando gli incrementi di peso dei task latenti recuperati. Questo permette al modello di "condividere" conoscenze tra task correlati, mitigando la sparsità dei dati.

• Proiezione del Gradiente (PCGrad):

  • Per gestire i conflitti tra l'obiettivo di apprendere nuovi task e quello di ridurre l'oblio, viene utilizzata la proiezione del gradiente (PCGrad) per allineare le direzioni di aggiornamento dei gradienti, evitando che l'ottimizzazione per un compito danneggi l'altro.

Obiettivo di Addestramento:
La funzione di perdita totale combina:

1. $L_{SFT}$: Cross-entropy standard sui nuovi task.
2. $L_{DIV}$: Divergenza KL sui prompt di flashback (per preservare le vecchie capacità).
3. Un fattore di bilancamento $\alpha$ e l'aggiunta dinamica degli incrementi di peso dai task latenti.

3. Contributi Principali

1. Proposta di JFA: Un metodo di apprendimento continuo che richiede solo pochi prompt di flashback (senza dati di replay o ingegneria dati complessa) ed è agnostico rispetto al task (non richiede ID di task).
2. Apprendimento Congiunto: L'introduzione di task latenti permette di colmare il divario di dati tra flashback e nuovi task, facilitando la condivisione della conoscenza e migliorando l'adattamento.
3. Validazione Sperimentale: Dimostrazione empirica che i flashback mitigano l'oblio e che l'apprendimento congiunto migliora la generalizzazione su nuovi compiti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli SOTA (Vicuna-13B e Llama-3.1-8B) su oltre 1000 task, inclusi:

• Istruzioni (SNI - Super Natural Instructions): Per valutare la generalizzazione.
• Ragionamento Matematico (GSM-8K, SVAMP).
• Ragionamento Generale (ARC-Challenge, BIG-Bench-Hard, MMLU-Pro).

Risultati Chiave:

• Prestazioni Superiori: JFA ha ottenuto le migliori prestazioni sui nuovi task (SNI) rispetto a SFT (Fine-Tuning Supervisivo), PACE, Replay, FROMP e SLM.
• Riduzione dell'Oblio: Su compiti vecchi (es. GSM-8K, BBH), JFA ha mantenuto prestazioni superiori o paragonabili ai metodi basati su Replay (che usano migliaia di campioni), pur utilizzando solo 30 prompt di flashback (senza etichette).
• Analisi dei Componenti:
  • L'uso di Joint Task Learning ha migliorato le prestazioni sia sui nuovi che sui vecchi task.
  • L'uso di Flashback è essenziale: senza di essi, le prestazioni sui vecchi task crollano.
  • È sufficiente un numero molto ridotto di prompt (10-20) per preservare le capacità del modello.
  • Il parametro $\alpha$ bilancia efficacemente il trade-off tra plasticità (nuovi task) e stabilità (vecchi task).

5. Significato e Implicazioni

Il lavoro di JFA rappresenta un passo significativo verso l'adattamento pratico e scalabile degli LLM:

• Privacy e Costi: Elimina la necessità di archiviare o riutilizzare grandi quantità di dati di addestramento privati o costosi, rendendo il metodo applicabile in scenari reali dove i dati originali non sono accessibili.
• Generalizzazione: Essendo agnostico rispetto al task, non richiede una gestione complessa delle identità dei task durante l'inferenza o l'addestramento.
• Efficienza: Dimostra che la conoscenza può essere preservata ed evoluta con un overhead computazionale e di dati minimo, utilizzando solo pochi esempi di "flashback" e un meccanismo di interpolazione latente intelligente.

In sintesi, JFA offre una soluzione robusta al dilemma stabilità-plasticità, permettendo agli LLM di imparare continuamente nuove abilità senza sacrificare le competenze pregresse, superando i limiti delle attuali tecniche di replay e regularizzazione.