Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Riepilogo Tecnico: Origini Meccanicistiche della Dimenticanza Catastrofica

Enunciato del Problema
L'addestramento fine (fine-tuning) di grandi modelli linguistici (LLM) per nuove attività downstream induce frequentemente la dimenticanza catastrofica, dove i guadagni su un nuovo obiettivo avvengono a scapito delle capacità precedenti. Sebbene recenti studi comportamentali suggeriscano che l'Apprendimento per Rinforzo (RL) preservi le capacità precedenti in modo più efficace rispetto all'Addestramento Fine Supervisionato (SFT) — attribuendo ciò al fatto che gli aggiornamenti del gradiente della politica rimangono più vicini alla politica di base in termini di deriva distribuzionale (misurata dalla divergenza KL) — le ragioni meccanicistiche interne di questa differenza rimangono inesplorate. La domanda centrale affrontata è se il vantaggio di ritenzione dell'RL sia riflesso da una più forte conservazione dei circuiti computazionali interni (testine di attenzione, livelli MLP e percorsi residui) che implementano le capacità del modello.

Metodologia
Gli autori investigano questa domanda utilizzando Qwen2.5-3B-Instruct adattato a un compito di risposta a domande scientifiche. La pipeline sperimentale consiste in tre fasi:

1. Riproduzione Comportamentale: Lo studio riproduce il noto divario di ritenzione tra SFT e RL. Un modello di base ($\pi_{base}$) viene sottoposto a addestramento fine tramite una funzione di perdita di entropia incrociata solo per il completamento per creare un modello SFT ($\pi_{SFT}$). Questo modello SFT viene quindi raffinato utilizzando Dr.GRPO (una variante dell'Ottimizzazione della Politica Relativa di Gruppo) per creare un modello RL ($\pi_{RL}$). La deriva comportamentale è quantificata utilizzando la divergenza KL attesa su benchmark di ritenzione.
2. Identificazione del Circuito: Gli autori impiegano il Masking Binario Differenziale (DBM) per identificare circuiti computazionali interni a livello di testina di attenzione. Il DBM apprende una maschera sulle testine di attenzione che interpola tra le attivazioni di base e quelle controfattuali. Ottimizzando queste maschere per aumentare la probabilità delle risposte target mantenendo la sparsità, il metodo isola sottoreti causali sparse (circuiti) responsabili di comportamenti specifici.
3. Confronto dei Circuiti Cross-Modello: Lo studio introduce la vulnerabilità differenziale del circuito, una misura a livello di testina che confronta quanto un circuito si degrada sotto diversi obiettivi di addestramento. Le metriche chiave includono:
   • Fedeltà del Circuito: Il rapporto tra il comportamento recuperato dal sottografo estratto e il comportamento del modello completo.
   • Spostamenti della Maschera a Livello di Testina ($\Delta m_h$): Confronto dei valori di maschera dei modelli sottoposti a addestramento fine rispetto al modello di base per identificare testine preservate, amplificate o indebolite.
   • Necessità e Sufficienza: Interventi che misurano il calo del log-probabilità quando una testina viene disturbata (necessità) e il comportamento recuperato quando solo quella testina è attiva (sufficienza).

Contributi Chiave

• Vulnerabilità Differenziale del Circuito: Il documento introduce una nuova metrica per quantificare la suscettibilità relativa dei sottografi computazionali interni al degrado sotto diversi obiettivi di addestramento (SFT vs. RL).
• Spiegazione Meccanicistica della Dimenticanza: Il lavoro estende la spiegazione comportamentale della superiorità dell'RL rispetto all'SFT al livello meccanicistico, dimostrando che l'RL preserva una frazione più ampia del circuito di base rispetto all'SFT.
• Caratterizzazione del Trade-off: Lo studio caratterizza un trade-off fondamentale nel post-addestramento: l'SFT si adatta più rapidamente al compito target ma produce un sostanziale disturbo del circuito, mentre l'RL preserva il circuito di base a scapito di un'adattazione al compito più lenta.

Risultati

• Traiettorie di Ritenzione del Circuito: In due epoche di addestramento, SFT e RL divergono nettamente. L'SFT trattiene solo il 63,5% delle testine di attenzione di base dopo l'Epoca 1, scendendo al 59,0% entro l'Epoca 2. Al contrario, l'RL trattiene il 69,8% dopo l'Epoca 1 e si riprende fino al 72,5% entro l'Epoca 2, mantenendo un vantaggio di 13,5 punti percentuali nella ritenzione del circuito di base.
• Compressione Strutturale vs. Adattamento Distribuito: Il DBM identifica un circuito di base di 297 testine. Il modello SFT subisce una compressione strutturale a circa 265 testine (46,0% del totale), mentre il modello RL mantiene circa 296 testine (51,4%). L'SFT concentra il comportamento del nuovo compito in un insieme più ridotto di "specialisti critici" (alta necessità e sufficienza), mentre l'RL mantiene un'architettura distribuita che sovrappone strettamente il modello di base.
• Coinvolgimento Causale: L'RL mantiene punteggi di Mediazione Causale Differenziale (DCM) costantemente più alti (ad esempio, 15,8 contro 10,4 all'Epoca 1), indicando che il circuito preservato nell'RL trasporta un segnale causale più forte riguardo al comportamento del modello rispetto all'SFT.
• Metriche di Output vs. Interne: Notabilmente, il modello RL presenta una divergenza KL nello spazio di output più ampia rispetto al modello SFT, eppure preserva più capacità precedenti e struttura del circuito interno. Ciò suggerisce che le metriche nello spazio di output potrebbero non prevedere in modo affidabile la dimenticanza interna.

Significato
Il documento afferma che la conservazione del circuito offre una spiegazione meccanicistica del motivo per cui l'RL è più robusto alla dimenticanza catastrofica rispetto all'SFT. I risultati suggeriscono che l'adattamento continuo dovrebbe essere considerato non semplicemente come ottimizzazione dei parametri, ma come la conservazione selettiva e la modifica dei circuiti che codificano le abilità. I risultati indicano un trade-off in cui l'SFT agisce come un "compressore" che riconfigura aggressivamente i circuiti per una specializzazione rapida, mentre l'RL agisce come un "adattatore distribuito" che riutilizza conservativamente le rappresentazioni esistenti. Questa prospettiva fornisce una base per comprendere le cause interne della dimenticanza e suggerisce che i futuri metodi di adattamento potrebbero beneficiare della combinazione di apprendimento efficiente con la conservazione selettiva dei circuiti.

Limitazioni
Gli autori notano che lo studio è limitato a una singola architettura di modello (Qwen2.5-3B-Instruct) e a un insieme specifico di compiti (QA scientifica). L'analisi del circuito si concentra principalmente sulle testine di attenzione, escludendo i livelli MLP e le caratteristiche del flusso residuo. La generalizzabilità ad altre architetture (ad esempio, Gemma, Mistral, Llama) e a domini di capacità più ampi rimane da validare.