Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

Sintesi Tecnica: Conflitto Geometrico: Spiegare e Controllare l'Oblio nel Post-Training Continuo dei LLM

Enunciato del Problema
Il post-training continuo mira ad estendere i Modelli Linguistici di Grandi Dimensioni (LLM) con nuove conoscenze, abilità e comportamenti attraverso una sequenza di aggiornamenti. Tuttavia, questo processo affronta la sfida dell'oblio catastrofico, in cui l'apprendimento di un nuovo compito mina le capacità precedentemente acquisite. Le strategie di mitigazione esistenti—come il fine-tuning sequenziale, i metodi basati sul replay, la regolarizzazione e la fusione dei modelli—spesso mancano di criteri principiali per determinare quando un nuovo aggiornamento dei parametri debba essere integrato. Nello specifico, non è chiaro quando gli aggiornamenti sequenziali permettano il trasferimento di capacità e quando invece causino interferenze. I metodi attuali fanno spesso affidamento su metriche grezze come la magnitudine dell'aggiornamento o la compatibilità isolata tra coppie, che non riescono a spiegare o controllare pienamente l'oblio in contesti eterogenei e sequenziali.

Metodologia: Geometria del Compito e GCWM
Gli autori propongono un framework basato sulla geometria del compito per analizzare e controllare il post-training continuo.

1. Rappresentazione della Geometria del Compito: Invece di considerare gli aggiornamenti esclusivamente in base alla loro norma, il metodo rappresenta ogni compito attraverso la sua matrice di aggiornamento dei parametri $\Delta_t$. Per ogni layer, la "geometria del compito" è definita come la matrice di covarianza $C_t = \Delta_t^\top \Delta_t$, che cattura le direzioni dominanti e la struttura spettrale dell'aggiornamento.
2. Conflitto Geometrico: Il documento introduce il conflitto geometrico come una distanza normalizzata di Bures–Wasserstein tra le geometrie di covarianza dei compiti. Crucialmente, gli autori definiscono una variante relativa allo stato, che misura la discrepanza tra la geometria di un compito in arrivo e la geometria dello stato del modello in evoluzione (che incorpora già gli aggiornamenti precedenti).
3. Insight Chiave: Attraverso un'analisi empirica sui modelli Qwen3 (da 0.6B a 14B), gli autori scoprono che l'oblio è meglio spiegato come un fallimento nell'integrazione degli aggiornamenti relativa allo stato. L'oblio si verifica quando la geometria di covarianza indotta da un nuovo compito non è allineata con la geometria dello stato corrente del modello. Il trasferimento avviene quando il nuovo aggiornamento rimane compatibile con questo stato. Questo segnale relativo allo stato supera le norme grezze degli aggiornamenti, i rapporti di allineamento dei sottospazi (SAR) e i conflitti graduali tra coppie nel prevedere la perdita di ritenzione.
4. Fusione Wasserstein a Conflitto Geometrico (GCWM): Motivati da queste scoperte, gli autori propongono GCWM, un metodo di integrazione degli aggiornamenti privo di dati.
   • Costruzione della Metrica Condivisa: GCWM costruisce una metrica Wasserstein condivisa per l'insieme corrente di compiti attivi utilizzando baricentri di Wasserstein Gaussiani.
   • Correzione a Cancellazione del Conflitto: Calcola un punteggio di conflitto geometrico a livello di layer. Questo punteggio governa un ramo di correzione consapevole della geometria. Se il conflitto è alto (indicando incompatibilità), il metodo trattiene l'integrazione dell'aggiornamento consapevole della geometria; se il conflitto è basso, permette un'integrazione più forte.
   • Aggiornamento Incrementale: Il metodo applica solo la variazione incrementale rispetto allo stato fuso precedente, assicurando che il modello evolva basandosi su cambiamenti indotti di recente e controllati dalla compatibilità.
   • Supporto Teorico: Gli autori forniscono limiti teorici che mostrano come la perdita aggiuntiva sostenuta da GCWM rispetto a una fusione semplice sia controllata dal conflitto geometrico e dallo spostamento della fusione governata.

Contributi Chiave

1. Framework Analitico: Il documento sviluppa un'analisi della geometria del compito che dimostra come l'oblio sia un fenomeno relativo allo stato, meglio spiegato dal disallineamento delle geometrie di covarianza indotte dal compito con lo stato del modello in evoluzione, piuttosto che dalla magnitudine dell'aggiornamento o dalla compatibilità isolata tra coppie.
2. Nuovo Segnale: Introduce il conflitto geometrico (una distanza di Bures–Wasserstein sulle geometrie di covarianza indotte dal compito) sia come segnale esplicativo per l'oblio sia come segnale pratico di controllo per l'integrazione degli aggiornamenti.
3. Algoritmo: Propone GCWM, un metodo privo di dati che costruisce una metrica Wasserstein condivisa e utilizza il conflitto geometrico per governare correzioni consapevoli della geometria a livello di layer.
4. Validazione Empirica: Il metodo è validato sui modelli Qwen3 (da 0.6B a 14B) in contesti continui per dominio (14 sottodomini MMLU-Pro) e continui per capacità (matematica e codice).

Risultati

• Prestazioni: GCWM supera costantemente le baseline prive di dati (inclusi Localize-and-Stitch, AIMMerging e OPCM) senza utilizzare dati di replay.
  • In contesti continui per dominio, GCWM ottiene le prestazioni complessive non-MTL (Apprendimento Multi-Compito) più forti su tutte le scale, migliorando rispetto alla migliore baseline priva di dati fino a +1.61 punti su Qwen3-1.7B.
  • In contesti continui per capacità, GCWM guida le baseline prive di dati in media sui modelli da 1.7B e 14B, mostrando guadagni significativi nella ritenzione e nelle prestazioni finali su benchmark come GSM8K, HumanEval e MMLU-Pro.
• Ablazione: Rimuovere la cancellazione del conflitto o sostituire il baricentro di Wasserstein con una semplice metrica media degrada le prestazioni, confermando la necessità sia della metrica condivisa sia del meccanismo di cancellazione controllato dal conflitto.
• Scalabilità: Il metodo rimane efficace su diverse scale di modelli, con il segnale geometrico relativo allo stato che diventa un predittore più forte dell'oblio all'aumentare delle dimensioni del modello (ad esempio, la correlazione con la perdita di ritenzione raggiunge -0.86 per Qwen3-14B).

Significato e Affermazioni
Il documento afferma che il conflitto geometrico svolge un doppio ruolo:

1. Esplicativo: Fornisce una spiegazione meccanicistica dell'oblio catastrofico, identificandolo come un fallimento nell'integrazione degli aggiornamenti relativa allo stato piuttosto che come una semplice deriva dei parametri.
2. Di Controllo: Agisce come un segnale pratico e privo di dati per controllare quanto fortemente gli aggiornamenti sequenziali vengano integrati.

Gli autori posizionano GCWM come un metodo che rende l'adattamento continuo dei LLM più pratico riducendo la dipendenza dai dati di replay. Sottolineano che, sebbene il metodo migliori la ritenzione e le prestazioni, opera nello spazio degli aggiornamenti dei parametri e non fornisce intrinsecamente garanzie di sicurezza; pertanto, dovrebbe essere combinato con controlli di sicurezza standard. Il lavoro suggerisce che comprendere la struttura spettrale e geometrica degli aggiornamenti è fondamentale per gestire il compromesso tra l'apprendimento di nuove capacità e il mantenimento di quelle esistenti nei modelli linguistici di grandi dimensioni.