Sintesi Tecnica: Una Teoria della Perturbazione Locale per l'Interferenza e il Recupero Cross-Domain nel Reinforcement Learning Multi-Dominio

Definizione del Problema

Il post-training tramite Reinforcement Learning (RL) potenzia efficacemente i Large Language Models (LLM) su domini specifici come il ragionamento matematico, la generazione di codice, le risposte a domande (QA) e la scrittura creativa (CW). Tuttavia, l'addestramento sequenziale su più domini porta spesso a un'interferenza cross-domain, in cui le prestazioni su domini precedenti degradano dopo l'addestramento su domini successivi.

Le spiegazioni esistenti per questo fenomeno, come il catastrophic forgetting (oblio catastrofico) o il global gradient conflict (conflitto di gradiente globale), sono insufficienti. Le osservazioni empiriche in questo lavoro rivelano che:

1. I coseni dei gradienti del modello completo tra i domini possono essere quasi ortogonali (vicini allo zero) anche quando si verifica una significativa degradazione delle prestazioni.
2. L'interferenza è selettiva e asimmetrica (ad esempio, l'addestramento su QA e CW degrada severamente le prestazioni di Math, mentre Code e QA rimangono stabili), piuttosto che un oblio uniforme.
3. Le visioni globali standard non riescono a spiegare come un'interferenza sostanziale persista nonostante un debole antagonismo del gradiente globale.

La domanda centrale affrontata è: Dove risiede l'interferenza cross-domain se non nell'antagonismo del gradiente globale?

Metodologia e Quadro Teorico

Gli autori propongono un passaggio dall'analisi dei conflitti degli obiettivi dell'intero modello all'analisi delle rotte di computazione attiva locale. La metodologia combina l'analisi strutturale empirica con un modello di perturbazione locale.

1. Analisi Strutturale Empirica

Lo studio utilizza un setup di RL multi-dominio sequenziale (Code $\to$ Math $\to$ QA $\to$ CW) basato sul curriculum Omni-Thinker. Le principali scoperte strutturali includono:

• Aggiornamenti Sparsi e di Piccola Entità: L'RL specifico per dominio induce modifiche sparse, con il 77%–89% dei parametri che mostra cambiamenti assoluti trascurabili ($<10^{-7}$) e cambiamenti relativi ($<10^{-3}$).
• Debole Sovrapposizione di Modifica: Gli insiemi di neuroni con le variazioni maggiori tra i diversi domini presentano una bassa sovrapposizione di Jaccard (media < 0,19), escludendo l'ipotesi che l'interferenza derivi dalla riscrittura degli stessi neuroni.
• Rotte Attive Condivise: Nonostante la bassa sovrapposizione di modifica, i domini orientati al ragionamento (Math, Code, QA) condividono sostanziali rotte di computazione attiva (top 5% dei neuroni attivi) durante l'inferenza.
• Conflitto Direzionale: Su queste rotte attive condivise, le direzioni di aggiornamento variano. Mentre alcune coppie (ad es., Code-Math) sono allineate, altre (ad es., Math-QA) mostrano un conflitto dipendente dallo strato, in cui le direzioni di aggiornamento sono antagoniste in specifici strati.

2. Teoria della Perturbazione Locale

Guidati da queste osservazioni, gli autori formalizzano un modello di perturbazione locale con tre proposizioni fondamentali:

• Danno di Secondo Ordine: Poiché il checkpoint dopo l'addestramento sul dominio $A$ è approssimativamente stazionario per il suo obiettivo locale, l'effetto principale di un aggiornamento successivo $\delta_B$ è un termine di danno di secondo ordine ($\frac{1}{2}\delta_B^\top H_A \delta_B$), non un conflitto di gradiente di primo ordine.
• Subspazio di Conflitto Attivo a Bassa Dimensionalità: Questo danno è concentrato in un subspazio di conflitto attivo condiviso a bassa dimensionalità ($S_{A,B}$). Anche se i gradienti globali sono ortogonali e le modifiche sono sparse, l'interferenza avviene se la proiezione dell'aggiornamento del dominio successivo su questo subspazio sensibile è elevata.
• Contrazione Geometrica tramite Refresh: Un breve "refresh" (ri-addestramento) sul dominio danneggiato $A$ contrae geometricamente la componente dannosa all'interno di $S_{A,B}$. Sotto l'assunzione di curvatura positiva nel subspazio e di un debole accoppiamento dalle direzioni ortogonali, lo spostamento dannoso decade esponenzialmente con il numero di step di refresh, permettendo un recupero selettivo senza un ri-addestramento completo.

Contributi Chiave

1. Spiegazione Meccanicistica dell'Interferenza: Il documento dimostra che la degradazione cross-domain è guidata non dal conflitto di gradiente globale o dalla modifica diretta dei neuroni, ma da modifiche RL sparse che interagiscono lungo le rotte di computazione attiva condivise.
2. Formalizzazione Teorica: Formalizza il meccanismo come danno di secondo ordine concentrato in un subspazio di conflitto attivo condiviso a bassa dimensionalità. Ciò spiega perché gradienti globali quasi ortogonali possano coesistere con una degradazione selettiva.
3. Validazione del Recupero Selettivo: La teoria prevede che un breve refresh sul dominio danneggiato possa recuperare le prestazioni contraendo la componente del subspazio dannoso, limitando al contempo i danni collaterali agli altri domini.

Risultati Sperimentali

Gli autori validano la loro teoria attraverso due approcci complementari:

A. Recupero a Livello di Task (Short Refresh)

• Setup: Dopo l'addestramento sequenziale (Code $\to$ Math $\to$ QA $\to$ CW), le prestazioni di Math sono scese da 66,49 a 57,66.
• Intervento: Un breve refresh "Re-Math" è stato applicato al checkpoint finale ($CWo$).
• Risultato: Le prestazioni di Math sono recuperate a 66,04 (vicino all'esperto del singolo dominio di 66,84), mentre le prestazioni di Code, QA e CW sono rimaste ampiamente stabili.
• Esito: Il punteggio medio in tutti i domini ha raggiunto 66,39, superando sia il baseline sequenziale che i baseline a dominio misto (JT e CGPO). Ciò conferma che l'interferenza è reversibile tramite correzione localizzata.

B. Intervento Diretto (Training-Free Rollback)

• Setup: Per testare direttamente la tesi della localizzazione, gli autori hanno eseguito un rollback senza addestramento sulla coppia Math-QA. Hanno identificato un insieme sparso di "coordinate di conflitto proxy" basandosi su tre segnali: attivazione condivisa, magnitudo di aggiornamento e conflitto direzionale.
• Intervento: Hanno revertito lo spostamento indotto da QA solo su queste coordinate selezionate (2% dei neuroni MLP).
• Risultato: Questo rollback sparso ha recuperato il 20,4% della perdita di Math (da 59,90 a 61,25) con un impatto trascurabile sulle prestazioni di QA. Estendendo il rollback per includere gli strati di attenzione, il recupero è salito al 73,6% con un budget del 32%.
• Significato: Ciò fornisce una prova diretta che la componente dannosa dell'interferenza cross-domain è localizzata e può essere parzialmente invertita senza ri-addestramento.

Significato e Rivendicazioni

Il documento sostiene di fornire un account meccanicistico localizzato dell'interferenza e del recupero nel RL multi-dominio. La sua importanza risiede nel:

• Confutare le Spiegazioni Globali: Stabilisce che l'ortogonalità del gradiente globale non garantisce la sicurezza dall'interferenza, poiché il danno è un fenomeno localizzato di secondo ordine.
• Implicazione Pratica: Suggerisce che un miglioramento multi-dominio stabile potrebbe non richiedere complessi tuning di miscelazione dei dati o programmi di replay progettati a mano. Inveve, brevi refresh mirati sui domini degradati possono recuperare efficacemente le prestazioni con effetti collaterali limitati.
• Approfondimento Teorico: Colma il divario tra aggiornamenti dei parametri sparsi e interferenza funzionale, mostrando che il "conflitto" risiede nell'allineamento degli aggiornamenti sulle rotte attive condivise piuttosto che nello spazio dei parametri globale.

Gli autori rimangono modesti, notando che il loro intervento sul subspazio di conflitto è attualmente basato su una proxy grossolana e che sono necessari lavori futuri per automatizzare la rilevazione dei domini degradati e identificare precisamente il subspazio di conflitto latente per interventi più efficienti.