Riepilogo Tecnico: Modelli Linguistici Auto-Consolidanti (SCoL)

Enunciato del Problema

I Modelli Linguistici di grandi dimensioni (LLM) operano sempre più in ambienti di streaming che coinvolgono conversazioni multi-turno, agenti che utilizzano strumenti e flussi di lavoro a lungo orizzonte. Sebbene l'aumento delle dimensioni della finestra contestuale permetta ai modelli di accedere a più evidenze, ciò non garantisce che le informazioni utili vengano preservate o riutilizzate in modo efficace. I modelli spesso sottoutilizzano le evidenze distanti e peggiorano all'aumentare della lunghezza del contesto e della complessità del ragionamento. Le soluzioni esistenti si basano sul recupero esterno, su moduli di memoria ausiliari, sulla compressione con perdita di informazioni o su elaborazioni ripetute durante l'inferenza, introducendo dipendenze dalla qualità del recupero o dalla gestione della memoria.

Questo articolo ripropone l'inferenza a lungo contesto come un problema di consolidamento continuo del contesto. L'obiettivo è scrivere informazioni utili da un flusso di contesti direttamente nei pesi del modello (memoria interna), preservando al contempo le conoscenze consolidate in precedenza. Questo approccio affronta la sfida dell'interferenza catastrofica, in cui gli aggiornamenti sequenziali dei parametri della rete neurale sovrascrivono le conoscenze pregresse. I metodi classici per mitigare questo problema (ad esempio, la regolarizzazione basata su Fisher) sono spesso computazionalmente proibitivi o sensibili all'implementazione alla scala degli LLM.

Metodologia: Modelli Linguistici Auto-Consolidanti (SCoL)

Gli autori propongono SCoL, un framework post-addestramento in cui un LLM impara a generare istruzioni testuali di aggiornamento che specificano dove nella propria architettura adattarsi per un dato contesto.

Meccanismo Principale

1. Generazione di Azioni: Dato un contesto corrente $c_t$, il modello di politica $\pi_{\theta_{t-1}}$ genera un elenco testuale di unità strutturali (nello specifico, livelli Transformer) da aggiornare.
2. Adattamento: Il modello attacca moduli di Adattamento a Basso Rango (LoRA) ai livelli selezionati ed esegue un aggiornamento standard di modellazione linguistica sul contesto.
3. Stato in Deriva: A differenza del meta-apprendimento standard in cui la politica è fissa, SCoL opera sotto uno stato del modello in deriva. Ogni aggiornamento confermato modifica i parametri del modello $\theta_t$, che a sua volta altera la politica $\pi_{\theta_t}$ che genererà le future selezioni di aggiornamento.

Addestramento tramite Meta-Rinforzo

SCoL viene addestrato utilizzando un ciclo di meta-rinforzo progettato per bilanciare l'acquisizione (apprendimento del contesto corrente) e la ritenzione (prevenzione dell'oblio dei contesti precedenti).

• Ciclo Interno (Selezione e Impegno):

  • Per ogni contesto, il modello campiona $K$ azioni testuali candidate (selezioni di livelli).
  • Ogni candidato viene adattato (aggiornamento LoRA) e valutato utilizzando una funzione di ricompensa $r_t$.
  • Il candidato con la ricompensa più alta viene impegnato nei pesi del modello in esecuzione.
  • Le coppie di preferenza vengono costruite dalle ricompense dei candidati per formare un dataset per il ciclo esterno.

• Ciclo Esterno (Aggiornamento della Politica):

  • I parametri della politica pre-adattamento $\theta_0$ vengono aggiornati utilizzando l'Ottimizzazione della Preferenza Identitaria (IPO) sui dati di preferenza accumulati.
  • Questo aggiorna l'inizializzazione della politica in modo che le sue future esecuzioni generino selezioni migliori per la posizione degli aggiornamenti.

Istanze di Ricompensa

Il framework supporta due regimi di ricompensa:

1. Supervisionato (SQuAD): La ricompensa combina l'accuratezza QA a valle sul contesto corrente (acquisizione) e il degrado dell'accuratezza su query precedenti tenute da parte (oblio).
2. Intrinseco (LongBench v2): Per flussi non etichettati, la ricompensa si basa sull'aumento della verosimiglianza logaritmica del contesto corrente (acquisizione) e sul calo normalizzato della verosimiglianza logaritmica dei contesti passati (oblio).

Contributi Chiave

1. Riformulazione dell'Inferenza a Lungo Contesto: Gli autori ripropongono l'inferenza a lungo contesto come consolidamento continuo del contesto, dove le informazioni vengono interiorizzate nei pesi invece di essere mantenute in prompt transitori o archivi esterni.
2. Framework SCoL: Un paradigma post-addestramento in cui l'LLM impara a generare descrizioni testuali di dove aggiornare i propri pesi. Ciò viene realizzato tramite meta-rinforzo con ricompense QA supervisionate e ricompense basate sulla verosimiglianza intrinseca.
3. Validazione Empirica: Il framework è stato valutato su SQuAD (incorporazione della conoscenza) e LongBench v2 (consolidamento a lungo contesto), dimostrando miglioramenti rispetto al prompting, al riassunto, all'addestramento in batch al momento del test e al fine-tuning sequenziale.

Risultati

Incorporazione Continua della Conoscenza (SQuAD)

• Prestazioni: SCoL ha raggiunto un'accuratezza immediata del 35,40% e una ritenzione del 20,46% su 100 passaggi sequenziali. Ciò ha superato il solo prompting (28,17%), l'addestramento in batch al momento del test (26,52%) e il fine-tuning sequenziale (che è crollato a una ritenzione dell'1,30%).
• Ruolo dell'Oblio: Rimuovere il termine di oblio ($\lambda=0$) ha migliorato l'acquisizione immediata (34,30%) ma la ritenzione è scesa al 14,64%, confermando che ricompense di ritenzione esplicite sono necessarie per mitigare l'oblio catastrofico.
• Pattern di Selezione: Il modello ha imparato a selezionare posizioni di aggiornamento sparse, concentrandosi pesantemente sugli ultimi livelli Transformer (ad esempio, Livello 27).
• Allineamento Fisher: I livelli selezionati si sono allineati significativamente con le regioni ad alta informazione di Fisher (45,1% di richiamo contro il 35,7% della baseline casuale), suggerendo che il modello impara a instradare la plasticità verso regioni sensibili alla perdita.

Consolidamento a Lungo Contesto (LongBench v2)

• Generalizzazione: SCoL è stato meta-addestrato su flussi più brevi (16k–32k token) ma valutato sia su flussi brevi che più lunghi (32k–64k token).
• Prestazioni: Nel regime breve, SCoL ha raggiunto il 42,3%, superando tutte le baseline. Nel regime lungo, ha raggiunto il 37,0%, superando significativamente il FT Sequenziale (23,0%) e i metodi in contesto.
• Stabilità: Mentre il FT Sequenziale ha subito un collasso delle prestazioni all'aumentare della lunghezza del contesto, SCoL ha mantenuto prestazioni competitive, suggerendo che il meccanismo di consolidamento cattura strutture agnostiche rispetto alla lunghezza.

Significato e Affermazioni

Il documento afferma che SCoL offre un approccio scalabile al consolidamento in streaming insegnando al modello di selezionare autonomamente i siti di adattamento. Le scoperte chiave includono:

• Plasticità Sparsa: Il modello impara a generare posizioni di aggiornamento sparse che si allineano con i livelli ad alta informazione di Fisher, instradando efficacemente la plasticità verso regioni sensibili alla perdita limitando al contempo l'interferenza.
• Scalabilità: I comportamenti di selezione appresi su flussi di meta-addestramento più brevi si trasferiscono efficacemente a flussi di valutazione più lunghi senza richiedere l'accesso al contesto completo durante l'inferenza.
• Memoria Interna: Scrivere il contesto nei pesi fornisce un'alternativa più robusta alla memoria esterna o alla compressione, poiché non dipende dalla qualità del recupero o dal riassunto con perdita di informazioni.

Gli autori riconoscono le limitazioni, tra cui l'overhead computazionale dell'adattamento del ciclo interno e il potenziale collasso del modo (ridotta diversità nelle selezioni dei livelli) su round di addestramento estesi. Suggeriscono che il lavoro futuro potrebbe concentrarsi sulla regolarizzazione della diversità e sulla scalatura del meta-addestramento a sequenze più lunghe.