Sintesi Tecnica: Apprendimento, Veloce e Lento: Verso LLM che si Adattano Continuamente

Enunciato del Problema

I Large Language Models (LLM) vengono tipicamente adattati a compiti downstream tramite aggiornamenti dei parametri, come il Fine-Tuning Supervisato (SFT) o l'Apprendimento per Rinforzo (RL). Sebbene efficace, questo approccio costringe il modello ad assorbire tutte le informazioni specifiche del compito in un unico insieme persistente di pesi. Ciò crea un collo di bottiglia fondamentale: gli aggiornamenti che migliorano le prestazioni nel dominio specifico spostano simultaneamente il modello lontano dal suo comportamento di base, riducendo l'entropia dell'output, degradando la generalizzazione fuori distribuzione (OOD) e causando la "perdita di plasticità"—l'incapacità di adattarsi efficacemente a compiti futuri. Al contrario, l'apprendimento in contesto (ad esempio, l'ottimizzazione dei prompt) consente un adattamento rapido ed economico senza modificare i pesi, ma generalmente non riesce a raggiungere i limiti di prestazioni ottenibili tramite aggiornamenti dei parametri. Il documento sostiene che limitare l'apprendimento a meccanismi o in contesto o nei pesi è subottimale e che i metodi attuali non sfruttano i punti di forza complementari di entrambi.

Metodologia: Addestramento Veloce-Lento (FST)

Gli autori introducono l'Addestramento Veloce-Lento (FST), un framework che ottimizza congiuntamente due canali di adattamento complementari:

1. Pesi Lenti ($\theta$): I parametri del modello, aggiornati raramente e in modo costoso tramite Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Questi codificano comportamenti persistenti e di lunga durata.
2. Pesi Veloci ($\Phi$): Una popolazione di contesti testuali (prompt, istruzioni), aggiornata frequentemente e in modo economico tramite Evoluzione Riflessiva del Prompt (GEPA). Questi catturano segnali transitori e specifici del compito.

Il Ciclo di Addestramento

FST interseca due cicli di aggiornamento all'interno di cicli di lunghezza $T$:

• Ciclo Veloce (Ottimizzazione del Contesto): Utilizzando la politica corrente $\pi_\theta$, il sistema genera traiettorie (rollouts). Un LLM "riflessivo" congelato analizza queste traiettorie (inclusi pensieri, chiamate agli strumenti, errori e feedback) per proporre mutazioni testuali. GEPA mantiene una popolazione di frontiera di Pareto di $K$ prompt invece di un singolo prompt migliore. Questa popolazione preserva la diversità, permettendo a prompt diversi di specializzarsi su diversi sottoinsiemi della distribuzione del compito.
• Ciclo Lento (Aggiornamento dei Parametri): La politica $\theta$ viene aggiornata utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con un obiettivo surrogato troncato (CISPO). Crucialmente, durante la generazione delle traiettorie per l'aggiornamento RL, il sistema campiona dall'intera popolazione di $K$ prompt veloci. Il calcolo del vantaggio normalizza le ricompense su tutto il gruppo, mescolando la variazione indotta sia dai prompt che dal processo di campionamento.

Questa co-evoluzione permette ai pesi veloci di assorbire immediatamente lezioni specifiche del compito (ad esempio, euristiche specifiche o correzioni di errori), indirizzando il modello verso un ragionamento migliore. I pesi lenti si aggiornano poi sotto questo contesto in evoluzione, impedendo al modello di specializzarsi eccessivamente su un singolo prompt statico o di allontanarsi troppo dalla politica di base.

Contributi Chiave

1. Integrazione del Framework: Il documento istanzia il concetto teorico di pesi veloci/lenti (originariamente dalla neuroscienza e dalla letteratura sulle reti neurali primordiali) per il post-training degli LLM, combinando specificamente RLVR per i pesi e GEPA per i prompt.
2. Popolazione di Prompt sulla Frontiera di Pareto: A differenza di lavori precedenti che ottimizzano un singolo prompt, FST mantiene una popolazione diversificata di prompt. Ciò permette all'agente RL di confrontare le risposte tra diversi comportamenti di condizionamento all'interno dello stesso calcolo del vantaggio, fornendo segnali di gradiente più ricchi.
3. Ottimizzazione Interseccata: Il metodo evita il paradigma sequenziale "addestra poi sintonizza". Invece, permette alla politica e alla popolazione di prompt di co-evolvere, dove la popolazione di prompt si adatta alla politica corrente e la politica si adatta ai prompt in evoluzione.

Risultati Sperimentali

Gli autori valutano FST su tre domini di ragionamento: CodeIO (previsione dell'output del codice), Polaris (matematica) e HoVer-hard (verifica di fatti multi-hop), utilizzando Qwen3-8B come modello di base.

• Efficienza dei Dati: FST raggiunge il picco di prestazioni in esecuzione del RL standard in significativamente meno passi: 3,0 volte meno su CodeIO, 1,4 volte meno su Matematica e 3,0 volte meno su HoVer-hard.
• Asintoto delle Prestazioni: FST raggiunge costantemente un limite di prestazioni superiore rispetto al RL da solo. Ad esempio, su HoVer-hard, l'asintoto adattato migliora dal 17,3% (RL) al 25,0% (FST).
• Ridotta Deriva del Modello: A livelli di ricompensa corrispondenti, i modelli addestrati con FST mostrano una divergenza KL fino al 70% inferiore rispetto alla politica di base rispetto ai modelli RL-only. Ciò indica che i pesi lenti rimangono più vicini alla configurazione di base.
• Plasticità Preservata: In un esperimento di addestramento in due fasi (addestramento sul Compito X, poi Compito Y), i modelli avviati con FST mantengono la capacità di apprendere il Compito Y in modo efficace. Al contrario, i modelli RL-only spesso collassano a prestazioni vicino allo zero sul secondo compito, dimostrando una grave perdita di plasticità.
• Apprendimento Continuo: In un contesto in cui i domini di compito cambiano ogni 200 passi, FST si adatta rapidamente a nuovi obiettivi, mentre i modelli RL-only si bloccano o falliscono nell'acquisire nuovi compiti dopo quello iniziale.
• Analisi del Meccanismo:
  • Osservazione 1: I pesi veloci acquisiscono segnali del compito molto più velocemente dei pesi lenti. In un compito sintetico a grafo stellare, FST ha ottenuto ricompense misurabili al passo ~50, guidato dall'evoluzione del prompt, mentre RL-only è rimasto vicino allo zero fino al passo ~300.
  • Osservazione 2: Il limite delle prestazioni viene innalzato perché entrambi i canali ottimizzano per la ricompensa. La distillazione dei pesi veloci nei pesi lenti (FST-distill) migliora le prestazioni rispetto ai metodi basati solo su prompt, ma non riesce a raggiungere il limite dell'approccio FST congiunto, confermando che entrambi i componenti sono necessari per le massime prestazioni.

Significato e Affermazioni

Il documento afferma che il post-training efficace degli LLM non dovrebbe essere visto come apprendimento dei parametri seguito da sintonizzazione del prompt, ma piuttosto come ottimizzazione su più canali di adattamento.

• Divisione del Lavoro: Instradando miglioramenti specifici del compito e in rapida evoluzione attraverso pesi testuali veloci, i pesi parametrici lenti vengono liberati per consolidare comportamenti di ragionamento persistenti e generali.
• Apprendimento Continuo: Questa divisione del lavoro offre una strada verso metodi di post-training più efficienti nei dati, meno distruttivi (minore deriva KL) e più adatti all'apprendimento continuo, affrontando il fenomeno della "perdita di plasticità" osservato nell'apprendimento continuo profondo.
• Efficienza Informativa: Il framework sfrutta feedback testuali ricchi (pensieri, errori) nell'aggiornamento del contesto, superando il limite informativo di "1 bit per episodio" spesso associato alle ricompense binarie RLVR.

Gli autori concludono che FST rappresenta una direzione promettente per i modelli di ragionamento, suggerendo che non tutte le informazioni specifiche del compito devono essere distillate nei pesi del modello e che mantenere una separazione tra conoscenza dichiarativa (prompt) e procedurale (pesi) è cruciale per ragionatori a scopo generale.