Sintesi Tecnica: Oltre i Guadagni nel Ragionamento: Mitigare l'Oblio delle Capacità Generali nei Grandi Modelli di Ragionamento

Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma di post-training standard per potenziare le capacità di ragionamento dei Large Language Models (LLM) e dei Vision-Language Models (VLM). Tuttavia, gli autori identificano un fallimento critico: l'oblio delle capacità generali. Sebbene l'RLVR migliori efficacemente le prestazioni su compiti di ragionamento specifici (ad es., matematica, deduzione logica), spesso porta a una significativa regressione nelle abilità fondamentali acquisite durante il pretraining, come la percezione visiva, l'ancoraggio fattuale e la robustezza.

Le osservazioni empiriche nel paper confermano che i modelli di ragionamento open-source spesso sottoperformano rispetto ai loro modelli base su benchmark non legati al ragionamento (ad es., estetica delle immagini, ragionamento spazio-temporale, OCR e robustezza ai cambiamenti di distribuzione). Gli autori notano che le strategie di mitigazione esistenti, come la regolarizzazione della divergenza KL, sono insufficienti perché calcolate sul compito corrente e non garantiscono la preservazione di una conoscenza più ampia ed eterogenea. Inoltre, il classico experience replay attraverso domini eterogenei affronta la sfida dello squilibrio degli obiettivi: non è banale determinare il peso ottimale tra le ricompense di ragionamento e le perdite di capacità generale, poiché diversi obiettivi convergono a velocità drasticamente differenti.

Metodologia: RECAP

Per affrontare questi problemi, gli autori propongono RECAP (Replay-Enhanced CApability Preservation), una strategia di addestramento end-to-end che integra dati di capacità generale nella pipeline RLVR con un meccanismo di riponderazione dinamica degli obiettivi.

Componenti Core

1. Strategia di Replay: RECAP intercala dati da domini generali (ad es., rilevamento di oggetti, segmentazione, OCR) con i dati di ragionamento target durante il fine-tuning. Ciò assicura che il modello sia continuamente esposto a compiti di non-ragionamento per prevenire l'oblio catastrofico.
2. Meccanismo di Riponderazione Dinamica: Invece di utilizzare pesi statici o regolati manualmente, RECAP adatta i coefficienti di perdita online in base al comportamento di convergenza e all'instabilità dei singoli obiettivi.
   • Tasso di Convergenza ($c_k$): Misurato confrontando la perdita media della finestra scorrevole corrente con quella della finestra precedente. Un rapporto vicino a 1 indica saturazione (l'obiettivo è stato appreso), mentre un rapporto $>1$ indica un recente miglioramento.
   • Instabilità ($i_k$): Misurata come coefficiente di variazione (deviazione standard relativa alla media) all'interno della finestra scorrevole. Un'alta instabilità suggerisce che l'obiettivo è volatile e richiede maggiore attenzione.
   • Punteggio di Priorità: Il punteggio di priorità per l'obiettivo $k$ è definito come $s_k = c_k + i_k$.
   • Riponderazione Softmax: I pesi $\lambda_k$ sono calcolati utilizzando una softmax controllata dalla temperatura sui punteggi di priorità:
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     Questa formulazione, derivata da un problema di allocazione delle priorità regolarizzato dall'entropia, ridimensiona naturalmente verso il basso gli obiettivi saturi e a bassa varianza (come la conformità del formato, che converge rapidamente) e sposta la capacità verso obiettivi sotto-performanti o ad alta varianza (come l'accuratezza del ragionamento o la percezione).

Fondamento Teorico

Il paper stabilisce che la regola di riponderazione RECAP è la soluzione in forma chiusa di un problema di allocazione delle priorità regolarizzato dall'entropia. Ciò fornisce una giustificazione teorica per la ponderazione basata su softmax, assicurando che l'allocazione eviti soluzioni degenerate (concentrarsi su un singolo obiettivo) e dia priorità agli obiettivi con alti punteggi di priorità.

Contributi Chiave

1. Rivalutazione Sistematica: Gli autori dimostrano sistematicamente che il fine-tuning focalizzato sul ragionamento causa costantemente una regressione nelle capacità generali (percezione, robustezza) attraverso molteplici modelli open-source (famiglie Qwen2.5-VL).
2. Algoritmo RECAP: Introducono uno scheduler plug-in che ripondera dinamicamente gli obiettivi in base ai segnali di convergenza e instabilità. Questo metodo non richiede modelli ausiliari, è indipendente dall'ordine di grandezza e si integra perfettamente nelle pipeline RLVR esistenti (specificamente GRPO) con un overhead trascurabile.
3. Guadagni di Performance: Il metodo non solo preserva le capacità generali ma migliora anche le prestazioni di ragionamento consentendo scambi più flessibili tra i reward nel task, evitando l'iper-ottimizzazione di segnali facili (come il formato) a scapito di segnali più difficili (come l'accuratezza).

Risultati Sperimentali

Gli autori hanno valutato RECAP su Qwen2.5-VL-3B e Qwen2.5-VL-7B in due configurazioni: una configurazione "solo-RLVR" e una configurazione "Ibrida" (combinando RLVR con l'addestramento in stile SFT).

• Preservazione delle Capacità Generali: Nella configurazione solo-RLVR, RECAP ha preservato o migliorato le prestazioni sui benchmark di percezione e robustezza (ad es., A-OKVQA, VisOnly, OCRBench) dove i baseline orientati solo al ragionamento mostravano una significativa degradazione. Ad esempio, sul benchmark di segmentazione LISA, il fine-tuning orientato solo al ragionamento ha fatto scendere la performance da 65.13 a 57.58, mentre RECAP ha mantenuto un punteggio di 67.24 (superando il modello base).
• Performance di Ragionamento: RECAP ha eguagliato o superato le performance di ragionamento del fine-tuning orientato solo al ragionamento. Sul benchmark ScienceQA, RECAP ha raggiunto un punteggio di 71.59, superando il modello base (6.20) e diversi baseline di ragionamento open-source.
• Efficienza e Concisione: La riponderazione dinamica ha portato a un ragionamento più efficiente. I modelli addestrati con RECAP hanno generato razionali significativamente più brevi (riducendo la lunghezza media del pensiero da circa 67 parole a circa 27 parole nei compiti di ragionamento) senza compromettere l'accuratezza, riducendo così la latenza di inferenza e i costi computazionali.
• Confronto con i Baseline: RECAP ha costantemente superato i forti baseline inclusi:
  • Solo-Ragionamento: Che ha subito un grave oblio.
  • Uniform/PropMix: Che utilizzavano una ponderazione statica e non riuscivano ad adattarsi ai tassi di convergenza.
  • LwF (Learning without Forgetting): Che utilizzava la regolarizzazione KL ma otteneva punteggi di ragionamento inferiori rispetto a RECAP.
  • MoDoMoDo: Un baseline complesso e computazionalmente costoso che richiede modelli proxy e tuning manuale.

Significato e Rivendicazioni

Il paper sostiene che RECAP offra una soluzione fondata e a basso overhead al compromesso "ragionamento vs. capacità generale". Spostando il focus del post-training dagli obiettivi saturi (come la conformità del formato) verso quelli volatili o sotto-performanti (come l'accuratezza e la percezione), RECAP consente ai modelli di "imparare a ragionare" senza "dimenticare come percepire".

Gli autori sottolineano che il loro metodo è end-to-end e non richiede l'addestramento di ulteriori modelli di reward o un pesante tuning degli iperparametri. Posizionano RECAP come un'evoluzione necessaria nelle pipeline di post-training, sostenendo che l'ottimizzazione per reward ristretti di ragionamento senza regolarizzazione dinamica porti a modelli fragili che falliscono in scenari reali ed eterogenei. Il lavoro suggerisce che l' "oblio" osservato negli attuali modelli di ragionamento non è un effetto collaterale inevitabile dell'RLVR, ma un problema di ottimizzazione risolvibile attraverso la gestione dinamica degli obiettivi.