Riepilogo Tecnico: Sovradattamento al Ricompensa Implicito e Dinamiche a Basso Rango in RLVR

Enunciato del Problema

Nonostante il successo ingegneristico del Reinforcement Learning con Ricompense Verificabili (RLVR) nel potenziare le capacità di ragionamento dei Large Language Models (LLM), i meccanismi microscopici attraverso i quali il RL altera i parametri del modello rimangono scarsamente compresi. La ricerca esistente si concentra prevalentemente sulle dinamiche di addestramento macroscopiche o sulla progettazione delle ricompense, lasciando un vuoto nella comprensione della struttura specifica e del significato fisico degli aggiornamenti dei parametri ($\Delta W$).

Osservazioni recenti suggeriscono che i miglioramenti del RLVR sono concentrati all'interno di componenti a basso rango, specificamente aggiornamenti di Rango-1. Tuttavia, una scoperta destabilizzante indica che il RL potrebbe non impartire una nuova logica di ragionamento sottostante, bensì ottimizzare le strategie di campionamento per elicita risposte corrette latenti. Ciò solleva domande critiche: il RLVR sta effettivamente imparando a ragionare, o sta sovradattandosi alla funzione di ricompensa? Inoltre, qual è il ruolo funzionale delle componenti non di Rango-1 nella matrice di aggiornamento dei parametri?

Metodologia

Gli autori impiegano una combinazione di studi empirici e analisi teorica incentrata sulle proprietà spettrali degli aggiornamenti dei pesi.

1. Sostituzione Periodica di Rango-1: Per indagare il contributo delle componenti non di Rango-1, gli autori introducono una tecnica in cui, a intervalli fissi (ad esempio, ogni 10 step), l'aggiornamento cumulativo dei pesi viene decomposto tramite Scomposizione ai Valori Singolari (SVD). Viene mantenuto e aggiunto ai parametri del modello di base solo il componente di Rango-1 (associato al più grande valore singolare), mentre le componenti residue non di Rango-1 vengono scartate. Il modello prosegue quindi l'addestramento partendo da questo stato "purificato a Rango-1".
2. Analisi Spettrale: Gli autori eseguono l'SVD sulle matrici di differenza dei pesi ($\Delta W$) dei modelli addestrati con RLVR per analizzare la distribuzione dei valori singolari (spettri singolari) attraverso i livelli lineari.
3. Analisi di Allineamento LoRA: Utilizzando LoRA con rango $r=1$, gli autori confrontano l'allineamento geometrico tra gli adattatori LoRA e il vero sottospazio di Rango-1 dell'aggiornamento completo dei pesi. Utilizzano la Similarità del Coseno di Frobenius e gli Angoli Principali (Sinistri e Destri) per quantificare l'allineamento negli spazi di input e output.
4. Analisi Teorica del Gradiente: Il documento deriva la struttura del gradiente degli obiettivi RL (GRPO, DAPO, GSPO), dimostrando che possono essere formulati come somme pesate di matrici di rango 1, supportando l'osservazione empirica della dominanza di Rango-1.

Risultati e Scoperte Chiave

1. Sovradattamento al Ricompensa Implicito

Lo studio rivela un fenomeno controintuitivo: il Sovradattamento al Ricompensa Implicito. I modelli addestrati con Sostituzione Periodica di Rango-1 raggiungono prestazioni sul set di test paragonabili a quelle dei modelli completamente fine-tuned (RL Completo), nonostante mostrino ricompense di addestramento significativamente inferiori.

• Osservazione: L'addestramento RLVR standard spinge costantemente le ricompense di addestramento verso l'alto, ma ciò non si traduce in una generalizzazione superiore.
• Implicazione: Le componenti non di Rango-1 aumentano significativamente le ricompense di addestramento ma non migliorano la generalizzazione. Il modello sembra ottimizzare eccessivamente la propria strategia di campionamento per adattarsi alla distribuzione delle ricompense dei dati di addestramento, piuttosto che imparare una logica di ragionamento robusta.

2. Ruolo Funzionale delle Componenti Non di Rango-1

Mentre le componenti di Rango-1 catturano le capacità di ragionamento, le componenti non di Rango-1 non sono funzionalmente ridondanti.

• Preservazione delle Capacità Generali: La rimozione delle componenti non di Rango-1 tramite l'estrazione di Rango-1 porta a un degrado significativo nelle capacità fuori dominio, inclusa l'adesione alle istruzioni (IF-Eval), la conoscenza del mondo (MMLU, MMLU-Pro) e la sicurezza (SafetyBench).
• Dimenticanza Catastrofica: Le componenti non di Rango-1 sono cruciali per mantenere la conoscenza generale e l'allineamento alla sicurezza del modello, prevenendo la dimenticanza catastrofica spesso osservata nel fine-tuning supervisionato (SFT).

3. Pattern Spettrale Universale

Gli spettri singolari degli aggiornamenti dei parametri nei modelli addestrati con RLVR seguono un pattern coerente:

• Picco Principale: Un primo valore singolare dominante ($\sigma_1$) corrispondente al componente di Rango-1.
• Distribuzione a Coda Pesante: Seguendo il picco iniziale, i valori singolari rimanenti mostrano un decadimento uniforme e quasi lineare, formando una coda pesante.
• Distribuzione dell'Energia: Sebbene il componente di Rango-1 guidi il ragionamento, la coda non di Rango-1 contiene la maggior parte dell'"energia" (norma di Frobenius) dell'aggiornamento, codificando sicurezza, robustezza e allineamento di caratteristiche sottili.

4. Asimmetria Geometrica nelle Dinamiche LoRA

L'analisi delle dinamiche di addestramento LoRA rivela un'Asimmetria Geometrica tra gli spazi di input e output:

• Allineamento nello Spazio di Output: I vettori singolari sinistri (spazio di output) del componente di Rango-1 mostrano un forte allineamento con gli adattatori LoRA. Ciò è coerente con la scoperta che il RLVR ottimizza principalmente la strategia di campionamento (rappresentazione di output).
• Disallineamento nello Spazio di Input: I vettori singolari destri (spazio di input) mostrano un allineamento più debole. Gli aggiornamenti di input coinvolgono una riorganizzazione complessa delle caratteristiche contestuali che è difficile catturare con semplici matrici a basso rango.
• Base Teorica: L'analisi del gradiente mostra che la direzione di aggiornamento per il vettore di output è determinata dall'errore retropropagato (che si allinea bene), mentre l'aggiornamento del vettore di input è determinato da attivazioni altamente dipendenti dal contesto, rendendo difficile l'allineamento.

Significato e Contributi

Il documento afferma di offrire una comprensione meccanicistica più profonda del RLVR, sfidando l'assunzione che il RL "impari" intrinsecamente il ragionamento nel senso tradizionale.

• Riformulazione del RLVR: I risultati suggeriscono che il RLVR agisce più come un meccanismo per ottimizzare l'efficienza del campionamento ed elicita capacità di ragionamento latenti piuttosto che alterare fondamentalmente la logica di ragionamento sottostante del modello. Ciò spiega perché l'aumento di $k$ nelle metriche pass@k può talvolta causare a modelli RL standard prestazioni inferiori rispetto ai modelli di base.
• Decoupling delle Capacità: Il lavoro decoupla con successo la capacità di ragionamento (Rango-1) dalla conoscenza generale e dalla sicurezza (Non-Rango-1), fornendo una base teorica per cui il "sovradattamento" alle ricompense può verificarsi senza danneggiare la generalizzazione se il componente di Rango-1 è preservato.
• Insight Spettrali: L'identificazione del pattern spettrale "picco principale + coda pesante" fornisce una nuova lente per analizzare gli aggiornamenti RL, suggerendo che il RL induce una forma spettrale altamente strutturata piuttosto che un aggiornamento strettamente a basso rango.
• Implicazioni Pratiche: I risultati offrono potenziali spunti per migliorare i paradigmi RL, come la progettazione di strategie di addestramento che mitigano il sovradattamento implicito alle ricompense preservando al contempo le componenti non di Rango-1 necessarie per la sicurezza e la conoscenza generale.

Gli autori riconoscono le limitazioni, notando che le loro osservazioni si basano su dimensioni e architetture di modelli specifiche, e che sono necessarie ulteriori ricerche per determinare l'universalità di questi risultati su diverse scale parametriche e famiglie di modelli.