Sintesi Tecnica: SALT – Subspace-Adaptive Geometry Plug-in per la Group-Based Policy Optimization

1. Definizione del Problema

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è diventato un approccio standard per potenziare le capacità di ragionamento dei Large Language Models (LLM), in particolare attraverso la Group Relative Policy Optimization (GRPO). GRPO migliora la scalabilità sostituendo la rete critic con la normalizzazione relativa al gruppo, campionando molteplici rollout ($G$) per ogni prompt al fine di costruire segnali di apprendimento.

Tuttavia, il documento identifica un'inefficienza strutturale critica: il semplice aumento del numero di rollout non rafforza in modo affidabile l'apprendimento. Gli autori diagnosticano che, sotto la normalizzazione di gruppo tipica di GRPO, le caratteristiche del gradiente della policy per ogni rollout tendono a concentrarsi in una geometria a basso rango e con segno (signed geometry).

• Cancellazione del Segno (Signed Cancellation): Quando i vantaggi sono normalizzati all'interno di un gruppo, la loro somma è zero. Se le caratteristiche del gradiente dei rollout sono altamente correlate (ridondanti) e condividono una direzione dominante, i vantaggi positivi e negativi si annullano a vicenda durante l'aggregazione.
• Bassa Dimensionalità Effettiva: Questa ridondanza risulta in una bassa "Dimensionalità Effettiva" (misurata tramite il Participation Ratio, $PR$) e in una bassa "Dimensione Campionaria Effettiva" ($n_{eff}$).
• Il Collo di Bottiglia: Di conseguenza, l'aumento della dimensione del gruppo di rollout ($G$) produce spesso rendimenti decrescenti perché il segnale di aggiornamento aggregato dipende solo da una piccola componente residua, mentre le componenti condivise e ridondanti vengono annullate dal meccanismo di centratura del gruppo.

2. Metodologia: SALT

Per affrontare questo problema, gli autori propongono SALT (Subspace-Adaptive geometry pLug-in componenT). SALT è un modulo plug-in che riga-pesa i coefficienti relativi al gruppo utilizzando la geometria del gradiente per singolo campione, al fine di mitigare la cancellazione del segno senza modificare il modello di ricompensa o la procedura di campionamento dei rollout.

Meccanismo Core

SALT opera analizzando la geometria dei mini-batch di gradienti e decomponendo i segnali di aggiornamento in due canali:

1. Stima dello Spazio Subspaziale Dominante:

   • SALT calcola una matrice di Gram normalizzata delle caratteristiche del gradiente (utilizzando una proxy leggera del gradiente dell'LM-head per evitare i costi computazionali del gradiente dell'intero modello).
   • Esegue una decomposizione in autovettori per identificare un subspazio condiviso dominante ($V_k$) basato sul Participation Ratio ($PR$).
   • Questo subspazio rappresenta i "segnali comuni" condivisi tra i rollout che sono soggetti a cancellazione.

2. Decomposizione a Doppio Canale:

   • Canale Principale ($a_{main}$): I vantaggi normalizzati rispetto al gruppo vengono proiettati sul subspazio dominante ($P_k a$). Ciò preserva il feedback centrale relativo al gruppo.
   • Canale di Esplorazione ($a_{exp}$): I vantaggi vengono proiettati sul complemento ortogonale ($P_k^\perp$) e filtrati per mantenere solo le componenti positive ($[a]_+$). Questo isola le direzioni "residue" o non ridondanti.

3. Riga-pesatura Adattiva:

   • SALT introduce un coefficiente di miscelazione adattivo, $\alpha_t$, che è inversamente proporzionale alla dimensione campionaria effettiva ($n_{eff}$) dell'attuale batch.
   • Il vantaggio riga-pesato finale è: $a' = a_{main} + \alpha_t a_{exp}$.
   • Logica: Quando $n_{eff}$ è basso (indicando una severa cancellazione), $\alpha_t$ aumenta, amplificando adattivamente il canale residuo (esplorazione) per recuperare segnali di aggiornamento utili che altrimenti andrebbero persi.

Efficienza Computazionale

• Feature Proxy: Inveve di calcolare i gradienti dell'intero modello, SALT utilizza il gradiente della proiezione di output (LM-head) come proxy. Ciò preserva la necessaria geometria per singolo campione pur scalando con la dimensione del mini-batch $m=BG$ anziché con il numero totale di parametri.
• Costo: Il metodo aggiunge circa il 7,7% di overhead al tempo di addestramento (wall-clock time) a causa del calcolo della matrice di Gram e dei passaggi dell'eigensolver, un costo considerato un favorevole compromesso costo-beneficio date le prestazioni ottenute.

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Diagnosi del Fenomeno: Gli autori dimostrano empiricamente che il RLVR basato su gruppi soffre di ridondanza a basso rango con segno (signed low-rank redundancy). Mostrano che le caratteristiche del gradiente per singolo campione si concentrano in subspazi a bassa dimensionalità, portando a un basso $PR$e$n_{eff}$, il che spiega perché l'aumento dei rollout spesso non migliora l'apprendimento.
2. Proposta del Metodo (SALT): Introducono un plug-in adattivo al subspazio che stima un subspazio condiviso dominante e riga-pesa i coefficienti relativi al gruppo. Esso separa esplicitamente i segnali condivisi dai segnali residui e amplifica adattivamente questi ultimi per contrastare la cancellazione.
3. Validazione Empirica: Esperimenti estesi su benchmark di ragionamento (AIME, GSM8K, MATH, GPQA) e scale di modello (1.5B, 7B) validano che SALT migliora costantemente le prestazioni e la geometria di aggiornamento effettiva rispetto agli standard GRPO e DAPO.

4. Risultati Sperimentali

Gli autori hanno valutato SALT su diversi benchmark orientati al ragionamento utilizzando modelli DeepSeek-Distill-Qwen (1.5B e 7B).

• Guadagni di Performance: SALT ha superato costantemente vanilla GRPO e DAPO. In media, ha migliorato l'accuratezza di circa +2,54 punti percentuali in diverse configurazioni. Si sono osservati guadagni notevoli su AIME24 e GPQA.
• Miglioramenti della Geometria: A differenza dei metodi di regolarizzazione basati sull'entropia (che aumentano la diversità di campionamento ma non migliorano la geometria di aggiornamento), SALT ha aumentato significativamente sia il Participation Ratio ($PR$) che la Dimensione Campionaria Effettiva ($n_{eff}$). Ciò indica che SALT converte con successo i rollout in segnali di aggiornamento diversificati e non mutuamente annullanti.
• Scalabilità dei Rollout: In esperimenti con un budget di rollout fisso, SALT ha dimostrato che dimensioni di gruppo più grandi ($G$) possono essere utilizzate efficacemente. Mentre i baseline mostravano rendimenti decrescenti all'aumentare di $G$, SALT ha mantenuto un alto $n_{eff}$ e ha continuato a migliorare le prestazioni, provando che rende i gruppi di rollout più ampi "utili" anziché solo computazionalmente costosi.
• Studi di Ablazione: La rimozione della struttura a doppio canale o del meccanismo di miscelazione adattiva ha degradato le prestazioni, confermando che sia la separazione dei segnali condivisi/residui sia l'aggiustamento dinamico della forza di miscelazione sono necessari.

5. Significato e Rivendicazioni

Il documento sostiene che l'inefficienza dei rollout in GRPO non è solo un problema di campionamento, ma un fallimento nell'aggregare segnali residui e non ridondanti.

• Cambio di Prospettiva: Il lavoro sposta il focus dal "mantenere la diversità delle risposte" (tramite regolarizzazione dell'entropia) all' "ottimizzazione della geometria di aggiornamento". Sostiene che anche con sequenze diverse, le caratteristiche del gradiente possono essere ridondanti, e la soluzione risiede nella riga-pesatura geometrica.
• Impatto Pratico: SALT offre un modo per scalare i gruppi di rollout senza una degradazione proporzionale delle prestazioni, rendendo un uso migliore delle risorse computazionali.
• Rivendicazioni Moderate: Gli autori riconoscono che SALT è una surrogato riga-pesata geometricamente con bias piuttosto che una riformulazione imparziale di GRPO. Il suo successo si basa sul compromesso in cui la riduzione della cancellazione del segno supera la distorsione introdotta dalla riga-pesatura dei coefficienti. Notano inoltre limitazioni riguardo all'uso di proxy dell'LM-head e alla potenziale variazione dell'efficienza tra diverse architetture.

In sintesi, SALT fornisce un meccanismo per "far contare di più i rollout", sopprimendo adattivamente i segnali comuni ridondanti e amplificando le direzioni residue diversificate, rafforzando così il segnale di apprendimento effettivo nella ottimizzazione della policy basata su gruppi.