💬 NLP

SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models

Il paper propone SPS (Steering Probability Squeezing), un paradigma di addestramento che alterna apprendimento per rinforzo e apprendimento per rinforzo inverso per mitigare l'eccessiva concentrazione della probabilità su traiettorie specifiche, migliorando così l'esplorazione e le prestazioni Pass@k nei modelli linguistici di grandi dimensioni orientati al ragionamento.

Autori originali: Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un genio matematico (un'intelligenza artificiale) che sta imparando a risolvere problemi complessi. Fino a poco tempo fa, il metodo migliore per insegnarglielo era un po' come un allenatore sportivo molto severo: "Se sbagli, punisci; se indovini, premia".

Questo metodo, chiamato Apprendimento per Rinforzo (RL), funziona bene per far sì che il modello trovi una soluzione corretta. Ma ha un difetto nascosto: tende a diventare un "pensatore pigro". Una volta che trova una strada che funziona, smette di esplorare altre possibilità e si concentra ossessivamente su quella, ignorando che potrebbero esserci strade migliori o più creative. È come se un esploratore, dopo aver trovato un sentiero sicuro, smettesse di guardare intorno e camminasse sempre sulla stessa traccia, perdendosi le scoperte più affascinanti.

Gli autori di questo paper hanno scoperto il motivo di questo comportamento e hanno inventato una soluzione geniale chiamata SPS (Steering Probability Squeezing).

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: L'Effetto "Schiacciamento" (Squeezing)

Immagina che le risposte del modello siano come palline colorate sparse su un tavolo. All'inizio, le palline sono distribuite uniformemente: il modello prova molte strade diverse.
Quando il modello viene addestrato con il metodo classico, succede una cosa strana:

Se una pallina (una risposta) è sbagliata, il modello la "spinge" via.
Ma a causa di come funziona la matematica interna (una funzione chiamata softmax), spingere via le palline sbagliate non le fa semplicemente scomparire. Invece, le spinge tutte verso la pallina vincente, facendola diventare enorme.

È come se avessi un palloncino (la risposta corretta) e tanti palloncini piccoli (le risposte sbagliate). Se provi a sgonfiare i palloncini piccoli, l'aria non sparisce: viene spinta dentro il palloncino grande, facendolo esplodere di dimensioni.
Il risultato? Il modello diventa così sicuro della sua unica risposta che smette di provare nulla di nuovo. Se quella risposta è sbagliata per un problema difficile, il modello fallisce perché non ha mai esplorato altre opzioni.

2. La Soluzione: SPS (Guidare lo Schiacciamento)

Gli autori dicono: "Non fermiamo lo schiacciamento, ma cambiamo direzione a dove va l'aria".

Immagina che il modello stia correndo in un labirinto.

Il metodo vecchio (RL classico): Il modello corre veloce verso l'uscita che ha trovato, ignorando tutti i vicoli ciechi.
Il metodo SPS: Dopo ogni corsa, il modello si ferma e fa un "giro di ispezione" (chiamato Apprendimento per Rinforzo Inverso o IRL). Invece di dire "Bravo, corri ancora su quella strada", dice: "Ehi, guarda che vicoli ciechi interessanti abbiamo ignorato! Proviamo a ridistribuire un po' di energia lì".

In pratica, SPS alterna due fasi:

Corsa (RL): Il modello prova a risolvere i problemi e trova le risposte giuste.
Riflessione (IRL): Il modello prende le sue stesse risposte (anche quelle un po' strane o meno probabili) e dice: "Ok, ora ridistribuisci la tua attenzione. Non concentrarti solo sulla strada principale, ma guarda anche le strade secondarie che potrebbero funzionare".

3. Il Risultato: Più Esplorazione, Più Successo

Grazie a questo metodo, il modello non diventa un "monomane" che ripete sempre la stessa cosa. Diventa un vero esploratore.

Se gli chiedi di risolvere un problema difficile una volta sola, potrebbe non cambiare molto.
Ma se gli chiedi di provare 128 volte (come nei test del paper), il modello SPS troverà la soluzione corretta molto più spesso rispetto ai metodi classici.

In sintesi:
Il paper ci insegna che per fare le grandi scoperte (come risolvere problemi di matematica olimpica), non basta premiare la risposta giusta. Bisogna anche insegnare all'intelligenza artificiale a non smettere mai di guardare intorno, anche quando sembra di aver già trovato la strada. SPS è come un "freno di sicurezza" che impedisce al modello di diventare troppo sicuro di sé, costringendolo a mantenere la mente aperta e a esplorare nuove possibilità.

È un po' come se, invece di dire a un bambino "Fai solo questo esercizio perché è l'unico che sai fare", gli dicessimo: "Bravo, hai fatto questo esercizio. Ora, prova a vedere quanti altri modi diversi ci sono per risolverlo, anche quelli che sembrano strani".

1. Il Problema: L'Effetto di "Schiacciamento" (Squeezing Effect) nell'RL

Il paper identifica una limitazione fondamentale nell'uso del Reinforcement Learning (RL) per l'addestramento di modelli linguistici grandi (LLM) orientati al ragionamento (es. matematica, codice).

Contesto: L'RL, in particolare con reward basati su regole (RLVR), tende a migliorare drasticamente il Pass@1 (la probabilità che la prima risposta generata sia corretta), ma offre un miglioramento limitato sul Pass@k (la probabilità che almeno una risposta su k sia corretta).
La Causa Radice: Gli autori identificano un fenomeno intrinseco chiamato "Squeezing Effect" (effetto di schiacciamento). Durante l'addestramento RL, quando vengono applicati aggiornamenti del gradiente negativo a token o traiettorie a bassa probabilità, la massa di probabilità non viene ridistribuita equamente verso alternative promettenti. A causa della normalizzazione della funzione softmax, la massa rimossa dalle risposte a bassa probabilità viene assorbita sproporzionatamente dalle risposte già dominanti (quelle con alta probabilità).
Conseguenza: Questo porta a una concentrazione progressiva della distribuzione di output su un sottoinsieme ristretto di traiettorie ad alto reward. Il modello smette di esplorare nuove strade di ragionamento, collassando su poche soluzioni "greedy" e riducendo l'entropia della distribuzione, il che limita la capacità di scoprire traiettorie corrette alternative.

2. Metodologia: Steering Probability Squeezing (SPS)

Per mitigare questo effetto e migliorare l'esplorazione, gli autori propongono SPS (Steering Probability Squeezing), un paradigma di addestramento ibrido che alterna fasi di RL convenzionale e Inverse Reinforcement Learning (IRL).

Componenti Chiave di SPS:

Integrazione RL-IRL:
- Fase RL (On-policy): Il modello genera rollouts (traiettorie di risposta) e viene aggiornato con reward standard (es. correttezza della risposta finale).
- Fase IRL: Invece di usare reward esterni, SPS tratta i rollouts generati dal modello stesso (durante la fase RL) come "dimostrazioni". Viene utilizzata un'obiettivo Forward-KL per rimodellare la distribuzione delle traiettorie.
- Obiettivo: L'IRL spinge il modello ad allinearsi con la distribuzione empirica dei rollouts, ridistribuendo la massa di probabilità dalle risposte eccessivamente dominanti verso traiettorie sott'esplorate ma potenzialmente valide, senza introdurre supervisione esterna.
Low-Likelihood Trajectory Emphasis (L2TE):
- Per contrastare attivamente lo schiacciamento, la fase IRL dà priorità al campionamento di traiettorie con bassa probabilità (low-likelihood) generate dal modello. Questo amplifica il segnale di apprendimento per le soluzioni meno esplorate, incoraggiando una diversità maggiore.
Strategia Iterativa:
- Il processo non è un singolo passaggio, ma un ciclo iterativo: RL $\to$ raccolta rollouts $\to$ IRL (ridistribuzione) $\to$ nuovo RL. Questo ciclo permette di espandere progressivamente i confini dei problemi risolvibili, prevenendo la convergenza prematura su comportamenti greedy.

3. Contributi Principali

Analisi Teorica ed Empirica: Gli autori forniscono una prova teorica (basata sulle proprietà di normalizzazione della softmax) e un'analisi empirica che dimostrano come l'ottimizzazione contrastiva nell'RL causi inevitabilmente uno "schiacciamento" della distribuzione, limitando l'esplorazione.
Nuovo Paradigma di Addestramento (SPS): Progettazione di un framework che utilizza l'IRL non per imitare un esperto esterno, ma per riformulare la distribuzione interna del modello, guidando l'effetto di schiacciamento verso regioni sott'esplorate.
Limiti Superiori Empirici: Identificazione di un limite empirico superiore per il Pass@k nei modelli basati su RL, dimostrando che senza meccanismi di controllo della distribuzione, l'esplorazione si arresta prima di raggiungere il potenziale massimo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque benchmark di ragionamento matematico di livello olimpico (AIME, BRUMO, HMMT) utilizzando modelli della serie Qwen2.5-Math (1.5B e 7B parametri).

Miglioramento del Pass@k: SPS mostra miglioramenti consistenti e sostanziali nel Pass@128 rispetto alle baseline RL (GRPO, DAPO, GSPO).
- Esempio significativo: Sul modello Qwen2.5-Math-1.5B, SPS ha raggiunto un punteggio Pass@128 di 63.33 sul benchmark BRUMO, un miglioramento di +10.00 punti rispetto al GRPO standard.
Efficienza dei Dati: SPS è particolarmente efficace in scenari con dati limitati (es. 3k campioni), superando le performance di modelli più grandi addestrati con metodi standard.
Diversità delle Traiettorie: L'analisi della similarità delle traiettorie conferma che SPS genera risposte più diversificate rispetto al GRPO, riducendo la ridondanza tra i campioni.
Costo Computazionale: La fase IRL aggiunge un overhead computazionale trascurabile (circa il 3% del tempo totale di addestramento), rendendo il metodo pratico.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

Cambia la prospettiva sull'RL: Sposta il focus dal semplice miglioramento del reward all'analisi della dinamica di apprendimento e della distribuzione di probabilità.
Ridefinisce l'uso dell'IRL: Dimostra che l'IRL può essere utilizzato efficacemente in un contesto self-supervised (senza esperti umani) per correggere i difetti intrinseci dell'RL, agendo come un meccanismo di "stabilizzazione" della diversità.
Soluzione Scalabile: Offre una via pratica per migliorare le capacità di ragionamento dei LLM, permettendo loro di scoprire percorsi di soluzione più complessi e diversificati che i metodi RL puri tendono a ignorare a causa della convergenza prematura.

In sintesi, SPS dimostra che alternare fasi di ottimizzazione del reward (RL) con fasi di rimodellamento della distribuzione (IRL) è la chiave per sbloccare il vero potenziale esplorativo dei modelli linguistici nel ragionamento complesso.