Riepilogo Tecnico: Condivisione di Esperienze nell'Apprendimento per Rinforzo Reciproco per Modelli Linguistici Eterogenei

1. Enunciato del Problema

L'attuale post-addestramento tramite Apprendimento per Rinforzo (RL) per i Modelli Linguistici di Grandi Dimensioni (LLM) opera principalmente come un'impresa a singola politica. In questo flusso di lavoro isolato, esplorazione e miglioramento sono accoppiati a una singola politica, e le esperienze complementari scoperte da pari addestrati contemporaneamente vengono scartate. Questo isolamento è particolarmente inefficiente nei domini di ragionamento con ricompense sparse, dove politiche eterogenee (che variano per architettura, scala o tokenizer) esibiscono bias induttivi diversi e attraversano regioni distinte dello spazio delle soluzioni.

Due barriere principali impediscono la condivisione di queste scoperte:

1. Eterogeneità del Tokenizer: Le politiche utilizzano spesso tokenizer disparati, rendendo impossibile lo scambio diretto di tracce a livello di token (log-probabilità) senza traduzione.
2. Shift di Distribuzione: Il riutilizzo diretto di rollout di pari all'interno di surrogati on-policy (come PPO o GRPO) introduce un significativo shift di distribuzione, portando a problemi di instabilità e varianza comuni nell'apprendimento off-policy.

Il lavoro si chiede: Nel regime standard di post-addestramento verificabile a singolo passo per LLM a pesi aperti, quale regime di condivisione delle esperienze è appropriato e quali compromessi inducono i regimi alternativi?

2. Metodologia

2.1 Il Framework di RL Reciproco

Gli autori introducono un framework per l'Apprendimento per Rinforzo Reciproco in cui politiche LLM eterogenee scambiano esperienze tipizzate mantenendo parametri, obiettivi e tokenizer separati. Il sistema estende il framework VERL con tre componenti fondamentali:

• Scambio di Esperienze Condivise (SEE): Un meccanismo di flusso di dati tipizzato in cui politiche distinte pubblicano e sottoscrivono registri strutturati di esperienza (rollout, ricompense, vantaggi e tracce) preservando gli obiettivi nativi per politica.
• Allocazione delle Risorse Multi-Worker (MWRA): Gestisce l'assegnazione di worker e budget computazionali tra diversi worker di politica.
• Livello di Eterogeneità del Tokenizer (THL): Un'interfaccia critica che colma vocabolari incompatibili. Esegue due operazioni:
  1. Adattamento del Testo (Retokenizzazione): Decodifica le risposte dei pari in testo e le ricodifica utilizzando il tokenizer dell'apprendente.
  2. Allineamento della Distribuzione di Politica: Costruisce allineamenti di tracce a livello di parola. Aggrega le log-probabilità sorgente all'interno di ogni parola testuale e ridistribuisce questa massa uniformemente sui token target per quella parola. Questo preserva la massa di probabilità a livello di parola nonostante le discrepanze di tokenizzazione, con errori residui limitati analizzati teoricamente.

2.2 Tre Sonde Controllate

Per indagare il compromesso stabilità-supporto, gli autori istanziano tre regimi distinti di condivisione delle esperienze sopra lo stesso aggiornamento di base Group-Relative Policy Optimization (GRPO):

1. Regime 1: Condivisione a Livello di Dati (Pool di Rollout dei Pari - PRP)

   • Meccanismo: L'apprendente raggruppa direttamente i rollout dei pari nel proprio batch, trattandoli come traiettorie di addestramento supplementari.
   • Sfida: Richiede la gestione della varianza del rapporto di densità tra la politica dell'apprendente e la politica comportamentale del pari. Gli autori testano due scelte per il denominatore: un denominatore "istantaneo dell'apprendente" (ignorando le probabilità di generazione effettive del pari) e un denominatore "pari allineato THL" (utilizzando la traccia di probabilità registrata del pari allineata allo spazio dei token dell'apprendente).
   • Posizione Teorica: Alto accoppiamento; paga i costi della varianza del rapporto di densità e i costi residui del THL.

2. Regime 2: Condivisione a Livello di Valore (Condivisione del Vantaggio GRPO Cross-Policy - XGRPO)

   • Meccanismo: L'apprendente campiona i propri rollout (strettamente on-policy) ma modella i vantaggi utilizzando statistiche di ricompensa aggregate su tutto il pool di politiche.
   • Sfida: Nessuna riguardo alla tokenizzazione, poiché vengono scambiati solo valori scalari di ricompensa.
   • Posizione Teorica: Preserva il supporto dell'attore on-policy modificando le baseline scalari. Riduce la varianza del gradiente senza introdurre segnali di traiettoria off-policy.

3. Regime 3: Condivisione a Livello di Esito (Trasferimento a Cancellazione di Successo - SGT)

   • Meccanismo: Tratta gli output dei pari come certificati di esito sparsi. Il trasferimento è a cancellazione: si attiva solo quando il gruppo di rollout dell'apprendente non contiene nessuna soluzione corretta, ma almeno un pari ha un successo verificato.
   • Processo: Una traiettoria di pari verificata viene iniettata come campione positivo sparso (tramite una perdita di log-verosimiglianza negativa) insieme all'aggiornamento GRPO on-policy dell'apprendente.
   • Posizione Teorica: Fornisce una direzione di punteggio "di salvataggio". È condizionata al pari, attivata dal fallimento e intercalata con l'obiettivo RL di base.

3. Contributi Chiave

1. Substrato del Framework: L'introduzione di un framework riproducibile (SEE, MWRA, THL) che abilita l'RL reciproco tra LLM eterogenei con tokenizer incompatibili. Il THL fornisce un'interfaccia di allineamento limitato per lo scambio di testo e tracce a livello di token.
2. Sondate Controllate: L'istanziazione e il confronto di PRP, XGRPO e SGT sotto compute e iperparametri abbinati all'interno di un'unica pila basata su VERL. Questo popola lo spazio di progettazione a tre livelli di accoppiamento distinti (dati, valore, esito).
3. Caratterizzazione Teorica: Un'analisi a bandit contestuale che dimostra le differenze strutturali tra le sonde:
   • PRP: Espone la sensibilità alla varianza del rapporto di densità e ai residui THL.
   • XGRPO: Preserva il supporto on-policy ma non può introdurre direttamente massa di probabilità per successi esclusivi dei pari (confine di supporto rigido).
   • SGT: Fornisce una direzione di gradiente positiva verso i successi verificati dei pari specificamente sul sottoinsieme di salvataggio.

4. Risultati Sperimentali

La valutazione si concentra sul ragionamento matematico (dataset MATH) utilizzando un pool eterogeneo di modelli Qwen (Qwen2.5-Math-1.5B e Qwen3-1.7B-Base).

• La Condivisione a Livello di Esito (SGT) è Ottimale: SGT occupa il punto favorevole del compromesso stabilità-supporto. Raggiunge le prestazioni medie più forti e un progresso più rapido nella fase iniziale e centrale dell'addestramento rispetto al GRPO autonomo. Rimane alla o sopra la curva di base a virtualmente ogni checkpoint.
  • Perché: Fornisce una traiettoria positiva mancante solo quando l'apprendente fallisce, preservando l'aggiornamento on-policy per altri prompt.
• La Condivisione a Livello di Valore (XGRPO) è Stabile: XGRPO traccia da vicino il GRPO autonomo, preservando la regione di fiducia e riducendo la varianza della baseline. Funge da baseline stabile a basso accoppiamento ma non espande significativamente il supporto campionato dell'apprendente.
• La Condivisione a Livello di Dati (PRP) è Instabile: Il riutilizzo diretto dei rollout espone la sensibilità alla divergenza dell'apprendente. Sebbene la correzione dell'importanza (tramite THL) mitighi alcuni problemi, PRP impone un onere di ottimizzazione maggiore sulle politiche più deboli e riduce l'accuratezza media rispetto a SGT. Richiede un significativo controllo della distribuzione per rimanere stabile.
• Firme di Ottimizzazione:
  • SGT mantiene un'entropia comparabile o superiore al GRPO mantenendo il KL basso.
  • PRP spinge l'entropia più in basso e aumenta le deviazioni KL, indicando un forte accoppiamento distributivo.
  • XGRPO rimane quasi indistinguibile dalla baseline a singola politica.
• Generalizzazione: I benefici di SGT si estendono a pool eterogenei (ad es. Llama-Mist, Qwen-Phi4) e a benchmark più ampi di QA di senso comune/scientifico, mostrando guadagni da +10 a +30 punti percentuali in alcune configurazioni eterogenee.

5. Significato e Affermazioni

Il lavoro afferma che l'RL Reciproco trasforma le scoperte dei pari in segnali di addestramento tipizzati per politiche LLM eterogenee senza fondere i pesi o sostituire le pipeline standard on-policy.

• Insight Strutturale: Il lavoro stabilisce che nel regime valutato, la condivisione a livello di esito (SGT) è l'astrazione superiore. Bilancia la stabilità (rimanendo largamente on-policy) con il supporto (iniettando traiettorie verificate solo quando necessario).
• Fattibilità dell'Eterogeneità: Gli autori dimostrano che con il substrato THL, politiche con tokenizer diversi possono scambiare segnali in modo efficace, rendendo la domanda "quale regime di condivisione delle esperienze è corretto" ben posta e risolvibile.
• Efficienza: A differenza di algoritmi off-policy complessi che sostituiscono le pipeline standard, questo approccio integra le esperienze dei pari nei surrogati on-policy standard (GRPO/PPO) utilizzati dall'RL degli LLM contemporanei, offrendo un canale principiato affinché le politiche imparino l'una dall'altra durante l'addestramento.

Gli autori concludono che, sebbene la condivisione a livello di dati (PRP) sia teoricamente possibile con correzione, è fragile; la condivisione a livello di valore (XGRPO) è stabile ma limitata nell'espansione del supporto; e la condivisione a livello di esito (SGT) offre il compromesso più favorevole fornendo supporto verificato e mirato esattamente dove l'apprendente è carente.