Riepilogo Tecnico: Leggi di Scalabilità tra Obsolescenza e Tasso di Apprendimento per l'RLHF Asincrono

Definizione del Problema

I sistemi di Reinforcement Learning from Human Feedback (RLHF) ad alto throughput scindono sempre più la generazione dei rollout dall'ottimizzazione della policy per massimizzare il throughput. Nelle architetture asincrone, il learner aggiorna la policy utilizzando i rollout generati da snapshot potenzialmente obsoleti della policy (la behavior policy). Sebbene l'addestramento asincrono sia ben studiato nel caso dello SGD standard (dove l'obsolescenza è modellata come ritardo limitato), la sua interazione con gli shift distribuzionali inerenti ai metodi di policy-gradient come il Group Relative Policy Optimization (GRPO) rimane scarsamente compresa.

I sistemi di RL distribuiti esistenti spesso si affidano a correzioni off-policy dedicate (ad esempio, V-trace) o rimangono sincroni per evitare l'obsolescenza. Tuttavia, le moderne pipeline basate su GRPO tipicamente si affidano a rapporti di importanza clippati e alla regolarizzazione KL piuttosto che a esplicite correzioni off-policy. Di conseguenza, l'interazione tra l'obsolescenza della pipeline ($S$) e il tasso di apprendimento ($\eta$) diventa il lever principale per controllare la stabilità dell'addestramento. Le osservazioni empiriche suggeriscono un pattern a due fasi: miglioramento stabile seguito da un degrado improvviso, indicando regimi di fallimento strutturati piuttosto che instabilità arbitrarie.

Metodologia

Il documento sviluppa un framework teorico locale per l'interazione tra obsolescenza e tasso di apprendimento nell'RL GRPO asincrono.

Framework Teorico

1. Formulazione Consapevole della Behavior-Policy: Gli autori separano esplicitamente i parametri del learner ($\theta$) dalla policy di rollout ($\phi$) nell'obiettivo surrogato di GRPO. Definiscono una mappatura del gradiente surrogato $H(\theta, \phi)$, distinguendo la direzione di aggiornamento del learner dalla derivata totale di un obiettivo dipendente dalla distribuzione.
2. Decomposizione del Bias: Il gradiente stocastico $g(\theta_t; B_{\phi_t})$ viene scomposto in tre componenti:
   • Il gradiente surrogato on-policy $H_{on}(\theta_t)$.
   • Rumore di campionamento a media nulla $\xi_t$.
   • Un termine di bias da obsolescenza $\delta_t = H(\theta_t, \phi_t) - H(\theta_t, \theta_t)$.
3. Assunzioni: L'analisi si basa su tre assunzioni locali:
   • Limitatezza Locale: Gradienti surrogati e magnitudo di aggiornamento limitati.
   • Smoothness Distribuzionale Locale: La divergenza KL tra le distribuzioni di rollout scala con la distanza al quadrato tra le policy.
   • Smoothness Behavior-Policy: La sensibilità del gradiente surrogato rispetto ai cambiamenti nella behavior policy è limitata.

Leggi di Scalabilità Derivate

• Bias di Obsolescenza per Step: Sotto le assunzioni dichiarate, il bias $\delta_t$ indotto da rollout obsoleti scala come $O(S\eta)$, dove $S$ è il lag massimo dei rollout e $\eta$ è il tasso di apprendimento. Ciò porta a un vincolo di regione sicura a singolo step: $S\eta \lesssim C_{safe}$.
• Scalabilità del Tempo di Collasso Condizionale: Il documento distingue tra due modalità di fallimento:
  1. Condizione Locale di Rollout Obsoleto: Se il drift entro il ciclo supera un raggio di clipping a livello di batch ($R_{batch}$), la stabilità dipende esplicitamente da $S\eta$.
  2. Drift a Livello di Orizzonte: Se la condizione locale è soddisfatta, il collasso avviene quando il drift cumulativo del learner ($T\eta$) supera un raggio di validità del surrogato più ampio ($R_{crit}$). In questo regime, l'orizzonte di collasso è governato da $T\eta$ ed è ampiamente indipendente da $S$.

Ciò produce una regola di stabilità a due vincoli:
$$\eta \ll \min\left\{ \frac{R_{batch}}{S G_{upd}}, \frac{R_{crit}}{T G_{upd}} \right\}$$

Contributi Chiave

1. Formulazione Esplicita della Behavior-Policy: Il documento formalizza il gradiente surrogato di GRPO con un esplicito argomento di behavior policy, evitando la conflazione del gradiente surrogato con la derivata totale di un obiettivo dipendente dalla distribuzione.
2. Limite del Bias di Obsolescenza per Step: Dimostra che, sotto smoothness locale, il bias indotto dall'obsolescenza scala linearmente con il prodotto dell'obsolescenza e del tasso di apprendimento ($O(S\eta)$).
3. Scalabilità del Tempo di Collasso Condizionale: Affina la comprensione del collasso dell'addestramento distinguendo tra effetti di clipping a livello di batch (dipendenti da $S$) e drift a livello di orizzonte (dipendenti da $T$).
4. Regola di Stabilità a Due Vincoli: Gli autori forniscono una condizione pratica che spiega perché il tasso di apprendimento massimo stabile possa apparire debolmente dipendente dall'obsolescenza in certi regimi (il regime limitato dall'orizzonte) mentre sia inversamente proporzionale in altri.

Risultati Sperimentali

Gli autori validano la loro teoria utilizzando task di ragionamento matematico con modelli Llama-3.2 (1B e 3B parametri) addestrati con GRPO asincrono.

1. Trade-off Obsolescenza-Tasso di Apprendimento: Gli esperimenti che variano $S \in \{8, 16, 32\}$ e $\eta$ confermano che il tasso di apprendimento massimo stabile scala inversamente con l'obsolescenza ($\eta_{max} \propto 1/S$). Il prodotto $S \cdot \eta_{max}$ rimane approssimativamente costante, validando il vincolo locale del rollout obsoleto.
2. Scalabilità del Tempo di Fuga: Per le esecuzioni che collassano, il numero di step del learner fino al collasso ($t_{collapse}$) dipende solo da $\eta$ ed è indipendente da $S$. In termini di conteggi di sincronizzazione dei pesi ($M_{collapse}$), la relazione $M_{collapse} \cdot S \cdot \eta \approx \text{cost}$ è rispettata. Ciò conferma che, nel regime instabile, il collasso è guidato dal raggiungimento di un confine di validità tramite il drift cumulativo, non dal lag di obsolescenza stesso.
3. Similarità del Coseno del Gradiente (Regimi di Drift):
   • Esecuzioni Instabili (Ballistiche): Mostrano una similarità del coseno del gradiente costantemente alta, indicando che il bias di obsolcenza $\delta_t$ domina il rumore, causando un drift coerente e lineare verso il confine di validità.
   • Esecuzioni Stabili (Diffusive): Mostrano una similarità del coseno del gradiente vicina allo zero, indicando che il rumore di campionamento a media nulla $\xi_t$ domina. Il drift è diffusivo ($\sim\sqrt{t}\eta$), accumulandosi troppo lentamente per raggiungere il confine di validità, permettendo un addestramento stabile anche su orizzonti estesi.

Significato e Claim

Il documento sostiene di fornire un framework teorico locale che spiega i regimi strutturati di stabilità nell'RLHF asincrono. Il suo significato primario risiede nel riconciliare il limite teorico del bias per step ($O(S\eta)$) con le osservazioni empiriche in cui le soglie del tasso di apprendimento appaiono indipendenti dall'obsolescenza.

Gli autori sostengono che l'apparente indipendenza della stabilità dall'obsolescenza in alcuni casi non è una garanzia generale ma un regime specifico (il regime limitato dall'orizzonte) dove il vincolo del drift cumulativo domina. Al contrario, nel regime locale del rollout obsoleto, l'obsolescenza è un vincolo critico. Il lavoro non propone nuove correzioni off-policy, ma caratterizza le condizioni sotto le quali le pipeline GRPO esistenti rimangono stabili, offrendo una regola pratica a due vincoli per il tuning dei sistemi RLHF asincroni.