Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Riepilogo Tecnico: Logits Vecchi Mancanti nell'RL Agente Asincrono

Definizione del Problema
Nell'apprendimento per rinforzo (RL) asincrono per i Modelli Linguistici di Grande Dimensione (LLM), la disaccoppiamento tra la generazione del campione (rollout) e l'ottimizzazione della politica è essenziale per massimizzare il throughput. Tuttavia, questa architettura introduce una modalità di fallimento critica per la correzione off-policy nello stile di Proximal Policy Optimization (PPO).

Idealmente, il rapporto di importanza in PPO dovrebbe essere scomposto in due fattori semanticamente distinti:

1. Discrepanza Addestramento-Inferenza ($r_d$): Corregge le differenze numeriche tra il motore di inferenza (ad es. vLLM) e il motore di addestramento (ad es. Megatron-LM) alla stessa versione della politica.
2. Obsolescenza della Politica ($r_s$): Corregge il divario tra la politica comportamentale storica che ha generato i token e la politica corrente che viene ottimizzata.

Il documento identifica che nelle pipeline asincrone pratiche, in particolare quelle che coinvolgono rollout parziali e aggiornamenti ritardati, i logits vecchi lato addestramento ($\pi_{old}$) necessari per calcolare il termine di discrepanza $r_d$ sono spesso mancanti. Quando l'agente aggiorna i suoi pesi prima che il rollout corrispondente a una versione precedente sia completamente elaborato, la specifica versione della politica $\pi_{old}$ utilizzata per generare quei token potrebbe non essere più disponibile.

Questo problema dei "logits vecchi mancanti" costringe i metodi esistenti a sostituire il vero $\pi_{old}$ con approssimazioni (ad es. interpolazione lineare o proxy statici). Gli autori sostengono che questa sostituzione intreccia la riparazione della discrepanza con la correzione dell'obsolescenza, rompendo la separazione semantica intenzionale. Di conseguenza, le soglie di clipping e mascheramento interagiscono in modo indesiderato, portando a una stabilità e a prestazioni di ottimizzazione subottimali.

Metodologia
Il documento propone un'analisi unificata delle correzioni off-policy sotto una visione a "doppio vincolo" e valuta due direzioni principali per la risoluzione:

1. Acquisizione Esatta dei Logits Vecchi (Livello di Sistema):
   Gli autori investigano tre strategie per recuperare il $\pi_{old}$ di verità fondamentale senza fare affidamento su approssimazioni:

   • Tracciamento delle Versioni basato su Snapshot: Mantenere snapshot storici dei parametri e ricaricare la versione specifica che ha generato ogni token. Questo è esatto ma comporta un elevato sovraccarico di memoria e I/O.
   • Modello Dedicato per i Logits Vecchi: Mantenere un'istanza di modello separata esclusivamente per calcolare i logits vecchi mentre l'agente principale si allena. Questo consente la sovrapposizione computazionale ma richiede una partizione delle risorse.
   • Sincronizzazione tramite Interruzione del Rollout Parziale: Interrompere i worker di rollout per calcolare i logits vecchi per le traiettorie parziali prima che la versione della politica venga scartata. Questo evita i costi di archiviazione ma introduce arresti di sincronizzazione e sovraccarico di riconfigurazione delle risorse.

2. Correzione Approssimata (Livello di Algoritmo):
   Riconoscendo che il recupero esatto è spesso troppo costoso per i sistemi su larga scala, il documento propone un metodo rivisto PPO-EWMA (Media Mobile Ponderata Esponenzialmente).

   • Invece di utilizzare un proxy di interpolazione statico, questo metodo mantiene una politica di riferimento lisciata ($\pi_{prox}$) che traccia il centro della finestra di versione asincrona.
   • Decadimento Consapevole dell'Obsolescenza: Il fattore di decadimento $\beta$ è impostato in base alla finestra di obsolescenza attesa ($W_{stale}$) per garantire che la politica di riferimento si allinei con il centro del divario di versione, piuttosto che rimanere indietro.
   • Reset Automatico: Per impedire che la politica di riferimento si sposti troppo lontano e causi il collasso della "Maschera Addestramento-Inferenza" (che filtra i token con alta discrepanza), il sistema monitora la frazione di token attivi. Se questa frazione scende sotto una soglia ($\tau$), la politica di riferimento viene reimpostata sui parametri attuali dell'agente.

Il documento fornisce anche un'analisi teorica (Proposizione 1) che dimostra che i proxy basati su interpolazione (lineari o log-lineari) non recuperano genuinamente la politica di riferimento mancante; piuttosto, essi semplicemente riparametrizzano i confini di clipping effettivi del rapporto di importanza totale.

Contributi Chiave

• Identificazione del Problema dei Logits Vecchi Mancanti: Il documento definisce formalmente la modalità di fallimento semantico nell'RL Agente asincrono in cui l'assenza di $\pi_{old}$ rompe il disaccoppiamento tra riparazione della discrepanza e correzione dell'obsolescenza.
• Analisi Unificata delle Correzioni Off-Policy: Formula le varianti PPO esistenti sotto un framework di Campionamento per Importanza Mascherato (MIS), chiarificando perché un singolo rapporto o soglia è insufficiente per gestire sia le discrepanze numeriche che l'obsolescenza della politica.
• Analisi dei Compromessi di Sistema: Valuta tre strategie di acquisizione esatta, quantificandone i costi in termini di memoria, I/O e sovraccarico di sincronizzazione.
• Proposta PPO-EWMA: Introduce un metodo di correzione approssimata a basso costo che preserva i benefici della correzione disaccoppiata senza richiedere costosi cambiamenti infrastrutturali.

Risultati Sperimentali
Gli autori hanno valutato i loro metodi su benchmark di RL Agente ($\tau^2$-Bench e VitaBench) utilizzando sia modelli densi (Qwen3-4B) che modelli Mixture-of-Experts (Qwen3-30B-A3B).

• Prestazioni: Il metodo PPO-EWMA ha costantemente superato il PPO Disaccoppiato standard e i proxy di interpolazione lineare (Linear_prox). Sul modello MoE da 30B, PPO-EWMA ha ottenuto i tassi di superamento più alti sulla divisione airline e ha pareggiato il miglior risultato per le attività retail e telecomunicazioni.
• Confronto con l'Ideale: Sebbene PPO-EWMA non abbia raggiunto pienamente le prestazioni del metodo "Snapshot" (che assume un accesso perfetto ai logits vecchi), ha ottenuto risultati molto vicini al caso ideale, suggerendo che un riferimento approssimato ben sintonizzato può recuperare la maggior parte dei benefici della correzione esatta.
• Sovraccarico di Sistema: I metodi di recupero esatto (Snapshot) hanno comportato costi di sistema significativi (ad es. ~178 secondi aggiuntivi per passo per il modello da 30B a causa dei forward pass storici). Al contrario, PPO-EWMA ha aggiunto un sovraccarico trascurabile, offrendo un compromesso prestazioni/costo superiore.
• Studi di Ablazione: Gli esperimenti hanno confermato che senza il meccanismo di reset automatico, il riferimento EWMA poteva spostarsi, causando il collasso della Maschera Addestramento-Inferenza e il fallimento dell'addestramento. Il meccanismo di reset ha riposizionato con successo il riferimento, mantenendo la stabilità.

Significato e Affermazioni
Il documento afferma che il problema dei logits vecchi mancanti è un problema semantico fondamentale nell'RL per LLM asincrono che mina le garanzie teoriche della correzione disaccoppiata. Gli autori affermano che:

1. Il recupero esatto è l'unico modo per ottenere una riparazione della discrepanza e una correzione dell'obsolescenza semanticamente corrette, ma è spesso proibitivamente costoso.
2. I metodi approssimati basati su semplice interpolazione sono insufficienti perché non riescono a ripristinare la vera politica di riferimento, spostando semplicemente i confini dei vincoli.
3. PPO-EWMA offre un'alternativa pratica e a basso costo che migliora significativamente la velocità di addestramento e le prestazioni di ottimizzazione rispetto alle baseline asincrone esistenti, rendendolo una soluzione praticabile per i sistemi di RL Agente su larga scala dove il recupero esatto dei logits non è fattibile.

Il lavoro conclude che, sebbene PPO-EWMA sia un'approssimazione e possa faticare in condizioni di non stazionarietà estrema o divari di versione molto ampi, rappresenta un passo significativo in avanti nel stabilizzare l'addestramento asincrono senza richiedere modifiche infrastrutturali pesanti.