Riepilogo Tecnico: Ottimizzazione della Politica Decorrelata per Ricompensa (RDPO)

1. Enunciato del Problema

In ambienti complessi di apprendimento per rinforzo (RL) per i Modelli Linguistici di Grande Dimensione (LLM), l'addestramento spesso coinvolge impostazioni multi-compito con formulazioni di ricompensa miste. Una singola esecuzione di addestramento può incorporare obiettivi diversificati come correttezza, rispetto delle istruzioni, soddisfazione dei criteri, punteggi di modelli di preferenza e lunghezza della risposta.

Aggregare questi segnali di ricompensa eterogenei in un singolo vantaggio scalare presenta due sfide principali che destabilizzano l'addestramento:

1. Scale e Distribuzioni Eterogenee: Le ricompense variano significativamente per scala (binaria, frazionaria, continua) e forma della distribuzione (distorta, legata, soggetta a valori anomali). I metodi di aggregazione standard spesso falliscono nell'allocare vantaggi in modo robusto a livello di prompt, portando a situazioni in cui una singola esecuzione domina il segnale di aggiornamento.
2. Correlazione delle Ricompense: Le dimensioni della ricompensa all'interno di un compito sono spesso correlate (ad esempio, correttezza del codice e lunghezza della risposta, o soddisfazione dei criteri e punteggi di preferenza). Sommare ricompense correlate senza aggiustamenti introduce varianza ridondante, causando al modello di "doppio conteggio" di specifiche variazioni o di annullare segnali utili, riducendo così l'efficienza informativa effettiva del vantaggio aggregato.

I metodi esistenti come GRPO (somma diretta) oscurano le variazioni di performance relative, mentre GDPO (normalizzazione Z-score indipendente) rimane sensibile a distribuzioni non gaussiane a livello di prompt e non affronta le correlazioni inter-ricompensa.

2. Metodologia: Ottimizzazione della Politica Decorrelata per Ricompensa (RDPO)

Gli autori propongono RDPO, una pipeline di elaborazione delle ricompense leggera e in due fasi, progettata per colpire esplicitamente le modalità di fallimento dell'instabilità di scala e della ridondanza di correlazione.

2.1 Metrica Diagnostica: Efficienza Informativa Effettiva ($\eta_{eff}$)

Prima di dettagliare la soluzione, il documento introduce $\eta_{eff}$ come misura diagnostica per valutare l'aggregazione di ricompense miste. Si scompone in:

• $\eta_{proj}$ (Efficienza di Proiezione): Misura quanto bene l'aggregazione si allinea con una proiezione a pesi uguali nello spazio delle ricompense standardizzate. Penalizza gli squilibri causati da scale di ricompensa variabili.
• $\eta_{corr}$ (Efficienza di Correlazione): Quantifica l'informazione indipendente trattenuta dopo la somma di ricompense correlate. Penalizza la ridondanza causata da dipendenze lineari positive o negative tra le dimensioni della ricompensa.

2.2 Passo 1: Normalizzazione Quantile Consapevole della Magnitudine (MAQ)

Obiettivo: Stabilizzare l'allocazione del vantaggio a livello di prompt attraverso ricompense binarie, frazionarie e continue, affrontando i limiti della normalizzazione Z-score in condizioni non gaussiane.

Meccanismo:

• Gap Compressi in Logaritmo: Invece di una scalatura lineare, MAQ calcola lo spazio tra i punteggi delle esecuzioni ordinate utilizzando una funzione di compressione logaritmica: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$. Questo limita l'influenza di valori anomali estremi preservando al contempo distinzioni sottili nelle regioni dense.
• Allocazione CDF: I gap vengono normalizzati per allocare le posizioni della Funzione di Distribuzione Cumulativa (CDF) in modo proporzionale.
• Mappatura Inversa Normale: I valori vengono mappati su una distribuzione normale standard tramite la CDF inversa ($\Phi^{-1}$).

Effetto: MAQ produce vantaggi comparabili tra le dimensioni e meno sensibili a statistiche di gruppo patologiche (legami, distorsione, valori anomali), garantendo che nessuna singola esecuzione domini in modo sproporzionato l'aggiornamento a livello di prompt.

2.3 Passo 2: Sbiancamento Mahalanobis

Obiettivo: Mitigare la varianza ridondante tra le dimensioni della ricompensa co-occorrenti all'interno di un sottospazio di compito specifico.

Meccanismo:

• Selezione del Sottospazio: In impostazioni multi-compito, una esecuzione raramente osserva tutte le dimensioni della ricompensa. RDPO applica lo sbiancamento esclusivamente sul sottospazio di ricompensa osservato $S$ per un dato compito.
• Stima della Covarianza in Esecuzione: Viene utilizzata una Media Mobile Esponenziale (EMA) per stimare la matrice di covarianza $\hat{\Sigma}_t$ dei vantaggi normalizzati con MAQ online, livellando il rumore a livello di batch.
• Trasformazione di Sbiancamento: Il vettore del vantaggio $A^{(i,j)}$ viene trasformato utilizzando la radice quadrata inversa della matrice di covarianza: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$. Questo sposta le dimensioni attive della ricompensa verso segnali non correlati e a varianza unitaria.
• Aggregazione: Il vantaggio scalare finale è la somma delle dimensioni sbiancate, seguita da una normalizzazione a livello di batch.

3. Configurazione Sperimentale

• Modello: LongCat-Flash (fase di post-addestramento).
• Compiti: Una miscela unificata di quattro tipi di compiti: Ragionamento Matematico, Generazione di Codice, Rispetto delle Istruzioni e Scrittura Generale.
• Sottospazi di Ricompensa:
  • Matematica: Correttezza matematica + Lunghezza.
  • Codice: Correttezza del codice + Lunghezza.
  • Rispetto delle Istruzioni: IFEval + Criteri.
  • Scrittura Generale: Lunghezza + RM (Modello di Ricompensa) + Criteri.
• Linee di Base: GRPO (somma grezza), GDPO (normalizzazione Z-score) e il modello di inizializzazione RL.
• Validazione: Validazione su piccola scala su un modello più piccolo della stessa famiglia per isolare i contributi di MAQ e Sbiancamento prima di scalare su LongCat-Flash.

4. Risultati Chiave

4.1 Validazione su Piccola Scala

Su un modello interno più piccolo, l'intera pipeline RDPO ha superato GDPO, GRPO e il modello di inizializzazione su diverse metriche:

• Rispetto delle Istruzioni: Guadagni significativi su IFEval (83,55% contro il 78,56% per GDPO).
• Ragionamento e Codifica: Miglioramenti su AIME24, FullStackBench, HumanEval+ e MBPP+.
• Analisi dei Componenti: Sia MAQ (Q) che Sbiancamento (M) hanno fornito benefici complementari. MAQ è stato particolarmente efficace su metriche sensibili alla distribuzione (ad esempio AH-Creative), mentre lo sbiancamento ha aiutato impostazioni sensibili alla correlazione.

4.2 Risultati Scalati su LongCat-Flash

Quando applicato a LongCat-Flash, RDPO ha dimostrato:

• Rispetto delle Istruzioni e Scrittura: RDPO ha ottenuto i punteggi più alti su IFEval (90,39%), GuideBench, SOP-Maze, WritingBench e su entrambi i sottoinsiemi di ArenaHard v2 (AH-Creative: 89,00%, AH-Hard: 76,10%). Ciò conferma l'utilità della stabilizzazione dei vantaggi a livello di prompt e della riduzione della ridondanza per compiti aperti e sensibili alle preferenze.
• Ragionamento e Codifica: I risultati sono stati ampiamente competitivi ma misti. RDPO ha eguagliato il miglior punteggio MATH500 (98,60%) ed è rimasto competitivo su AIME2025 e GPQA. Nella codifica, RDPO ha guidato su MBPP+ e LiveCodeBench v6, mentre GRPO o il modello di inizializzazione sono rimasti più forti su FullStackBench e HumanEval+.
• Stabilità Complessiva: Il metodo è stato trasferito con successo dalla validazione su piccola scala all'addestramento su larga scala, mantenendo prestazioni stabili di ragionamento e codifica mentre potenziava significativamente il rispetto delle istruzioni e la qualità della scrittura.

5. Significato e Affermazioni

Il documento afferma che RDPO offre una soluzione robusta per l'RL multi-obiettivo nel post-addestramento degli LLM affrontando esplicitamente le doppie modalità di fallimento dell'instabilità di scala e della ridondanza di correlazione.

• Contributo Metodologico: Combinando la normalizzazione Quantile Consapevole della Magnitudine con lo sbiancamento Mahalanobis, RDPO garantisce che il segnale di vantaggio aggregato sia sia geometricamente coerente (contributo uguale tra le dimensioni) che informativamente efficiente (minimizzando la varianza ridondante).
• Impatto Pratico: Il metodo consente l'ottimizzazione simultanea di compiti eterogenei (ad esempio, matematica, codice, scrittura) senza l'instabilità di addestramento tipicamente associata alle formulazioni di ricompensa miste.
• Prestazioni: Gli autori concludono che RDPO migliora il rispetto delle istruzioni, la qualità della scrittura e la robustezza ai prompt difficili, rimanendo al contempo ampiamente competitivo nelle valutazioni di ragionamento e codifica, validando la sua efficacia come strategia di elaborazione delle ricompense a scopo generale per ambienti RL complessi.