Riepilogo Tecnico: RLCSD – Reinforcement Learning con Auto-Distillazione Contrastiva On-Policy

1. Problema: Drift Stilistico Indotto dal Privilegio

Il documento identifica una patologia critica nella Auto-Distillazione On-Policy (OPSD), un paradigma in cui un singolo modello funge sia da insegnante che da studente, con l'insegnante che ha accesso a un "contesto privilegiato" (ad esempio, una soluzione verificata) non disponibile per lo studente.

Sebbene i metodi OPSD esistenti (ad esempio, OPSD, SDPO, SRPO, RLSD) mirino a fornire una supervisione densa a livello di token minimizzando il divario distributivo tra lo studente e l'insegnante privilegiato, gli autori dimostrano che questo segnale di apprendimento è fondamentalmente errato. Essi definiscono questo difetto come drift stilistico indotto dal privilegio (privilege-induced style drift).

• Il Meccanismo: Condizionare l'insegnante su una soluzione verificata (il contesto privilegiato) può effettivamente aumentare la sua fiducia sui token portatori di task (ad esempio, operatori matematici). Tuttavia, induce simultaneamente uno spostamento sistematico, ortogonale alla correttezza, nel comportamento generativo. L'insegnante privilegiato tende a produrre output più brevi e assertivi, sopprime le esitazioni esplorative e rialloca la massa di probabilità verso i token di formato e discorso (ad esempio, "Aspetta", "Pertanto", "\n\n").
• La Conseguenza: Il segnale risultante ($e_{c,t}$) è dominato da questi token stilistici piuttosto che dai token portatori di task che determinano la risposta.
• Patologie Osservate: Questo squilibrio del segnale porta a due distinti modi di fallimento durante l'addestramento:
  1. Esplosione dell'Entropia e Instabilità: Metodi come OPSD e SDPO soffrono di una crescita illimitata dell'entropia, portando a esplosioni della lunghezza delle risposte e al collasso dell'addestramento.
  2. Contrazione Prematura della Lunghezza: Metodi come RLSD mostrano una drastica riduzione della lunghezza della risposta, limitando la capacità del modello di eseguire ragionamenti a lungo termine.

2. Metodologia: RLCSD

Per affrontare il drift stilistico indotto dal privilegio, gli autori propongono RLCSD (Reinforcement Learning con Auto-Distillazione Contrastiva On-Policy). L'intuizione fondamentale è che gli spostamenti stilistici indotti dal contesto privilegiato sono condivisi tra suggerimenti corretti e errati quando presentati sotto identici template di prompt. Confrontando un suggerimento corretto con uno errato, la componente stilistica condivisa può essere annullata, lasciando un segnale concentrato sulla correttezza del task.

La pipeline RLCSD consiste in tre fasi:

Fase 1: Campionamento dei Rollout e Partizionamento

Per una data query $x$, la policy dello studente $\pi_S$ campiona un gruppo di $G$ rollout. Un verificatore basato su regole partiziona questi in un sottoinsieme corretto ($\mathcal{G}^+$) e uno errato ($\mathcal{G}^-$). I gruppi con esiti uniformi (tutti corretti o tutti errati) vengono scartati poiché non producono alcun vantaggio sotto la normalizzazione standard di GRPO.

Fase 2: Costruzione del Segnale Contrastivo a Livello di Token

Invece di utilizzare un singolo suggerimento privilegiato, RLCSD costruisce un segnale contrastivo $e_{ctr,t}$:

1. Suggerimento Positivo ($y_c^*$): Campionato da $\mathcal{G}^+$.
2. Suggerimenti Negativi ($y_{w,k}^*$): $K$ suggerimenti campionati da $\mathcal{G}^-$.
3. Prompting Simmetrico: Entrambi i suggerimenti sono inseriti in un template di prompt identico (Problema + Soluzione di Riferimento + Risposta). Ciò assicura che l'insegnante tratti entrambi come riferimenti di verità fondamentale, rendendo gli spostamenti stilistici indotti identici.
4. Il Segnale: Il segnale contrastivo è calcolato come la differenza tra il divario di log-probabilità sotto il suggerimento corretto e la media del divario di log-probabilità sotto i $K$ suggerimenti negativi:
   $$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$$
   Raffinamenti: Il metodo utilizza la K-marginalizzazione sui suggerimenti negativi per stabilizzare il segnale contro tipi di errore eterogenei ed esclude il rollout target dal pool di suggerimenti per evitare che l'insegnante diventi eccessivamente fiducioso nella propria generazione.

Fase 3: Modulazione Ancorata al Verificatore e Loss

Il segnale contrastivo $e_{ctr,t}$ non viene utilizzato come un reward autonomo, ma come una modulazione dell'advantage a livello di esito ($A_{ORM}$) derivato da GRPO.

• Modulazione: $e_{ctr,t}$ viene normalizzato morbidamente (tramite $\tanh$) e riscalato per produrre un termine di modulazione a livello di token $r_t$.
• Clamp Preservazione del Segno: La modulazione viene aggiunta a $A_{ORM}$, ma il risultato è limitato (clamped) per garantire che la direzione dell'aggiornamento non contraddica mai il segnale di esito del verificatore.
• Loss a Due Percorsi: L'obiettivo finale aggrega una loss di tipo PPO con clipping a due percorsi:
  1. Un percorso non modulato per i token in cui il segnale contrastivo è debole (rumore).
  2. Un percorso modulato per i token in cui il segnale è forte.
     Fondamentalmente, questi percorsi sono normalizzati indipendentemente all'interno di ogni rollout per evitare che il segnale modulato venga diluito dalla maggioranza dei token non modulati.

3. Contributi Chiave

1. Caratterizzazione del Drift Stilistico Indotto dal Privilegio: Il documento identifica e quantifica un bias sistematico in OPSD dove il condizionamento privilegiato sposta il segnale di apprendimento verso i token stilistici, causando instabilità dell'addestramento o contrazione prematura della lunghezza della risposta.
2. Algoritmo RLCSD: Un nuovo metodo che mitiga questo drift attraverso la cancellazione contrastiva simmetrica tra suggerimenti privilegiati corretti ed errati. Integra questo segnale pulito nel Reinforcement Learning con Reward Verificabili (RLVR) come modulazione a livello di token ancorata al verificatore.
3. Generalizzabilità del Principio Contrastivo: Gli autori dimostrano che la costruzione contrastiva è un componente indipendente dal metodo. Può essere integrato in basi OPSD esistenti (come OPSD e RLSD) per migliorarne stabilità e prestazioni, suggerendo che il principio si applichi ampiamente all'auto-distillazione on-policy.
4. Estensione alla Distillazione Cross-Model: Il documento estende l'intuizione alla distillazione On-Policy (OPD) tra modelli diversi, mostrando come una decomposizione simile tra token di ragionamento e token di stile superficiale spieghi perché insegnanti meno capaci ma stilisticamente allineati possano talvolta superare insegnanti più forti ma stilisticamente distanti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen3 (1.7B, 4B, 8B) e Olmo-3-7B-Think su ragionamento matematico (AMC23, AIME24, AIME25) e ragionamento logico (Knights & Knaves).

• Prestazioni: RLCSD supera costantemente GRPO e i precedenti metodi OPSD (OPSD, SDPO, SRPO, RLSD) in tutti i benchmark.
  • Su Qwen3-8B, RLCSD ha ottenuto un mean@12 di 90.8 su AMC23 (rispetto a 90.1 per GRPO) e 77.5 su AIME24.
  • Sul Ragionamento Logico (OOD), RLCSD ha mostrato guadagni significativi, raggiungendo un pass@1 di 81.8 su Knights & Knaves (4-8 ruoli) e 79.0 sulla divisione OOD a 9 ruoli, superando GRPO di un ampio margine.
• Stabilità dell'Addestramento: A differenza dei metodi OPSD concorrenti che esibivano esplosione dell'entropia o contrazione della lunghezza della risposta, RLCSD ha mantenuto un'entropia e lunghezze di risposta stabili durante l'addestramento, comparabili a GRPO.
• Studi di Ablazione:
  • Rimuovere il meccanismo contrastivo (usando solo suggerimenti monodirezionali) ha causato cali di prestazione di 3.0–5.4 punti, confermando la necessità del contrasto.
  • Rimuovere la K-marginalizzazione o permettere i self-rollout nel pool di suggerimenti ha degradato le prestazioni, validando i raffinamenti del design.
  • Rimuovere l'aggregazione della loss a due percorsi (usando una media globale singola) ha ridotto significativamente le prestazioni, provando la necessità di isolare i token modulati.

5. Significato e Rivendicazioni

Il documento sostiene che RLCSD offre una soluzione robusta all'instabilità che affligge l'auto-distillazione on-policy. Isolando il segnale "portatore di task" dal rumore di "stile" inerente al condizionamento privilegiato, RLCSD consente un addestramento stabile e ad alte prestazioni di modelli di ragionamento senza l'overhead di memoria richiesto dal mantenimento di un modello insegnante separato.

Gli autori affermano modestamente che il principio contrastivo è un'intuizione generale per la distillazione on-policy. Non solo migliora l'algoritmo specifico RLCSD, ma funge anche da strumento diagnostico per la selezione degli insegnanti nelle impostazioni di distillazione cross-model, dove l'allineamento degli stili di ragionamento può essere più critico della capacità pura. Il lavoro suggerisce che i futuri metodi di distillazione debbano tenere conto e mitigare gli spostamenti stilistici parassiti indotti dal contesto privilegiato.