Riepilogo Tecnico: Generazione Primitiva, Giudizio Duale: Auto-addestramento dalla Scalabilità al Tempo di Test

Enunciato del Problema

I modelli di generazione di codice sono tipicamente addestrati nello spazio primitivo, dove un modello produce una soluzione candidata e riceve un feedback di esecuzione sparso e binario (passa/fallisce). Sebbene la scalabilità al tempo di test (campionamento di più candidati e selezione del migliore tramite un giudice) migliori l'accuratezza dell'inferenza, le informazioni comparative rivelate durante questo processo—specificamente le differenze strutturali tra tentativi riusciti e falliti—vengono scartate dopo l'inferenza. I sistemi esistenti "genera-poi-giudica" utilizzano questa struttura comparativa solo per il ranking al momento dell'inferenza, non riuscendo ad aggiornare il generatore stesso. Di conseguenza, il modello potrebbe continuare ad assegnare un'alta probabilità a codice plausibile ma errato nei futuri rollout.

Il paper sostiene che la struttura comparativa della scalabilità al tempo di test definisce uno spazio di giudizio duale. Questo spazio offre un segnale di addestramento più denso rispetto allo spazio primitivo: invece di bit isolati di passaggio/fallimento, fornisce strutture di correttezza relative tra tentativi plausibili, rivelando ciò che distingue il successo dal fallimento.

Metodologia: DuST (Auto-addestramento Duale)

Gli autori introducono DuST, un framework per l'auto-addestramento da questo spazio di giudizio duale. L'ipotesi di base è che un modello addestrato a discriminare il codice corretto da quello errato nello spazio duale acquisisca caratteristiche sensibili alla correttezza che beneficiano la generazione primitiva, anche senza ricompense dirette per la generazione di codice corretto.

1. Costruzione dei Dati

• Campionamento: Per un problema di codifica $x$, il modello base campiona un ampio pool di codici candidati ($M$ candidati).
• Esecuzione ed Etichettatura: I candidati vengono eseguiti in una sandbox per ottenere etichette di correttezza binarie ($1$ per passaggio, $0$ per fallimento).
• Raggruppamento: I candidati sono partizionati in gruppi di dimensione $K$. Vengono mantenuti solo i gruppi di qualità mista (contenenti almeno un candidato corretto e uno errato). I gruppi con tutti i candidati corretti o tutti errati vengono scartati poiché mancano di contrasto di ranking.
• Dataset: Il dataset risultante è composto da problemi accoppiati con set di candidati auto-generati ed etichette basate sull'esecuzione.

2. Obiettivo di Addestramento

Il modello viene addestrato a classificare i candidati all'interno di un gruppo in base alla correttezza dell'esecuzione.

• Funzione di Ricompensa: La ricompensa è puramente discriminativa. Misura quanto spesso i candidati corretti nell'esecuzione sono classificati sopra quelli errati nell'esecuzione.
  • $R_{exec}$ calcola la frazione di coppie corrette-sopra-errate $(i, j)$ in cui il rango previsto di $i$ è migliore di $j$.
  • Le risposte malformate ricevono una penalità negativa per il formato.
• Ottimizzazione: Il framework utilizza l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
  • I campioni di codice candidati sono mantenuti fissi (off-policy rispetto alla generazione).
  • Il modello campiona risposte di giudizio (tracce di ragionamento e ranking) on-policy.
  • La politica viene aggiornata per massimizzare la ricompensa di ranking, regolarizzata rispetto a una politica di riferimento congelata.

3. Distinzione Chiave

A differenza del Reinforcement Learning (RL) standard per la generazione di codice, DuST non ricompensa mai direttamente la generazione di programmi corretti. La supervisione deriva interamente dal giudicare i contrasti di correttezza tra i tentativi del modello stesso. I parametri aggiornati sono gli stessi utilizzati per la successiva generazione di codice.

Contributi Chiave

1. Framework dello Spazio di Giudizio Duale: Il paper propone di considerare la scalabilità al tempo di test non solo come una strategia di inferenza, ma come una fonte di segnali di addestramento densi e contrastivi in uno spazio duale.
2. Auto-addestramento Discriminativo: DuST dimostra che addestrare un modello a classificare i candidati in base alla correttezza dell'esecuzione (un compito discriminativo) migliora le sue capacità generative (un compito generativo) senza ricompense di generazione dirette.
3. Isolamento del Meccanismo: Attraverso studi di ablazione che confrontano il Fine-Tuning Supervisionato (SFT) e GRPO, il paper identifica il RL on-policy come il meccanismo critico per trasferire l'apprendimento dallo spazio duale alla generazione primitiva. L'SFT migliora il giudizio ma non riesce a migliorare la generazione, mentre GRPO migliora entrambi.
4. Densità della Ricompensa: Il paper evidenzia che il segnale contrastivo denso del ranking (che espone $O(N^2)$ confronti a coppie) è più efficace per il trasferimento rispetto alle ricompense primitive sparse o alle ricompense basate sulla selezione.

Risultati Sperimentali

Il metodo è stato valutato su LiveCodeBench (v5 e v6) su cinque modelli che coprono due famiglie (Qwen, GPT-oss) e tre scale (da 4B a 30B).

• Accuratezza della Scalabilità al Tempo di Test: DuST migliora costantemente l'accuratezza Best-of-4. Per Qwen3-30B-Thinking su LiveCodeBench v6, l'accuratezza è migliorata del +4.1% (da 68.7% a 72.6%).
• Qualità del Giudizio: La capacità del modello addestrato di classificare i candidati è migliorata significativamente, con un NDCG aumentato di +6.2 per Qwen3-30B-Thinking.
• Generazione Primitiva (Pass@1): Remarkabilmente, la qualità della generazione a singolo campione è migliorata senza ricompense dirette. Per Qwen3-30B-Thinking, il pass@1 è aumentato del +3.1% (da 65.4% a 68.5%).
• Generalizzazione: Sono stati osservati miglioramenti su tutte le dimensioni del modello (4B–30B) e famiglie, suggerendo che l'approccio è agnostico rispetto all'architettura.
• Confronto con SFT: Quando addestrato sugli stessi dati di ranking, l'SFT ha migliorato il giudizio (NDCG) ma ha lasciato invariata la generazione (pass@1). Solo GRPO ha migliorato entrambi, confermando che il ciclo di feedback on-policy è essenziale per il trasferimento.
• Sensibilità alla Ricompensa: Le ricompense di ranking (Accuratezza a coppie/NDCG) hanno superato le ricompense di selezione (solo top-1) nel trasferimento alla generazione, probabilmente perché il ranking espone l'intera struttura contrastiva tra codice corretto ed errato.

Significato e Affermazioni

Il paper afferma che gli spazi primitivo (generazione) e duale (giudizio) della generazione di codice sono più strettamente accoppiati di quanto assuma l'addestramento standard.

• Trasferimento della Comprensione: Gli autori sostengono che, imparando a distinguere perché una soluzione fallisce o riesce rispetto ad altri tentativi plausibili, il modello interiorizza le caratteristiche della correttezza eseguibile (ad esempio, invarianti algoritmici, casi limite). Queste caratteristiche spostano successivamente la massa di probabilità del generatore verso traiettorie corrette.
• Efficienza: Il singolo rollout del modello addestrato corrisponde alle prestazioni Best-of-4 del modello base, incorporando efficacemente i benefici della scalabilità al tempo di test nei pesi del modello.
• Limiti dei Paradigmi Attuali: Il lavoro suggerisce che scartare le informazioni comparative dopo l'inferenza è un'opportunità mancata. La struttura contrastiva rivelata al tempo di test è un segnale di addestramento ricco e in gran parte inesplorato.

Il paper conclude che il reinforcement learning on-policy nello spazio di giudizio duale è un meccanismo vitale ed efficace per migliorare la generazione di codice, offrendo una nuova via per il auto-miglioramento che non dipende da preferenze umane esterne o da ricompense di generazione dirette.