Sintesi Tecnica: Agon – Cross-Model RL Competitivo con Valutazione Implicita del Rivale

1. Definizione del Problema

L'attuale Reinforcement Learning from Verifiable Rewards (RLVR), in particolare metodi come il Group Relative Policy Optimization (GRPO), si basa esclusivamente su ricompense basate sull'esito (ovvero la correttezza della risposta finale). Sebbene efficace per compiti con una chiara verità di base (ground truth), questo approccio non riesce a valutare il processo di ragionamento (la "traccia") in sé. Su problemi difficili, ciò crea un forte incentivo per i modelli ad aumentare la quantità del ragionamento (lunghezza) piuttosto che la qualità. I modelli imparano a "scrivere di più" aggiungendo esitazioni, tentativi di correzione e ridondanze per aumentare la probabilità di imboccare la strada corretta, portando a una "patologia della lunghezza" dove il conteggio dei token cresce significativamente mentre l'accuratezza migliora solo marginalmente.

Valutare direttamente il ragionamento è intrattabile perché non esiste una verità di base per il "buon pensiero" (non esistono etichette per specifici passaggi intuitivi), e i modelli di ricompensa di processo appresi sono costosi, fragili e non verificabili. Il documento postula che un secondo modello possa fornire il segnale mancante: se una politica concorrente tenta lo stesso problema ed è ricompensata per aver superato in ragionamento la prima, la traccia di ragionamento viene valutata implicitamente senza etichette di processo esplicite.

2. Metodologia: Agon

Agon (dal greco "lotta") è un framework di addestramento che ottimizza congiuntamente due politiche distinte, $A$ e $B$, in un contesto di testa a testa competitivo.

Meccanismo Centrale

Il processo di addestramento opera in ruoli alternati (draft-and-challenge) con rotazione per step:

1. Drafting (Bozza): Un modello (il drafter) genera $N$ rollout da un prompt di problema semplice. Riceve un aggiornamento GRPO standard basato esclusivamente sulla correttezza della sua risposta finale.
2. Challenging (Sfida): L'altro modello (il challenger) legge un riassunto della soluzione del drafter (il recap post-ragionamento, escludendo la traccia grezza e la risposta finale). Il challenger genera quindi un nuovo rollout tentando di risolvere il problema, potenzialmente correggendo o migliorando il lavoro del drafter.
3. Ricompensa: Il challenger riceve una ricompensa competitiva che dipende sia dalla propria correttezza che dall'esito del drafter.
   • Correttezza: Ricompensa binaria standard per una risposta corretta.
   • Bonus di Conversione: Un bonus aggiuntivo viene concesso se il challenger risolve il problema correttamente e il drafter ha fallito ($c(b_i) \cdot (1 - c(a_i))$). Ciò incentiva il challenger a identificare e correggere gli errori del drafter.
   • Opzionale Tiebreak sulla Lunghezza: Un bonus può essere applicato se il challenger è corretto e utilizza meno token di un drafter corretto, incoraggiando la brevità senza penalizzare la correttezza.

Architettura ed Efficienza

• Istanziazione Dual-Adapter: Per mantenere l'efficienza, entrambe le politiche sono istanziate come adattatori Low-Rank Adaptation (LoRA) su un singolo modello base congelato. Ciò mantiene l'overhead di memoria basso (~2% del modello base) e assicura che le politiche operino in spazi di rappresentazione compatibili.
• Divergenza: I due adattatori vengono inizializzati diversamente (uno con standard zero-init, l'altro con piccolo rumore Gaussiano) e ricevono flussi di gradiente differenti a causa della rotazione dei ruoli. Questa divergenza strutturale assicura che sviluppino diversi "punti ciechi", impedendo al sistema di collassare in auto-gioco o semplice distillazione.
• Inferenza: In fase di deployment, la coppia opera come una cascata a due stadi: un modello prepara una bozza della soluzione, e il secondo legge il riassunto per produrre la risposta finale.

Giustificazione Teorica

Il documento sostiene che il miglioramento di sé stesso (self-play) di un singolo modello spesso raggiunge un plateau perché il modello ri-audita il proprio lavoro utilizzando gli stessi bias che hanno causato gli errori. Introducendo un secondo modello con modalità di errore differenti, Agon rompe questo ciclo chiuso. Il "valutatore" è un agente distinto e, poiché entrambi i modelli sono ottimizzati, la difficoltà del "rivale" aumenta nel tempo, spingendo entrambe le politiche oltre il limite del RL a modello singolo.

3. Contributi Chiave

1. Riformulazione della Qualità del Ragionamento: Il documento riformula la qualità del ragionamento come una ricompensa implicita fornita da un pari concorrente, trasformando il problema non etichettato del "buon pensiero" in un gioco testa a testa.
2. La Ricetta Agon: Una nuova ricetta di addestramento che utilizza GRPO competitivo con rollout di tipo draft-and-challenge, rotazione dei ruoli per step e una struttura di ricompensa competitiva (correttezza + bonus di conversione). Funziona su standard GRPO trainer senza modifiche core all'ottimizzazione.
3. Implementazione Efficiente: Un'istanza a base condivisa e dual-adapter che rende l'addestramento di due politiche competitive quasi altrettanto economico dell'addestramento di un singolo modello.
4. Validazione Empirica: Un design sperimentale 2x2 (incrociando competizione vs cooperazione e scambio di informazioni vs nessun scambio) che isola il valore della pressione avversaria e dello scambio di informazioni cross-modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul set DeepMath-hard (usando modelli Qwen3) e su un sottoinsieme di programmazione competitiva di CodeContests.

• Guadagni di Performance: Sul set DeepMath-hard con Qwen3-0.6B:
  • Vanilla GRPO: 30% pass@1.
  • Scambio Cooperativo (senza competizione): 46% pass@1.
  • Agon (Competizione + Scambio): 61% pass@1.
  • Ciò rappresenta un raddoppio delle performance di GRPO e un guadagno di circa 8 volte rispetto a un baseline Mixture-of-Agents (MoA) non addestrato.
• Scalabilità: I guadagni persistono attraverso diverse famiglie di modelli (Qwen3.5, Gemma 4) e dimensioni. Notevolmente, la cascata Agon su una base 0.6B (61%) ha superato un base di 4B addestrato con vanilla GRPO (59%).
• Lunghezza della Traccia: Agon riduce significativamente la lunghezza del ragionamento. La traccia dello stadio finale mediava 3.5k token rispetto agli 8.1k token di vanilla GRPO, pur ottenendo un'accuratezza superiore. Questo accorciamento è una proprietà emergente della competizione, non una penalità esplicita.
• Ablazioni:
  • Competizione: Rimuovere il bonus competitivo (solo cooperativo) riduce le performance al 46%.
  • Scambio: Rimuovere lo scambio visibile di informazioni (l'avversario condiviso è nascosto dal contesto) riduce le performance al 32% (vicino a vanilla GRPO), confermando che il gradiente competitivo richiede la varianza del contesto visibile per funzionare.
  • Rotazione dei Ruoli: Fissare i ruoli (nessuna rotazione) riduce le performance al 52%, evidenziando l'importanza che entrambi i modelli apprendano sia il drafting che il challenging.

5. Significato e Rivendicazioni

Il documento sostiene che Agon dimostra come lo scambio di informazioni tra modelli e la pressione avversaria possano migliorare significativamente le capacità di ragionamento senza richiedere etichette di processo o un modello di ricompensa separato.

• Valutazione Implicita: Dimostra che un modello rivale può valutare efficacementamente le tracce di ragionamento in modo implicito, risolvendo il problema del "pensiero non etichettato".
• Oltre il Self-Play: Stabilisce che una coppia di politiche divergenti può co-migliorare oltre il plateau del raffinamento di sé stesso di un singolo modello.
• Efficienza: Mostra che un alto ragionamento può essere ottenuto con una cascata a due stadi che è computazionalmente efficiente (usando gli adapter) e produce tracce di ragionamento più brevi e dense.
• Modestia: Gli autori osservano che l'implementazione attuale si basa sullo scambio di testo, il che limita la larghezza di banda. Suggeriscono che il lavoro futuro potrebbe spostarsi verso lo scambio nello spazio latente (ad esempio, l'iniezione della cache KV) per rimuovere i colli di bottiglia della serializzazione. Riconoscono inoltre che il metodo richiede un verificatore pulito e che la divergenza tra i modelli è mantenuta in modo euristico piuttosto che garantito.

In sintesi, Agon sposta il paradigma dalla "valutazione della risposta" alla "valutazione del ragionamento tramite competizione", consentendo ai modelli di imparare a pensare meglio, non solo a scrivere di più.