Riepilogo Tecnico: SCOPE – Self-Play tramite Co-Evoluzione di Policy per Task Aperti

Problema

Gli attuali approcci di reinforcement learning (RL) per l'addestramento di grandi modelli linguistici (LLM) su compiti aperti (ad es. ricerca approfondita, QA complessa, scrittura creativa) affrontano un collo di bottiglia fondamentale: dipendono dalla supervisione esterna. Questa supervisione assume tipicamente la forma di prompt curati da esseri umani, risposte di riferimento o giudici basati su "modelli di frontiera" (LLM più forti utilizzati per valutare gli output). Queste dipendenze legano le prestazioni del modello alla qualità dei dati di livello umano e ne limitano la scalabilità.

I metodi di self-play esistenti per gli LLM tentano di aggirare questo problema facendo co-evolvere i generatori di task e i risolutori (solver). Tuttavia, questi approcci precedenti (ad es. SPICE, Dr. Zero, R-Zero) sono limitati a domini con risposte verificabili (corrispondenza di stringhe, uguaglianza numerica, esecuzione di codice). I compiti aperti mancano di una risposta univocamente corretta, rendendo impossibile la verifica basata su regole. Sebbene la valutazione basata su rubriche offra una strada percorribile, i precedenti metodi di RL basati su rubriche (ad es. RaR, DR Tulu, RPG) dipendono ancora da prompt curati o da giudici esterni basati su modelli di frontiera, fallendo nel raggiungere un ciclo di auto-supervisione veramente privo di dati (data-free).

Metodologia: SCOPE

Gli autori introducono SCOPE (Self-play via Co-evolving Policies for Open-Ended tasks), il primo framework per estendere il self-play privo di dati ai compiti aperti. Il sistema opera senza dati curati o giudici esterni, affidandosi invece a un "auto-giudice" derivato dal modello base stesso.

Architettura Core

SCOPE fa co-evolvere due policy inizializzate dallo stesso modello base $M_0$, insieme a un terzo ruolo fisso:

1. Challenger ($C_t$): Una policy in evoluzione addestrata a generare compiti aperti e radicati in documenti. Esegue un recupero multi-turno su un corpus non etichettato per costruire compiti che si collochino vicino al confine delle capacità dell'attuale Solver.
2. Solver ($S_t$): Una policy in evoluzione addestrata a rispondere ai compiti del Challenger. Utilizza la generazione aumentata da recupero (RAG) multi-turno per raccogliere prove e sintetizzare risposte.
3. Judge ($J = M_0$): Una copia congelata del modello base iniziale. Svolge due funzioni critiche:
   • Generazione della Rubrica: Per ogni task $q$ e documento sorgente $d$, il Judge genera rubriche di valutazione (criteri) specifiche per il task, radicate nel documento sorgente.
   • Valutazione (Grading): Il Judge assegna un punteggio alle risposte del Solver rispetto a queste rubriche.

Ciclo di Addestramento

Il processo di addestramento alterna due fasi, ottimizzate tramite Group Relative Policy Optimization (GRPO):

Fase 1: Addestramento del Challenger

• Il Challenger genera un task $q$ basato su un documento sorgente $d$.
• Quality Gates (Cancelli di Qualità): Il Judge applica controlli binari per garantire che il task faccia riferimento a entità identificabili e sia radicato nel documento sorgente. I task che falliscono questi controlli vengono scartati per evitare che il Challenger generi prompt generici che sfruttino la ricompensa (reward-hacking).
• Ricompensa di Difficoltà: Il precedente Solver ($S_{t-1}$) tenta di eseguire il task. Il Judge valuta le risposte. Il Challenger è ricompensato per generare compiti in cui il punteggio medio del Solver è vicino a una difficoltà target $\tau = 0.5$. Ciò assicura che i compiti rimangano impegnativi ma risolvibili, massimizzando la varianza del feedback.

Fase 2: Addestramento del Solver

• Il Challenger genera un pool di compiti.
• Filtraggio: I compiti vengono filtrati in base ai cancelli di qualità e alla difficoltà (mantenendo solo quelli in cui il punteggio medio del Solver cade nell'intervallo $[0.2, 0.8]$).
• Ricompensa del Solver: Il Solver viene addestrato su questi compiti filtrati. La funzione di ricompensa combina:
  • Punteggio della Rubrica: Media pesata di verdetti binari su criteri specifici.
  • Ricompense di Formato e Ricerca: Incoraggiare l'uso corretto degli strumenti e la struttura.
  • Penalità di Lunghezza: Una penalità basata sul coseno impedisce al Solver di sfruttare la tendenza del Judge a favorire output più lunghi generando risposte eccessivamente verbiose.

Giustificazione Teorica

Il paper sostiene che un miglioramento sostenuto richiede informazioni apprendibili. SCOPE ottiene questo attraverso:

1. Radicamento del Task (Task Grounding): Il Challenger e il Judge osservano il documento sorgente $d$, mentre il Solver vede solo il task $q$. Il Solver deve recuperare $d$ per rispondere, creando un gap informativo.
2. Gap della Rubrica Nascosta (Hidden-Rubric Gap): Le rubriche $G$ contengono criteri specifici del documento non completamente rivelati dal task $q$. Il Solver deve recuperare i dettagli specifici in $d$ per soddisfare la rubrica.
   Man mano che il Solver migliora, chiude il gap sui compiti attuali. Il Challenger deve co-evolvere per proporre nuovi compiti dove il gap rimanga aperto, impedendo al segnale di apprendimento di saturare.

Contributi Chiave

1. Primo Self-Play Privo di Dati per Compiti Aperti: SCOPE è il primo framework che applica con successo il self-play a compiti aperti senza fare affidamento su prompt curati o giudici esterni di frontiera.
2. Auto-Giudizio Basato su Rubriche: Dimostra che una copia congelata del modello base può generare efficacemente rubriche specifiche per il task e valutare le risposte, sostituendo la necessità di supervisione esterna.
3. Necessità della Co-Evoluzione: Il paper fornisce prove empiriche che un Challenger statico fallisce nel sostenere il miglioramento; il Challenger deve co-evolvere con il Solver per mantenere il "confine di difficoltà".
4. Generalizzazione: Nonostante l'addestramento esclusivo su compiti aperti radicati in documenti, il metodo migliora le prestazioni su QA a breve formato e scrittura creativa, suggerendo guadagni trasferibili nelle abilità di recupero e sintesi.

Risultati Sperimentali

Gli autori hanno valutato SCOPE su tre modelli istruiti (Qwen2.5-7B, Qwen3-8B, OLMo-3-7B) attraverso otto benchmark aperti e sette benchmark di QA a breve formato.

• Prestazioni su Compiti Aperti: SCOPE ha migliorato le prestazioni sui compiti aperti di +5.4 e +10.4 punti attraverso i modelli. In particolare, su Qwen2.5-7B, il punteggio medio è salito da 24.4 a 34.8 (+10.4).
• Confronto con i Dati Curati: SCOPE ha eguagliato o superato GRPOdata, un baseline addestrato su circa 9.000 prompt curati da umani con rubriche di modelli di frontiera. Ad esempio, su Qwen3-8B, SCOPE ha ottenuto 43.1 contro i 41.5 di GRPOdata.
• Trasferimento su QA a Breve Formato: Sebbene addestrato solo su compiti aperti, SCOPE ha migliorato i punteggi di QA a breve formato di +7.8 e +13.8 punti, superando GRPOdata su tutti e tre i modelli.
• Scrittura Creativa: SCOPE ha mostrato guadagni significativi nella scrittura creativa (fino a +7.4), un dominio in cui GRPOdata spesso regredisce rispetto al modello base, indicando che il self-play ancorato al corpus costruisce robuste abilità di sintesi.
• Studi di Ablazione:
  • Co-evoluzione: Congelare il Challenger ha prodotto guadagni trascurabili (+0.8 rispetto a +3.4 per il pieno SCOPE), poiché i task diventavano troppo facili.
  • Design della Ricompensa: Rimuovere i cancelli di qualità o le penalità di lunghezza ha portato al "reward hacking" (task generici o testi gonfiati), causando il collasso delle prestazioni al di sotto del modello base.
  • Qualità della Rubrica: La qualità della generazione della rubrica (non la capacità di valutazione) è stata identificata come il collo di bottiglia. Le rubriche di modelli più piccoli (4B) spesso mancavano di fatti specifici del documento, mentre i modelli 8B+ producevano criteri discriminanti e radicati.

Significato e Rivendicazioni

Il paper sostiene che SCOPE rappresenti un passo significativo verso un miglioramento auto-contenuto e privo di dati per gli LLM. Sostituendo la dipendenza dai dati curati dall'uomo e dai giudici di frontiera con un ciclo autosufficiente di policy in co-evoluzione e auto-giudizio basato su rubriche, SCOPE estende la portata del self-play oltre i domini verificabili (matematica, codice) ai complessi compiti di ragionamento aperti.

Gli autori notano con modestia che la pipeline multi-stadio richiede più calcolo rispetto al GRPO a singolo stadio, limitando gli esperimenti attuali ai modelli 7–8B. Tuttavia, sostengono che nel "regime post-dati", dove la supervisione curata è esaurita, scambiare il calcolo per un continuo auto-miglioramento è una via giustificata e necessaria. I risultati suggeriscono che i compiti aperti possono essere padroneggiati attraverso segnali auto-generati, a condizione che il sistema mantenga un'asimmetria informativa dinamica tra il generatore del task e il risolutore.