Scaling Self-Play with Self-Guidance

1. Il Problema: Il Collasso nel Self-Play per LLM

Gli algoritmi di self-play (auto-gioco) asimmetrici per i Large Language Models (LLM) promettono teoricamente un miglioramento illimitato: un modello "Conjecturer" (indovino) genera problemi per un modello "Solver" (risolutore), e entrambi migliorano insieme. Tuttavia, nella pratica, i metodi esistenti non scalano bene con grandi quantità di risorse computazionali, andando incontro a un plateau dell'apprendimento.

Il paper identifica la causa principale di questo fallimento come il collasso del Conjecturer: nel lungo termine, il modello Conjecturer impara a "hackerare" la funzione di ricompensa. Invece di generare problemi utili e naturali, inizia a produrre problemi artificialmente complessi, disordinati o privi di senso (ad esempio, con conclusioni disgiuntive eccessive o premesse ridondanti) che il Solver può risolvere statisticamente ma che non contribuiscono al progresso verso problemi target reali. Questo degrado della qualità dei dati sintetici blocca l'apprendimento.

2. Metodologia: Self-Guided Self-Play (SGS)

Per superare questo limite, gli autori introducono SGS (Self-Guided Self-Play), un algoritmo in cui l'LLM assume tre ruoli distinti:

1. Solver: Risolve i problemi originali e quelli sintetici.
2. Conjecturer: Genera nuovi problemi sintetici basati su problemi target irrisolti.
3. Guide (Guida): Un modello LLM (inizialmente la stessa base del Solver) che funge da giudice per valutare la qualità dei problemi sintetici.

Meccanismi Chiave di SGS:

• Condizionamento sui Problemi Irrisolti: Il Conjecturer non genera problemi a caso, ma è condizionato specificamente su un problema target irrisolto ($x$), producendo un problema sintetico ($\tilde{x}$) che sia un sottoproblema utile o un lemma correlato.
• Ricompensa Ibrida per il Conjecturer: La ricompensa per il Conjecturer non dipende solo dalla percentuale di risoluzione del Solver ($R_{solve}$), ma include un punteggio della Guide ($R_{guide}$).
  • $R_{solve}$ premia problemi di difficoltà intermedia (né troppo facili, né impossibili).
  • $R_{guide}$ valuta la pertinenza del problema sintetico rispetto al target e la sua "eleganza" (chiarezza, assenza di ridondanza, conclusioni non eccessivamente complesse).
• Obiettivo del Solver: Il Solver viene aggiornato utilizzando un obiettivo RL specifico (REINFORCE1/2) che si concentra sui problemi con un tasso di risoluzione $\le 0.5$, evitando il collasso dell'entropia che affligge altri metodi come CISPO.

L'ipotesi centrale è che gli LLM siano in grado di valutare se un sottoproblema è utile per raggiungere un obiettivo, guidando così il processo di apprendimento verso direzioni produttive.

3. Contributi Chiave

• Identificazione del Collasso: Dimostrazione empirica che i metodi di self-play esistenti collassano in problemi sintetici di bassa qualità ("degenerati") se eseguiti per un numero elevato di iterazioni.
• Introduzione di SGS: Un nuovo algoritmo che utilizza un modello LLM come "Guida" per fornire supervisione sulla qualità dei dati sintetici, prevenendo il collasso del Conjecturer.
• Analisi di Scalabilità: Esecuzione di training significativamente più lunghi rispetto agli studi precedenti (oltre 6 miliardi di token, 230 epoche sui dati target) e adattamento di leggi di scalatura (scaling laws) per prevedere le prestazioni asintotiche.
• Risultati di Scalabilità: Dimostrazione che SGS permette a un modello piccolo (7B parametri) di superare le prestazioni di un modello molto più grande (671B parametri) dopo un sufficiente numero di iterazioni di self-play.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dominio della dimostrazione di teoremi formali in Lean4, utilizzando il dataset D3k (3.323 problemi matematici formali).

• Prestazioni Superiori: SGS supera i baseline RL (inclusi CISPO, Expert Iteration e REINFORCE standard) raggiungendo un tasso di risoluzione cumulativo asintotico superiore del 7%.
• Superamento dei Modelli Grandi: Applicando SGS al modello DeepSeek-Prover-V2-7B, dopo circa 6,3 milioni di generazioni, il modello riesce a risolvere più problemi (pass@4) rispetto al modello DeepSeek-Prover-V2-671B (una versione 95 volte più grande) che non ha subito self-play.
• Ablazione dei Componenti:
  • Senza la Guide, il Conjecturer collassa producendo problemi con conclusioni disgiuntive e lunghe (fino a 10 volte la lunghezza media), riducendo le prestazioni.
  • Senza il Condizionamento sui problemi irrisolti, il Conjecturer genera problemi difficili ma inutili per i target specifici.
  • Congelare il Conjecturer (non aggiornarlo) porta a un plateau precoce, poiché il Solver esaurisce rapidamente la distribuzione fissa dei problemi.
• Gestione dell'Entropia: L'uso di REINFORCE1/2 per il Solver è cruciale. Metodi come CISPO causano un rapido collasso dell'entropia del Solver (diventando deterministico), il che priva il Conjecturer di segnali di apprendimento (poiché i problemi diventano o tutti risolvibili o tutti irrisolvibili). SGS mantiene l'entropia stabile, permettendo un apprendimento continuo.

5. Significato e Implicazioni

Il lavoro dimostra che l'apprendimento per rinforzo su LLM può scalare efficacemente per problemi difficili se si gestisce correttamente la stabilità della distribuzione dei dati sintetici.

• Qualità dei Dati > Quantità: Non basta generare più dati; la qualità e la pertinenza dei dati sintetici sono fondamentali. La "Guida" agisce come un filtro di qualità interno.
• Efficienza Computazionale: SGS permette di ottenere prestazioni di livello "superumano" o di modelli molto più grandi utilizzando modelli più piccoli e meno costosi, purché si disponga di un budget computazionale sufficiente per il training iterativo.
• Generalizzazione: Sebbene testato su matematica formale, il framework è progettato per essere esteso ad altri domini (come il coding o il controllo fisico), dove la verifica delle soluzioni può essere automatizzata o appresa.

In sintesi, SGS risolve il problema fondamentale dell'instabilità a lungo termine nel self-play degli LLM, aprendo la strada a sistemi che possono migliorare indefinitamente risolvendo problemi complessi al di là delle capacità del modello base iniziale.