On-Policy Self-Distillation without Any Supervision

Immaginate un mondo in cui cervelli digitali giganti, chiamati Large Language Models (LLM), stanno imparando a risolvere complessi enigmi come problemi di matematica. Per molto tempo, questi cervelli hanno avuto bisogno di un insegnante umano che stesse loro accanto, indicando ogni errore e fornendo loro le risposte corrette. Questo è come uno studente che sostiene un esame dove l'insegnante sussurra le risposte giuste prima ancora che finisca la domanda. Ma cosa succederebbe se l'insegnante non ci fosse? E se il cervello dovesse insegnare se stesso? Questa è la grande domanda che i ricercatori si stanno ponendo: un modello può imparare a diventare più intelligente solo guardando il proprio lavoro, senza alcun aiuto esterno?

Per comprendere la nuova idea di questo articolo, è necessario conoscere due cose. Primo, esiste una tecnica chiamata "distillazione", che è come uno studente che cerca di copiare il processo di pensiero di un maestro. Di solito, il "maestro" è un'IA separata, più grande o più intelligente. Secondo, esiste l'apprendimento "on-policy", il che significa che lo studente si esercita esattamente sulle risposte che genera lui stesso, invece di studiare vecchi esempi pre-scritti. Il grande ostacolo è sempre stato il fatto che, anche quando il modello cerca di insegnare se stesso, ha comunque bisogno di una risposta "gold standard" per sapere se è giusto o sbagliato. Senza questa verità esterna, il modello potrebbe semplicemente continuare a esercitarsi sui propri errori, sbagliando con sicurezza ancora e ancora.

Questo articolo introduce un trucco astuto chiamato U-OPSD (Unsupervised On-policy Self-Distillation). I ricercatori hanno scoperto che un modello non ha effettivamente bisogno di un insegnante umano o di una chiave di risposta "gold" per imparare. Invece, può agire come una stanza piena di gemelli identici che sostengono lo stesso esame. Se un gemello ottiene una risposta strana ma altri nove concordano su una risposta diversa, il gruppo ha trovato un "consenso". L'articolo suggerisce che questo accordo sia un segnale abbastanza forte per dire: "Ok, questa è probabilmente la strada giusta".

Ecco come avviene la magia: il modello genera molti tentativi diversi (chiamati "rollout") per risolvere un problema matematico. Poi tiene una votazione. Se la maggioranza dei tentativi concorda su una risposta, quella risposta diventa la "pseudo-soluzione" — una chiave di risposta falsa ma affidabile creata interamente dal modello stesso. Il modello osserva poi i tentativi che erano in disaccordo con la maggioranza. Questi sono i percorsi "sbagliati". Il modello agisce come insegnante di se stesso, mostrando ai percorsi "sbagliati" come trasformarsi nel percorso "giusto", passo dopo passo. È come uno studente che ha scritto un saggio lungo e confuso, rendendosi conto che la maggior parte dei suoi amici ne ha scritto uno chiaro e corretto, e poi riscrive il proprio saggio per adattarsi alla logica del gruppo, ma correggendo solo le parti in cui si è discostato dal tracciato.

I risultati sono piuttosto sorprendenti. I ricercatori hanno testato questo metodo su diverse competizioni matematiche difficili (come AIME e MATH500) utilizzando diverse dimensioni di modelli (4 miliardi e 8 miliardi di parametri). Hanno scoperto che questo metodo di "auto-insegnamento", che non utilizza alcuna supervisione esterna, ha funzionato meglio dei metodi che si affidavano a risposte verificate da umani in modalità "non-thinking" (dove il modello risponde velocemente). In questa modalità, i modelli auto-insegnati hanno migliorato i loro punteggi dell'8,5% e del 10,7% rispetto al loro punto di partenza, superando persino i metodi che utilizzavano le risposte "gold". Tuttavia, nella modalità "thinking" (dove il modello si prende il tempo per ragionare), i risultati sono stati diversi: i modelli auto-insegnati erano al pari dei o leggermente in vantaggio rispetto ai metodi supervisionati, avvicinandosi strettamente a essi piuttosto che dominarli.

L'articolo sostiene che ciò funzioni perché l'accordo del modello stesso è un segnale potente. Quando il modello è abbastanza fiducioso da avere una maggioranza che vota, sa di essere sulla strada giusta. Quando il modello è in disaccordo con se stesso, è lì che avviene l'apprendimento. I ricercatori suggeriscono che il collo di bottiglia per rendere questi modelli più intelligenti non sia la mancanza di chiavi di risposta, ma piuttosto la capacità di individuare e correggere le proprie incongruenze. Utilizzando questa strategia del "voto di maggioranza", il modello può evolversi e migliorare da solo, trasformando una stanza di gemelli confusi in un singolo genio più intelligente.