Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

Immagina di stare addestrando un assistente robotico super intelligente per risolvere ogni tipo di enigma, dai problemi matematici agli indovinelli logici. Vuoi che questo robot sia un vero generalista, capace di gestire qualsiasi cosa tu gli lanci contro senza confondersi o fallire davanti alle cose difficili. Nel mondo dell'intelligenza artificiale, questo viene chiamato "ragionamento" e i robot vengono chiamati Large Language Models (LLM). Per rendere questi modelli migliori, gli scienziati usano una tecnica chiamata "Reinforcement Learning", che è come dare un cinque sulla spalla (un premio) al robot quando trova la risposta giusta e un gentile "riprova" quando sbaglia. Un modo popolare per farlo è chiamato GRPO, un metodo intelligente per capire esattamente quanto il robot debba imparare da ogni tentativo. Tuttavia, c'è un problema: se chiedi al robot di imparare dieci tipi diversi di enigmi contemporaneamente, spesso si blocca. Potrebbe diventare bravissimo negli enigmi facili ma ignorare completamente quelli difficili, oppure potrebbe incastrarsi su un tipo specifico di indovinello dimenticando come farne altri. La grande domanda è: come possiamo addestrare un unico cervello per essere ugualmente bravo in tutto, assicurandoci che nessuna singola abilità venga lasciata indietro?

Questo è esattamente il problema affrontato da un nuovo metodo chiamato Multi-Task GRPO (MT-GRPO). Pensa al processo di addestramento standard come a un insegnante che cerca di insegnare a una classe di studenti con velocità di apprendimento molto diverse. Se l'insegnante si concentra solo sullo studente "medio", i ragazzi più intelligenti potrebbero annoiarsi mentre quelli in difficoltà restano ancora più indietro. L'approccio standard spesso permette ai compiti facili di "dirottare" l'addestramento, facendo apparire il modello bravo in media, ma facendolo fallire segretamente nelle sfide più difficili. Gli autori di questo articolo hanno capito che semplicemente fare la media dei punteggi non crea un robot affidabile; devi assicurarti che anche il peggior elemento della classe stia migliorando.

Per risolvere questo problema, i ricercatori hanno inventato una strategia in due parti. Prima, hanno creato un "sistema di pesatura dinamica". Immagina un allenatore che osserva costantemente il tabellone dei punteggi. Se il robot sta andando alla grande con "Countdown" (un gioco matematico) ma è terribile con i "Puzzle della Zebra" (indovinelli logici), l'allenatore sposta immediatamente l'attenzione. Inizia a dare al robot più problemi di pratica della categoria Zebra e meno problemi della categoria matematica. Ma ecco la parte complicata: a volte il robot prova un puzzle della Zebra e ottiene un punteggio "zero" perché non ha nemmeno provato a risolverlo correttamente, il che significa che non impara nulla da quel tentativo. Se l'allenatore contasse solo il numero di problemi, potrebbe pensare di stare insegnando i puzzle della Zebra, ma in realtà il robot sta imparando solo dai problemi matematici perché i tentativi della Zebra sono stati "zero-gradienti" (apprendimento vuoto).

Per risolvere questo, la seconda parte della loro invenzione è un "Sampler che preserva il rapporto" (Ratio-Preserving Sampler). Questo è come un bibliotecario molto severo che assicura che, anche se il robot scarta i tentativi di pratica inutili, la pila finale di problemi di pratica utili abbia ancora l'esatta miscela di problemi matematici e logici. Se l'allenatore vuole che il 30% della pratica sia composta da puzzle logici, il bibliotecario si assicura che, dopo aver filtrato lo scarto, il 30% dei problemi rimanenti che sono ancora buoni sia composto da puzzle logici. Questo evita che i compiti facili prendano accidentalmente il sopravvento sull'addestramento solo perché i compiti difficili hanno più tentativi "falliti".

I risultati di questo nuovo metodo sono molto promettenti. Quando il team ha testato il metodo MT-GRPO su un mix di tre diversi compiti di ragionamento, questo nuovo metodo ha migliorato l'accuratezza del compito con le prestazioni peggiori del 16–28% rispetto al metodo standard, e del 6% rispetto a un altro metodo avanzato chiamato DAPO. Ancora più impressionante, ha raggiunto una soglia di accuratezza del 50% sui compiti più difficili utilizzando il 50% in meno di passaggi di addestramento rispetto alla concorrenza. In un test più ampio con nove compiti diversi, il metodo ha continuato a superare gli altri, dimostrando di poter scalare per gestire sfide più complesse e diverse. Gli autori hanno scoperto che, regolando una "manopola" (un parametro chiamato $\lambda$), potevano controllare quanto il modello desse priorità al miglioramento delle sue abilità più deboli rispetto al semplice miglioramento della media.

In breve, questo articolo suggerisce che, essendo più intelligenti su quali problemi il robot pratica e assicurandosi che quei problemi arrivino effettivamente alla sessione di addestramento, possiamo costruire un'IA che non è solo brava nelle cose facili, ma è affidabilmente competente in tutto il panorama. È un passo verso la creazione di un'IA che non si limita a specializzarsi in un campo stretto, ma può davvero ragionare attraverso una vasta gamma di problemi del mondo reale senza lasciare indietro nessuna delle sue abilità.