DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

Immagina di avere un amico robot super intelligente che sa quasi tutto del mondo. Puoi chiedergli di risolvere un problema matematico complicato o un enigma logico, e di solito ci riesce. Ma ecco il problema: una volta spento il robot e riacceso, dimentica tutto ciò che ha imparato dalle tue domande specifiche. È come avere un genio che si sveglia ogni mattina con una tabula rasa, incapace di ricordare gli errori commessi ieri o i trucchi astuti che ha scoperto. Di solito, per rendere un robot più intelligente, devi ricablare il suo cervello (un processo chiamato "addestramento"), il che è costoso, lento e richiede un accesso speciale che molte persone non hanno.

Così, gli scienziati si sono posti una grande domanda: può un robot "congelato" imparare senza ricablarne il cervello? La risposta risiede in qualcosa chiamato "prompting". Invece di cambiare il cervello del robot, puoi cambiare le istruzioni che gli dai. Pensa di dare a uno chef una nuova scheda della ricetta. Se la scheda dice: "Ricordati di salare la zuppa", lo chef potrebbe fare un lavoro migliore. Ma se lo chef continua a commettere lo stesso errore, una semplice nota potrebbe non bastare. Hai bisogno di un modo affinché lo chef possa scrivere perché ha fallito, elaborare una strategia migliore e trasformare quella strategia in una regola permanente sulla sua scheda della ricetta, tutto senza cambiare le sue reali capacità culinarie. Questa è la frontiera dell'auto-miglioramento per l'IA: insegnare a un modello statico a diventare più intelligente solo parlando con se stesso e imparando dalle proprie esperienze.

Entra in scena DIVE (Diversity-Driven Skill Evolution), un nuovo metodo che agisce come un laboratorio brillante e caotico per questi robot congelati. I ricercatori hanno scoperto che, invece di cercare l'unico set "perfetto" di istruzioni, è meglio gestire un intero team di diverse "versioni" del robot, ognuna delle quali prova a imparare in un modo leggermente diverso.

Ecco come funziona DIVE: immagina un gruppo di dieci detective diversi che cercano di risolvere un mistero. In passato, i ricercatori avrebbero potuto chiedere a un solo detective di risolvere il caso, commettere un errore e poi cercare di correggere i suoi appunti. Ma DIVE dice: "Facciamo lavorare dieci detective contemporaneamente sul caso!". Ogni detective inizia con un set di appunti leggermente diverso (un "seed skill" o competenza iniziale). Mentre lavorano, ricevono feedback su dove hanno sbagliato.

Invece di far sì che un solo detective cerchi di correggere i propri appunti, DIVE utilizza una cassetta degli attrezzi di diverse "strategie di correzione". Un detective potrebbe tentare la Riparazione Riflessiva (Reflective Repair), che è come guardare un errore e dire: "Oh, ho saltato un indizio qui, lasciami aggiungere una nota al riguardo". Un altro potrebbe tentare la Revisione Esplorativa (Exploratory Revision), che è come buttare via la vecchia mappa e disegnarne una completamente nuova perché il vecchio percorso è un vicolo cieco. Un terzo potrebbe tentare la Compressione (Compression), che è come prendere un quaderno disordinato di 50 pagine e condensarlo in un foglio di riferimento conciso di 5 pagine che conserva solo le regole più importanti.

La magia di DIVE è che non si limita a scegliere il miglior detective e fermarsi. Mantiene tutti i dieci detective al lavoro in parallelo. Osserva quale detective sta migliorando in quale tipo di problema e gli concede più tempo per lavorare. Se un detective è bloccato, il sistema potrebbe introdurre una nuova, fresca strategia per aiutarlo. Questo evita che l'intero gruppo rimanga bloccato sulla stessa idea errata (un problema chiamato "overfitting").

Una volta che i detective hanno avuto la loro possibilità di imparare ed evolversi, DIVE non sceglie semplicemente quello con il punteggio più alto. Invece, guarda l'intero team e sceglie una squadra complementare. Magari il Detective A è bravissimo a individuare schemi numerici, mentre il Detective B è eccezionale nel rilevare trappole logiche. Combinando i loro unici "skill card" (schede delle competenze) evoluti in un unico kit di strumenti, il robot può risolvere problemi che prima non riusciva a risolvere.

Il documento dimostra che questo metodo funziona incredibilmente bene. Quando testato su difficili competizioni matematiche (come l'HMMT) e complicati enigmi logici (come il Sudoku), DIVE ha permesso a piccoli modelli congelati di imparare e migliorare rapidamente. Infatti, un modello minuscolo che utilizzava le competenze evolute di DIVE è stato in grado di superare un modello molto più grande e potente che utilizzava solo istruzioni standard. I ricercatori hanno scoperto che DIVE può ottenere questi grandi miglioramenti con molti meno tentativi (o "rollout") rispetto ad altri metodi che cercano di cambiare il cervello del modello o di modificare semplicemente il prompt una sola volta.

Fondamentalmente, il documento sostiene che questo approccio è migliore rispetto al tentativo di trovare un singolo "prompt magico" o di fare affidamento su un singolo percorso di apprendimento. Mantenendo un gruppo diversificato di competenze in evoluzione e mescolando le parti migliori di ciascuna, DIVE crea un sistema robusto e capace di auto-miglioramento che non ha bisogno di essere ricablato. Suggerisce che, per i modelli congelati, il segreto per diventare più intelligenti non è un'unica istruzione perfetta, ma una biblioteca diversificata ed evolutiva di strategie da cui il modello può attingere per risolvere qualsiasi problema.