A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

Immagina un assistente digitale che vive nella tua tasca, uno a cui poni domande ogni singolo giorno. Affinché questo assistente sia davvero utile, deve fare di più che conoscere semplicemente fatti sul mondo; deve ricordare la storia specifica delle vostre conversazioni. Deve ricordare che la settimana scorsa gli hai detto che il nome del tuo cane è Toby, ma che questa settimana ti sei corretto dicendo che in realtà hai due cani, Toby e Luna. Deve essere in grado di conservare questo cambiamento senza confondersi e deve sapere quando dire "Non lo so" se gli chiedi qualcosa di cui non ha mai sentito parlare. Questa è la sfida nel costruire una macchina capace di apprendere continuamente senza dimenticare ciò che già sa, un problema che ha a lungo messo in difficoltà gli scienziati che lavorano sull'intelligenza artificiale.

La difficoltà principale risiede nel modo in cui questi programmi informatici archiviano le informazioni. Tradizionalmente, quando un modello apprende qualcosa di nuovo, deve riscrivere la sua memoria interna, il che spesso causa l'annullamento accidentale dei vecchi ricordi. È come cercare di scrivere una nuova nota in un taccuino scarabocchiando sopra una vecchia; la nuova informazione entra, ma quella vecchia si perde. Altri metodi cercano di mantenere un elenco separato di fatti al di fuori della memoria principale, ma man mano che questo elenco cresce, il sistema diventa lento e costoso da utilizzare. I ricercatori volevano trovare un modo affinché un modello informatico "congelato" — uno la cui struttura centrale non cambia — potesse ricordare centinaia di fatti, correggerli quando cambiano e sapere comunque quando ammettere ignoranza, il tutto senza rallentare man mano che la cronologia si allunga.

Un ricercatore di nome Maximiliano Speranza ha affrontato questo problema testando un sistema a due parti su un piccolo modello linguistico congelato. La prima parte è un "registro" (logbook), ovvero un record esterno che conserva ogni fatto insieme alla sua cronologia delle versioni. Questo registro funge da foglio di riferimento rapido che il modello può consultare ogni volta che ha bisogno di conoscere l'ultima versione di una storia. La seconda parte è un processo chiamato "sonno", che avviene periodicamente. Durante questi cicli di sonno, il modello prende i fatti più recenti dal registro e li pratica, spostandoli lentamente in una piccola componente di memoria regolabile collegata al modello principale. Questa consolidazione assicura che i ricordi recenti diventino parte della conoscenza permanente del modello, in modo che non debba fare affidamento sul registro per sempre.

L'esperimento è durato otto settimane, durante le quali il modello ha appreso 100 nuovi fatti ogni settimana. La chiave per far funzionare il tutto non è stata solo il registro o i cicli di sonno da soli, ma una tecnica specifica utilizzata durante il sonno. Il modello era tenuto a riprodurre i fatti appresi nelle settimane precedenti, praticandoli insieme alle nuove informazioni. Questo ripasso era fondamentale. Quando i ricercatori hanno rimosso questo passaggio di riproduzione, il modello ha dimenticato tutto ciò che aveva imparato nella prima settimana quasi immediatamente, facendo crollare la sua precisione da quasi perfetta a quasi nulla in una singola sessione. La riproduzione ha agito come una colla, mantenendo fermi i vecchi ricordi mentre venivano aggiunti quelli nuovi.

I risultati hanno mostrato che questo metodo è stato straordinariamente efficace nel prevenire l'oblio. Dopo otto settimane di apprendimento di nuovi fatti, il modello ricordava ancora i fatti della primissima settimana con una precisione compresa tra l'88 e il 97 percento. Al contrario, altri metodi esistenti che tentano di aggiornare direttamente la memoria del modello senza questo processo di sonno e riproduzione fallivano miseramente. Quei metodi mantenevano solo dall'1 al 10 percento dei fatti della prima settimana alla ottava settimana e, peggio ancora, danneggiavano la capacità del modello di eseguire altri compiti che non gli era stato insegnato a cambiare. Il nuovo approccio, invece, manteneva intatte le altre abilità del modello, dimostrando che poteva apprendere nuove cose senza rompere ciò che già sapeva.

Il sistema eccelleva anche nel sapere cosa non sapeva. Quando interrogato su fatti che non gli erano mai stati insegnati, il modello diceva correttamente "Non lo so" la maggior parte delle volte. Tuttavia, i ricercatori hanno scoperto un limite specifico a questa capacità. Quando al modello veniva posta una domanda che combinava due cose che conosceva — una persona nota e una relazione nota che non aveva mai visto prima — a volte inventava una risposta invece di ammettere l'ignoranza. Questo accadeva in circa la metà dei casi entro la fine dell'esperimento. I ricercatori hanno cercato di risolvere il problema distribuendo i fatti in modo più uniforme, ma ciò non ha cambiato il risultato. Questo suggerisce che il modello ha la tendenza a indovinare quando riconosce parti di una domanda, anche se la combinazione specifica è nuova.

Infine, lo studio ha confrontato questo sistema a due canali con un'alternativa comune chiamata generazione aumentata dal recupero (retrieval-augmented generation), che consiste nel incollare l'intera cronologia della conversazione nel prompt del modello ogni volta che viene posta una domanda. Sebbene entrambi i metodi raggiungessero una precisione simile, il nuovo sistema era decisamente più efficiente. Il sistema del registro elaborava solo 16 parole per domanda, mentre l'altro metodo doveva elaborare centinaia o anche migliaoli di parole man mano che la cronologia cresceva. Questa differenza significa che il nuovo sistema rimane veloce ed economico da gestire anche dopo mesi di utilizzo, mentre l'altro metodo diventerebbe troppo lento e costoso per essere pratico.

Il lavoro dimostra che un modello informatico può essere istruito a ricordare una lunga e mutevole cronologia senza dimenticare il passato, a patto che abbia un modo per ripassare i vecchi fatti mentre apprende quelli nuovi. Dimostra che la chiave dell'apprendimento continuo non è solo archiviare le informazioni, ma praticarle attivamente in un modo che rinforzi il vecchio mentre integra il nuovo. Sebbene il sistema incontri ancora difficoltà con un tipo specifico di errore di supposizione quando combina fatti noti, offre una chiara strada da seguire per costruire assistenti che possano davvero ricordare e imparare dagli utenti nel tempo.