How Do Large Language Models Learn Concepts During Continual Pre-Training?

Gli esseri umani danno un senso al mondo raggruppando le cose in categorie mentali. Vediamo un animale peloso e a quattro zampe e lo riconosciamo istantaneamente come un "cane", un concetto che porta con sé un insieme di tratti condivisi: abbaia, ha una coda e sa correre. Questa capacità di astrarre osservazioni specifiche in idee generali è la base del ragionamento umano. I grandi modelli linguistici, i potenti programmi informatici in grado di scrivere storie e rispondere a domande, tentano di fare qualcosa di simile. Sono addestrati su vasti oceani di testo, dove ci si aspetta che estraggano questi stessi tipi di concetti astratti e li conservino all'interno dei loro sistemi interni. Ma mentre sappiamo che questi modelli possono imparare, abbiamo faticato a capire esattamente come mantengano tale conoscenza nel tempo, o perché a volte sembrino perderla quando vengono presentati con nuove informazioni.

Per anni, i ricercatori hanno cercato di sbirciare dentro queste menti digitali per vedere come funzionano. Alcuni li hanno testati con domande per vedere se ricordano i fatti, mentre altri hanno cercato di mappare i percorsi specifici che il computer utilizza per elaborare le informazioni. Tuttavia, questi metodi spesso osservano fatti isolati o momenti statici nel tempo. Perdono il processo dinamico di come un modello apprenda una nuova idea, la rafforzi e poi potenzialmente la dimentichi quando è costretto a imparare qualcos'altro. Questa lacuna nella comprensione è critica perché, mentre aggiorniamo questi modelli con nuovi dati, dobbiamo sapere se stiano costruendo una comprensione stabile del mondo o se stiano solo memorizzando schemi che svaniranno con l'aggiornamento successivo.

Un team di ricercatori si è messo in viaggio per risolvere questo mistero osservando come l'intelligenza artificiale impara e dimentica concetti specifici in tempo reale. Hanno creato un ambiente controllato utilizzando un dataset di concetti inventati. Immaginate di insegnare a un bambino un essere chiamato "Olre" che ha la capacità di correre, o un "Foo" che ha quattro zampe. Poiché queste creature non esistono nel mondo reale, il computer non ha conoscenze pregresse su di esse. Ciò ha permesso agli scienziati di osservare il processo di apprendimento da zero, liberi da qualsiasi pregiudizio preesistente. Hanno addestrato il modello su questi fatti fittizi, poi lo hanno introdotto a una quantità massiccia di testo non correlato per vedere cosa sarebbe successo alla sua memoria dell' "Olre" e del "Foo".

Ciò che hanno scoperto è stato un modello chiaro e misurabile nel modo in cui la struttura interna del modello cambiava. I ricercatori hanno scoperto che il computer non si limita a memorizzare un fatto in un unico punto; invece, costruisce una complessa rete di connessioni, o un circuito, per rappresentare quell'idea. Analizzando la forma e la densità di queste reti, potevano prevedere quanto bene il modello avesse appreso un concetto e quanto fosse probabile che lo dimenticasse. Hanno scoperto un sorprendente compromesso: i concetti che il modello ha appreso più velocemente e con più forza erano spesso quelli che dimenticava più facilmente quando arrivavano nuove informazioni. Sembra che la stessa forza dell'apprendimento iniziale rendesse la memoria più fragile quando il sistema era costretto a riorganizzarsi.

Lo studio ha anche rivelato come idee diverse interferiscano l'una con l'altra. Quando il modello cercava di apprendere due concetti molto simili per significato nello stesso momento, faticava significativamente di più rispetto a quando i concetti erano non correlati. Le reti interne per queste idee simili si sovrapponevano, creando una sorta di ingorgo in cui il computer non riusciva a distinguerle facilmente. Al contrario, i ricercatori hanno scoperto che apprendere un tipo di conoscenza poteva effettivamente aiutare il modello ad apprendere un altro. Ad esempio, insegnare al modello le proprietà e le funzioni delle cose rendeva molto più facile l'apprendimento successivo delle relazioni tra parole simili e opposte. Ciò suggerisce che l'ordine in cui le informazioni vengono presentate conta profondamente; alcune lezioni fungono da fondamento per altre.

Forse la cosa più importante è che i ricercatori hanno dimostrato che questi schemi interni non sono solo osservazioni astratte, ma possono essere utilizzati per migliorare gli stessi modelli. Guardando la forma dei circuiti di apprendimento, potevano identificare quali concetti fossero più a rischio di essere dimenticati. Hanno poi utilizzato questa intuizione per creare una semplice strategia di addestramento: ogni volta che il modello stava imparando cose nuove, facevano una pausa occasionale e ripassavano i concetti specifici che erano più vulnerabili. Questo ripasso mirato, guidato dalla struttura interna del modello, ha aiutato significativamente il computer a mantenere la sua conoscenza. Il lavoro suggerisce che, prestando attenzione all'architettura interna di come questi modelli apprendono, possiamo insegnare loro in modo più efficace, aiutandoli a costruire una comprensione più stabile e affidabile del mondo, proprio come uno studente che sa quali appunti ripassare prima di un esame.