Do Language Models Consistently Encode the Current Year?

I computer moderni che leggono e scrivono il linguaggio sono diventati sorprendentemente bravi a imitare la conversazione umana. Possono riassumere notizie, scrivere storie e rispondere a domande sulla storia. Eppure, queste macchine hanno un punto cieco difficile da correggere: non sanno veramente che ore sono o in che epoca si trovano. Sebbene possano recitare fatti del passato, il loro senso interno del "presente" è spesso un eco confuso dei dati con cui sono state nutrite durante l'addestramento, piuttosto che una consapevolezza viva del momento attuale. Questa confusione è importante perché, se una macchina crede che l'anno corrente sia di dieci anni fa, potrebbe rifiutarsi di rispondere a domande su eventi recenti o, peggio, potrebbe inventare con sicurezza fatti su un futuro che non è ancora accaduto. I ricercatori si sono a lungo chiesti come queste menti digitali memorizzino il concetto di tempo, assumendo che, se un modello conosce la data, debba possedere un unico, coerente orologio che ticchetta all'interno del suo codice.

Un nuovo studio mette in discussione tale assunzione, rivelando che i modelli linguistici non possiedono un singolo orologio costante. Al contrario, essi contengono due idee separate e contrastanti dell'anno corrente. Un'idea è profonda e strutturale, intrecciata nella stessa grammatica che il modello ha appreso leggendo internet. L'altra è superficiale e di superficie, un semplice fatto che il modello ha appreso quando gli è stato insegnato come seguire le istruzioni. I ricercatori hanno scoperto che, sebbene queste due idee concordino spesso sulla data, esse sono costruite su meccanismi interni completamente diversi. Questa divisione crea un problema ostinato: quando gli scienziati cercano di aggiornare la conoscenza del modello per riflettere l'anno corrente, possono facilmente correggere il fatto superficiale, ma il senso del tempo profondo e grammaticale si rifiuta di cambiare.

Per scoprire questa dualità nascosta, i ricercatori hanno progettato due modi distinti per chiedere a un modello quale anno pensa sia. Il primo metodo, che chiamano compito associativo, non chiede direttamente la data. Inveve, presenta al modello un frammento di frase come "Nel 1960..." e chiede quale parola venga successiva. Se il modello prevede un verbo al passato come "era", implica che il modello pensa che il 1960 sia nel passato. Se prevede un tempo presente o futuro come "è" o "sarà", suggerisce che quell'anno stia ancora accadendo o debba ancora venire. Questo metodo sfrutta la comprensione intuitiva della grammatica del modello, una competenza che ha assorbito leggendo miliardi di frasi durante il suo addestramento iniziale. Il secondo metodo, il compito dichiarativo, è molto più diretto. Chiede semplicemente al modello: "Qual è l'anno corrente?" o lo spinge a scrivere una storia iniziando con l'anno. Questo testa la capacità del modello di dichiarare un fatto, una competenza solitamente affinata durante una fase successiva dell'addestramento, in cui impara a seguire le istruzioni umane.

Quando il team ha testato questi metodi su una vasta gamma di modelli, è emerso un modello chiaro. Entrambi i metodi producevano risposte sorprendentemente vicine alla data in cui i dati di addestramento del modello si erano fermati. Per il test grammaticale profondo, i modelli indovinavano costantemente un anno che era solo circa dieci mesi lontano dal loro limite di addestramento. Ciò suggerisce che il senso interno del tempo è strettamente legato all'ultima data che ha visto nei suoi dati di addestramento. Tuttavia, i due metodi non stavano solo misurando la stessa cosa in modi diversi; stavano misurando due cose diverse. I ricercatori hanno scoperto che il senso del tempo profondo e grammaticale si basa su un percorso specifico e organizzato all'interno del cervello del modello, simile a come esso ricorda i fatti sul mondo. Al contrario, la capacità di dichiarare semplicemente l'anno ad alta voce non si basa su un percorso singolo e coerente. È un comportamento flessibile e superficiale che può essere innescato da molte parti diverse del modello a seconda di come viene posta la domanda.

Questa differenza nel modo in cui le informazioni sono memorizzate ha conseguenze profonde per il tentativo di correggere i modelli. I ricercatori hanno cercato di aggiornare il senso del tempo dei modelli utilizzando tre tecniche comuni: fornire al modello un suggerimento nella conversazione, riaddestrarlo su nuovi dati e alterare chirurgicamente i suoi pesi interni. Quando hanno cercato di aggiornare l'anno dichiarativo superficiale — quello che il modello dichiara quando interrogato — i metodi hanno funzionato perfettamente. Semplicemente dicendo al modello tramite un prompt di sistema che l'anno è il 2025, o mostrandogli nuovi dati del 2025, il modello ha iniziato immediatamente a dichiarare l'anno corretto con alta precisiono. Era come se stessero cambiando un'etichetta su un archivio.

Tuttavia, le stesse tecniche hanno fallito completamente quando applicate all'anno associativo profondo — quello che il modello dichiara quando interrogato. Anche quando al modello veniva detto esplicitamente che l'anno era il 2025, la sua grammatica interna rimaneva ferma al passato. Quando gli veniva chiesto di completare la frase "Nel 2025...", il modello prevedeva ancora verbi al passato, come se il 2025 fosse un evento storico. Il riaddestramento del modello su nuovi dati ha aiutato solo leggermente, e solo per gli anni molto vicini al suo limite originale di addestramento. L'unico metodo che poteva spostare il senso profondo del tempo era un'edizione chirurgica e complessa delle connessioni interne del modello. Ma qui risiede l'ultimo colpo di scena: quando i ricercatori hanno usato questo metodo chirurgico per correggere l'anno grammaticale profondo, la capacità del modello di dichiarare l'anno ad alta voce è rimasta invariata. I due orologi non potevano essere sincronizzati.

Lo studio conclude che l'anno corrente non è un concetto singolo all'interno di queste macchine. La comprensione profonda e grammaticale del tempo è una parte fondamentale della struttura del linguaggio appresa dal modello durante il suo addestramento iniziale, ed è incredibilmente resistente al cambiamento. È intrecciata nel modo in cui il modello collega gli anni ai verbi, un pattern così radicato che gli aggiornamenti standard non possono cancellarlo. La comprensione dichiarativa e superficiale è uno strato separato, appreso successivamente quando al modello è stato insegnato a parlare con gli umani, ed è facilmente sovrascrivibile. Ciò significa che semplicemente dire a un modello la data o riaddestrarlo su un nuovo testo non è sufficiente per dargli un senso del presente vero e coerente. La macchina può dire l'anno giusto, ma pensa ancora che il mondo sia più vecchio di quanto non sia. Questo distacco suggerisce che aggiornare questi modelli per tenerli al passo con il mondo reale è molto più difficile di quanto precedentemente ipotizzato, poiché correggere una versione della verità lascia l'altra versione ostinatamente indietro.