A Single-Layer Model Can Do Language Modeling

Riepilogo Tecnico: Un Modello a Strato Singolo Può Eseguire la Modellazione del Linguaggio

Enunciato del Problema
I moderni modelli linguistici scalano tipicamente la capacità aumentando la profondità, impilando più livelli in cui ciascun livello mantiene il proprio stato (ad esempio, cache KV per livello nei Transformer o stati matriciali per livello in Mamba, GDN, RWKV e xLSTM). Ciò distribuisce il calcolo e la memoria attraverso lo stack. Al contrario, le reti neurali biologiche fanno affidamento pesantemente sulla ricorrenza—rivisitando la stessa circuiteria nel tempo—piuttosto che sullo stacking. Il documento indaga la fattibilità di questa forma biologica per la modellazione del linguaggio: specificamente, quanto può arrivare uno strato ricorrente singolo e superficiale quando rivede un singolo vettore di stato ad ogni passo, invece di distribuire lo stato attraverso uno stack profondo.

Metodologia: Grounded Prediction Networks (GPN)
Gli autori propongono le Grounded Prediction Networks (GPN), un'architettura definita da un singolo vettore di stato riveduto ad ogni passo temporale. Il ciclo principale consiste in tre operazioni:

1. Grounding (Fondamentazione): Lo stato previsto precedente ($s^p_{t-1}$) viene fuso con il token osservato corrente ($x_t$) tramite un residuo gateato per produrre uno stato fondato ($s^g_t$).
2. Predizione: Lo stato fondato viene elaborato per prevedere il prossimo stato ($s^p_t$). Questa previsione viene decodificata in una distribuzione di token per il passo successivo.
3. Memoria (GPN+M): Gli autori estendono la GPN base a GPN+M aggiungendo una memoria matriciale centralizzata ($M$). Questa memoria viene aggiornata tramite una regola delta gateata e letta in parallelo con una rete feed-forward (FFN). Sia l'FFN (parametri offline) che la lettura della memoria (parametri online) agiscono come predittori additivi all'aggiornamento dello stato.

A differenza dei modelli ricorrenti standard che mantengono uno stato per livello, la GPN utilizza uno strato largo e superficiale con una singola memoria matriciale condivisa. La profondità è ottenuta attraverso il tempo (rivisitando il ciclo) piuttosto che attraverso lo spazio (impilando livelli). Il vettore di stato svolge un doppio ruolo: agisce come previsione per il prossimo passo e come codifica della storia osservata finora, con il "grounding" che completa la codifica per il ciclo successivo.

Contributi Chiave

1. Architettura: L'introduzione di GPN e GPN+M, che utilizzano un singolo vettore di stato, un FFN e una memoria matriciale centralizzata riveduta ad ogni passo, in contrasto con gli stati impilati per livello dei Transformer e degli RNN lineari.
2. Prospettiva Concettuale: Una cornice in cui la previsione dello stato del prossimo passo è vista come parte della codifica di quel passo, con un singolo vettore che svolge entrambi i ruoli.
3. Evidenza Empirica: Benchmark di prestazioni a 130 milioni di parametri che mostrano come una GPN+M a 1 strato raggiunga una perplessità competitiva rispetto a baseline profonde, con una variante a 2 strati che riduce ulteriormente il divario.
4. Osservabilità: Poiché l'intero contesto operativo è un singolo vettore, gli autori possono ispezionare direttamente la sua geometria senza dover scavare attraverso i flussi residui. Identificano strutture emergenti non progettate esplicitamente nell'architettura.

Risultati
Valutati sul dataset FineWeb-Edu (130 milioni di parametri, finestra contestuale di 2048):

• GPN+M a 1 Strato: Raggiunge una perplessità (PPL) di 18,06. Questo è entro il 13% di un Transformer++ a 12 strati (PPL 16,05) e dell'18% di un Gated DeltaNet (GDN) a 10 strati (PPL 15,34).
• GPN+M a 2 Strati: Raggiunge una PPL di 16,95, riducendo il divario al 6% del Transformer++ e all'11% del GDN.
• Compito LAMBADA: I modelli superficiali mostrano una minore accuratezza su compiti dipendenti dal contesto rispetto alle baseline profonde, evidenziando un costo nella profondità di calcolo per token.
• Nessuna Memoria (GPN): Una versione senza memoria matriciale performa significativamente peggio (PPL 23,51), confermando la necessità del componente di memoria associativa.

Strutture Emergenti (Analisi)
Lo stato a vettore singolo permette un'analisi geometrica diretta, rivelando tre strutture emerse spontaneamente senza regolarizzazione esplicita:

1. Geometria ad Alto Rango: Il vettore di stato è largo ($d=2496$) e utilizza la sua piena larghezza. Mostra dimensioni quasi decorrelate e nessuna dimensione "inattiva", con un rango stabile di ~40.
2. Direzione Persistente del Token Predefinito: La media del vettore di stato ($\bar{s}$) è un grande offset fisso che decodifica in una distribuzione dominata da token funzionali frequenti (ad esempio, "il", "e", ","). Questa direzione persiste anche quando viene aggiunto un bias esplicito al decodificatore, suggerendo che svolge ruoli strutturali oltre alla semplice decodifica (ad esempio, ancoraggio dell'RMSNorm).
3. Divisione Memoria Veloce/Lenta: I 15 head di memoria architecturalmente identici si dividono spontaneamente in due pool durante l'addestramento: un pool "veloce" (6 head) con emivite di 1-3 token, e un pool "lento" (9 head) con emivite che variano da 5 a 322 token. Ciò crea un sistema di memoria a due scale temporali senza design architetturale esplicito.

Significato e Limitazioni
Il documento afferma che un singolo strato ricorrente superficiale può eseguire efficacemente la modellazione del linguaggio, raggiungendo circa il 13% delle baseline profonde a parità di conteggio dei parametri. Il significato risiede nel dimostrare che la "profondità" può essere sostituita dalla ricorrenza riveduta nel tempo e che un singolo vettore può supportare complesse strutture di memoria emergenti (divisioni veloce/lenta) e proprietà geometriche (ancore persistenti) che sono tipicamente nascoste nei flussi residui profondi.

Tuttavia, gli autori sono modesti riguardo allo stato attuale del lavoro:

• Non Pronto per la Produzione: Il modello viene eseguito in sequenza in Python senza parallelizzazione lungo la dimensione della sequenza, rendendo i costi di addestramento significativamente più alti rispetto ai Transformer.
• Scalabilità: I risultati si basano su un singolo seme a 130 milioni di parametri senza sweep di scalatura.
• Natura Descrittiva: L'analisi delle strutture emergenti (come la direzione del token predefinito) è osservazionale; il documento non rivendica una prova causale della loro utilità tramite ablazione.
• Costi Contestuali: Il modello superficiale paga un costo misurabile su compiti che richiedono un contesto profondo (come LAMBADA), indicando che, sebbene l'approccio sia fattibile, gli stack profondi mantengono ancora vantaggi per previsioni specifiche ad alto carico contestuale.

Il lavoro funge da prova di concetto per il ciclo "grounded prediction" e per la fattibilità dei modelli a stato a vettore singolo, offrendo una nuova lente per osservare come i modelli linguistici organizzano le informazioni.