💬 NLP

ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

Questo articolo introduce ZetaGPT, un modello linguistico di piccole dimensioni open-source che elimina i codici posizionali espliciti integrando equazioni di spazio di stato causali per codificare implicitamente le informazioni sequenziali prima dell'auto-attenzione, fornendo al contempo una pipeline di addestramento end-to-end completa per scopi di ricerca ed educativi.

Autori originali: Róisín Luo

Pubblicato 2026-08-11

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Róisín Luo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come leggere una storia. Per molto tempo, il modo migliore per farlo è stato dare al robot un particolare "adesivo" per ogni parola che leggeva. Se il robot vedeva la parola "gatto", sapeva che era la prima parola perché aveva un adesivo "Prima Parola", e se vedeva "cane" più tardi, avrebbe avuto un adesivo "Quinta Parola". Senza questi adesivi, il robot si sarebbe confuso, pensando che "Il gatto ha inseguito il cane" fosse la stessa cosa di "Il cane ha inseguito il gatto" perché le parole erano solo un mucchio disordinato di ingredienti. Questo metodo di applicare etichette alle parole è chiamato "codifica posizionale" (positional encoding), ed è stato il libro di regole standard per quasi tutti i modelli linguistici intelligenti che usiamo oggi.

Ma cosa succederebbe se il robot non avesse affatto bisogno di adesivi? E se, invece di guardare un'etichetta, il robot potesse semplicemente sentire l'ordine della storia mentre la legge? Questa è la grande domanda che questo articolo pone. Esplora un nuovo modo per costruire modelli linguistici che non dipendono da quegli adesivi esterni. Invece, utilizza un "ciclo di memoria" che si aggiorna da solo mentre legge, ricordando naturalmente ciò che è venuto prima. Questo è importante perché, se riusciamo a costruire modelli che comprendono l'ordine senza dover essere esplicitamente istruiti su dove si trovi ogni singola parola, potremmo essere in grado di renderli più intelligenti, più efficienti e più capaci di gestire storie molto lunghe senza perdersi.

La Grande Idea dell'Articolo: ZetaGPT

L'autore di questo articolo introduce ZetaGPT, un piccolo modello linguistico open-source che prova a fare esattamente questo: legge senza adesivi. Il risultato principale è che, posizionando un modulo speciale di "stato causale" (causal state-space module) subito prima del meccanismo di attenzione del modello, il modello può apprendere implicitamente l'ordine delle parole attraverso la propria dinamica interna.

Pensa a un modello linguistico standard come a uno studente che sostiene un esame e che ha il permesso di guardare un foglio di riferimento che dice "Domanda 1", "Domanda 2", ecc. ZetaGPT è come uno studente che deve fare affidamento interamente sulla propria memoria della storia finora letta. Mentre lo studente legge ogni parola, il suo stato interno cambia, creando un "impronta digitale" unica per quel momento della storia. L'articolo suggerisce che questa impronta digitale interna sia sufficiente a dire al modello: "Ehi, questa parola viene dopo quella", senza bisogno di alcun aiuto esterno.

Come Funziona: Il Ciclo di Memoria

Per capire come ZetaGPT riesca in questo, immagina una staffetta. In una corsa normale, il testimone viene passato e tutti corrono e basta. Nella versione di ZetaGPT, il corridore (il modello) porta uno zaino speciale (il modulo state-space) che cambia forma e peso a seconda di ciò che ha appena superato.

Lo Zaino (Modulo State-Space): Prima che il modello osservi l'intera frase per comprendere le connessioni (un processo chiamato "auto-attenzione" o self-attention), lo fa passare prima attraverso questo zaino. Lo zaino è un sistema "ricorrente", il che significa che ricorda il passato. Mentre ogni nuova parola entra, lo zaino aggiorna il suo stato interno in base alle parole precedenti.
L'Evoluzione: L'articolo mostra che, durante l'addestramento, questo zaino impara a sviluppare diversi "orizzonti di memoria". Alcune parti dello zaino ricordano solo le ultime parole (memoria a breve termine), mentre altre ricordano un lungo tratto della storia (memoria a lungo termine).
Il Risultato: Al momento in cui la parola esce dallo zaino ed entra nel livello di attenzione principale, non è più solo una parola grezza; è una parola "consapevole della posizione". Porta con sé la storia di dove si trovava nella frase. L'articolo osserva che, durante l'addestramento, il modello impara naturalmente a usare queste diverse scale temporali di memoria per codificare la sequenza, sostituendo efficacemente la necessità degli "adesivi" (codifiche posizionali) usati da altri modelli.

Cosa l'Articolo Esclude e Trova

L'articolo argomenta esplicitamente contro l'idea che dobbiamo necessariamente usare codifiche posizionali esplicite (come gli "adesivi" menzionati in precedenza) per costruire un modello linguistico funzionante. Rifiuta la nozione che l'informazione posizionale debba essere una "capacità acquisita architettonicamente" iniettata dall'esterno. Inveve, propone che questa informazione possa essere una "proprietà inerente" della dinamica stessa del modello.

L'autore ha scoperto che ZetaGPT funziona. Ha addestrato tre versioni del modello (Small, Medium e Large) con rispettivamente 34,4 milioni, 159,2 milioni e 479,9 milioni di parametri. Ha dimostrato che questi modelli potevano imparare a prevedere la parola successiva in una frase senza mai ricevere una codifica posizionale.

Tuttalmente, l'articolo è prudente riguardo alla propria fiducia. Non afferma di aver "risolto" il problema della modellazione del linguaggio o che ZetaGPT sia migliore dei modelli massicci utilizzati dalle grandi aziende tecnologiche. Infatti, l'autore ammette che i loro modelli sono piccoli e sono stati addestrati su un dataset relativamente modesto (il corpus WikiText-103). Nota che, poiché i modelli sono piccoli, sono stati addestrati solo su contesti brevi (256, 512 e 1024 token). L'articolo suggerisce che, sebbene l'architettura funzioni a queste piccole scale, non sappiamo ancora se funzionerà altrettanto bene per i modelli giganti che leggono milioni di parole contemporaneamente.

Il Viaggio Completo: Dallo Zero al Ragionamento

Uno degli aspetti più giocosi e completi di questo articolo è che non mostra solo il modello; mostra l'intero "processo" per costruirlo. L'autore fornisce una pipeline completa e open-source che ti porta dal testo grezzo a un modello capace di ragionare.

Il Tokenizer: Per prima cosa, hanno costruito un "tokenizer" (un traduttore che trasforma il testo in numeri) da zero, partendo dai byte grezzi e fondendoli in un vocabolario di 50.259 simboli.
L'Addestramento: Hanno pre-addestrato il modello, poi lo hanno perfezionato (fine-tuning) per seguire istruzioni, e hanno persino addestrato un "modello di ricompensa" per aiutare l'IA a imparare dal feedback umano (RLHF).
Il Momento "Aha": Infine, hanno utilizzato una tecnica chiamata Group Relative Policy Optimization (GRPO) per insegnare al modello il ragionamento "Chain-of-Thought" (Catena di Pensiero). Questa è la parte in cui il modello impara a pensare passo dopo passo, come un essere umano che risolve un problema di matematica, senza che gli vengano mostrati esplicitamente i passaggi in precedenza. L'articolo suggerisce che questa capacità di ragionamento può "emergere" direttamente attraverso l'apprendimento per rinforzo.

Le Limitazioni

L'autore è molto onesto riguardo ai confini del proprio lavoro. Afferma che le principali limitazioni derivano dalle risorse computazionali a disposizione, non da un difetto dell'idea in sé. Poiché non avevano accesso a supercomputer con potenza infinita, non potevano addestrare su dataset massicci (triliardi di token) come quelli usati dai giganti moderni. Di conseguenza, i loro modelli non possiedono la vasta conoscenza del mondo di quei sistemi più grandi.

Evidenziano inoltre che, poiché non potevano addestrare su testi molto lunghi, non hanno testato appieno se questo approccio "senza adesivi" funzioni per storie estremamente lunghe. L'articolo conclude che ZetaGPT è una "implementazione di riferimento compatta": una prova di concetto e un campo di gioco per i ricercatori per studiare come l'informazione posizionale possa essere appresa implicitamente, piuttosto che un prodotto finito pronto a sostituire i più grandi modelli di IA del mondo.

In breve, ZetaGPT è un piccolo robot senza adesivi che dimostra che puoi insegnare a una macchina a comprendere l'ordine di una storia semplicemente lasciandola ricordare il viaggio, una parola alla volta. È un piccolo passo, ma apre una nuova porta su come potremmo costruire la prossima generazione di modelli linguistici.

Sintesi Tecnica: ZetaGPT

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) basati su Transformer si affidano a meccanismi di auto-attenzione che sono intrinsecamente permutazione-equivarianti, il che significa che mancano di una capacità intrinseca di rappresentare l'ordine dei token. Di conseguenza, le architetture esistenti devono iniettare esplicitamente informazioni posizionali attraverso embedding appresi o codifiche artigianali (ad esempio, sinusoidali, RoPE). Sebbene efficaci, questi metodi trattano l'informazione posizionale come un componente architettonico esterno piuttosto che come una proprietà inerente al modello. Questa dipendenza crea sfide per l'estensione del contesto, richiedendo spesso adattamenti specifici al meccanismo di codifica (ad esempio, interpolazione o scaling) invece di derivare naturalmente dalla dinamica del modello. Recenti filosofie di progettazione si sono spostate verso architetture prive di codifica posizionale, dove l'informazione sequenziale emerge implicitamente attraverso la dinamica computazionale, sebbene le implementazioni di riferimento open-source e compatte per tali modelli rimangano scarse.

Metodologia

ZetaGPT introduce un'architettura ibrida State–Space–Attention (SSA) progettata per codificare implicitamente l'informazione posizionale prima del calcolo dell'auto-attenzione. La metodologia principale coinvolge i seguenti componenti:

1. Design Architetturale

Ogni blocco Transformer in ZetaGPT consiste in tre sottolivelli residui pre-normalizzati disposti in un ordine specifico:

Modulo State-Space Causale (SSM): Posizionato prima dell'auto-attenzione, questo modulo elabora l'input attraverso dinamiche di stato ricorrenti.
Multi-Head Self-Attention con Gate: Opera sulle rappresentazioni sensibili alla posizione generate dall'SSM.
Rete Feed-Forward (FFN): Esegue la trasformazione non lineare delle caratteristiche.

2. Codifica Posizionale Implicita tramite Dinamiche State-Space

Il modello utilizza equazioni di spazio-stato selettive per trasformare le rappresentazioni dei token indipendenti dalla posizione in rappresentazioni sensibili alla posizione. Dato una sequenza di input $\{x_t\}$ , lo stato nascosto $h_t$ evolve ricorsivamente:
$h_t = A(x_t)h_{t-1} + B(x_t)x_t$
$y_t = C(x_t)h_t + D(x_t)x_t$

Nell'implementazione di ZetaGPT:

L'operatore di transizione di stato $A(x_t)$ è definito come una matrice diagonale con coefficienti di decadimento dipendenti dall'input $a_t = \exp(-\text{softplus}(W_a x_t + b_a))$ .
Il percorso di input prevede una proiezione, una convoluzione causale depthwise e un'attivazione SiLU.
L'output è modulato da un gate dipendente dall'input $g_t$ .

Poiché lo stato nascosto $h_t$ riassume ricorsivamente il prefisso causale $\{x_1, \dots, x_t\}$ , le rappresentazioni risultanti contengono intrinsecamente l'ordine sequenziale. Ciò consente al successivo livello di auto-attenzione di operare su dati sensibili alla posizione senza richiedere codifiche posizionali esplicite.

3. Meccanismo di Attention con Gate

Per mitigare i "sink" dell'attenzione e il collasso delle attivazioni, ZetaGPT impiega un meccanismo di multi-head attention con gate. Un gate dipendente dall'input modula l'output dell'attenzione prima della proiezione, migliorando la selettività e la stabilità nei Transformer con pre-layer-normalization.

4. Pipeline di Training End-to-End

ZetaGPT fornisce una pipeline completamente open-source che copre:

Tokenizer: Byte-level Byte-Pair Encoding (BPE) addestrato sul corpus di pretraining, con un vocabolario di 50.259 token.
Pretraining: Addestrato sul corpus WikiText-103.
Supervised Fine-Tuning (SFT): Allineato utilizzando il dataset di istruzioni Alpaca-GPT4.
Reinforcement Learning (RLHF): Include l'addestramento del modello di ricompensa e l'ottimizzazione delle preferenze.
Chain-of-Thought (CoT): Sviluppato tramite puro reinforcement learning usando Group Relative Policy Optimization (GRPO) sul benchmark GSM8K, consentendo capacità di ragionamento senza dimostrazioni supervisionate di CoT.

Contributi Chiave

Modello State-Space–Attention privo di Codifica Posizionale: ZetaGPT è un modello linguistico compatto in cui equazioni di spazio-stato causali precedono l'auto-attenzione in ogni blocco. Questo design permette l'evoluzione dello stato ricorrente per rappresentare implicitamente l'informazione posizionale, eliminando la necessità di codifiche posizionali esplicite.
Implementazione di Riferimento: Per quanto a conoscenza dell'autore, ZetaGPT è il primo piccolo modello linguistico open-source senza codifica posizionale esplicita. Serve come riferimento compatto e riproducibile per lo studio empirico delle architetture prive di codifica posizionale.
Pipeline di Training Completa: Il lavoro presenta una pipeline completa, dalla costruzione del dataset e l'addestramento del tokenizer, fino al pretraining, SFT, RLHF e ragionamento CoT tramite reinforcement learning, fornendo una ricetta unificata per costruire moderni piccoli LLM.

Risultati e Osservazioni

Il documento riporta la dinamica di addestramento dei moduli state-space durante il pretraining (oltre 12.800 step):

Emergenza di Memoria Multi-Scala: Il modello apprende molteplici scale temporali di memoria. Gli strati superficiali mantengono orizzonti di memoria più lunghi, mentre gli strati intermedi sviluppano orizzonti più brevi, creando una gerarchia di rappresentazioni temporali.
Selettività dell'Input: I coefficienti di decadimento diventano sempre più dipendenti dall'input, permettendo all'orizzonte di memoria di adattarsi al contesto locale.
Contributo Residuo: Il contributo del modulo state-space allo stream residuo cresce durante l'addestramento, indicando che la rete si affida sempre più a queste dinamiche apprese.
Canali Eterogenei: La distribuzione del decadimento evolve includendo canali a memoria lunga ( $a > 0.99$ ) e a memoria breve ( $a < 0.5$ ), dimostrando un'organizzazione automatica in distinti intervalli temporali.

Le configurazioni del modello variano da ZetaGPT-S (34.4M parametri, 6 strati) a ZetaGPT-L (479.9M parametri, 24 strati). Le lunghezze del contesto sono trattate come configurazioni di addestramento (256, 512, 1024 token) piuttosto che vincoli architettonici.

Significato e Limitazioni

Significato:
ZetaGPT stabilisce una base compatta e riproducibile per lo sviluppo di modelli linguistici privi di codifica posizionale. Dimostrando che l'informazione posizionale può essere rappresentata implicitamente attraverso le dinamiche architettoniche piuttosto che tramite priori iniettati, offre una nuova via per la ricerca sulla modellazione di contesti lunghi e sull'estrapolazione del contesto che non dipende dalla modifica di meccanismi di codifica espliciti.

Limitazioni:
L'autore nota esplicitamente che le limitazioni derivano dai vincoli computazionali piuttosto che dall'architettura stessa:

Scala dei Dati: Il corpus di pretraining (WikiText-103) è modesto, privo della diversità e della conoscenza del mondo dei modelli addestrati su trilioni di token.
Scala del Modello: La configurazione predefinita (34.4M parametri) è piccola; le dinamiche osservate qui potrebbero non trasferirsi direttamente a modelli molto più grandi.
Lunghezza del Contesto: Il pretraining è limitato a contesti brevi (fino a 1024 token), impedendo una valutazione completa della modellazione di contesti lunghi o delle capacità di estrapolazione.

Il lavoro posiziona ZetaGPT principalmente come uno strumento per la ricerca, la prototipazione rapida, la verifica degli algoritmi e l'istruzione, piuttosto che come un modello linguistico di grandi dimensioni pronto per la produzione.