💻 computer science

One Vector Is All You Need for O(1) Self-Attention: The Ocean State

Questo articolo introduce l' "Ocean State", un metodo che sostituisce la standard self-attention con un singolo vettore persistente per ottenere una complessità computazionale e di memoria O(1), dimostrando al contempo una stabilità di addestramento superiore e nessun segno di oblio anche a 10 milioni di step di contesto.

Autori originali: SHUYUAN YU

Pubblicato 2026-09-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: SHUYUAN YU

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'intelligenza artificiale moderna si basa spesso su un tipo specifico di programma per computer chiamato Transformer, che è diventato lo standard per compiti come scrivere testi, tradurre lingue e rispondere a domande. Questi programmi funzionano guardando una sequenza di parole e decidendo quale parola venga dopo. Per farlo con precisione, il programma deve ricordare le parole che ha già visto. Nell'attuale progettazione, man mano che il programma legge una frase lunga o un intero libro, mantiene un elenco crescente di ogni parola elaborata finora. Questo elenco funge da banca della memoria che si espande con ogni nuova parola. Sebbene questo funzioni bene per testi brevi, diventa un peso enorme per testi molto lunghi. Il computer deve scansionare costantemente questo elenco in continua crescita per trovare informazioni rilevanti, il che richiede una quantità massiccia di potenza di calcolo e di memoria. Man mano che il testo si allunga, il tempo e l'energia necessari per leggerlo crescono molto più velocemente del testo stesso, rendendo infine impossibile elaborare documenti molto lunghi in modo efficiente.

Un ricercatore di nome Yu Shuyuan ha proposto un modo diverso per gestire questo problema della memoria. Invece di mantenere un elenco crescente di ogni parola, il nuovo metodo suggerisce di mantenere un unico vettore di riepilogo, che l'autore chiama "stato oceanico" (ocean state). Immaginate questo stato come un contenitore singolo e denso che racchiude l'essenza di tutto ciò che il programma ha letto finora. Mentre il programma legge una nuova parola, aggiorna questo singolo contenitore per includere la nuova informazione, sostituendo il vecchio riepilogo con uno nuovo. Il programma utilizza poi questo singolo contenitore per aiutare a prevedere la parola successiva. Questo approccio cambia la matematica fondamentale del problema: invece di far sì che lo sforzo cresca con la lunghezza del testo, lo sforzo rimane costante indipendentemente da quanto lungo diventi il testo. Il programma può leggere un milione di parole con lo stesso lavoro per parola, e utilizza una quantità fissa e minuscola di memoria indipendentemente dalla lunghezza.

L'idea centrale dietro questo lavoro è una domanda semplice: cosa succederebbe se non gettassimo via il riepilogo finale di una frase dopo averlo usato per prevedere la parola successiva? Nei programmi standard, questo riepilogo viene calcolato e poi scartato. Il nuovo metodo lo conserva, trattandolo come una memoria persistente che fluisce da un passaggio all'altro. Il programma legge la parola corrente e questo singolo vettore di riepilogo, li combina e produce un nuovo riepilogo. Questo processo si ripete per ogni parola nel testo. Fondamentalmente, il programma impara a leggere e ad aggiornare questo singolo vettore interamente da solo. Nessuno gli ha detto come comprimere le informazioni in un unico punto; ha semplicemente imparato a farlo durante l'addestramento perché il design lo permetteva. I ricercatori hanno scoperto che questo singolo vettore è sorprendentemente capace. Può contenere informazioni da una sequenza di dieci milioni di passaggi senza perdere nulla. Nei test, il programma era in grado di richiamare parole specifiche dall'inizio di una sequenza di dieci milioni di passaggi con la stessa precisione con cui poteva farlo dai primi passi, senza mostrare segni di dimenticanza.

I ricercatori hanno testato questa idea contro il metodo standard utilizzando un grande insieme di dati testuali. Hanno addestrato entrambe le versioni per prevedere la parola successiva in una frase. I risultati hanno mostrato che il nuovo metodo, che utilizza un solo vettore, è costantemente migliore del metodo standard che mantiene un elenco crescente. Questo vantaggio non è stato un caso fortuito; è apparso in molteplappicate impostazioni, inclusi diversi modelli e diverse lunghezze di testo. Infatti, il nuovo metodo era così stabile da poter elaborare una sequenza di dieci milioni di passaggi senza alcun aumento dell'errore, mentre il metodo standard avrebbe esaurito la memoria o impiegato un tempo impossibile per elaborare anche solo una frazione di quella lunghezza. I ricercatori hanno anche testato un compito specifico in cui il programma doveva ripetere una parola dopo un lungo ritardo. Il nuovo metodo ha riprodotto la parola con una perdita di 0,0006, mentre il metodo standard è fallito completamente.

Una preoccupazione riguardo a una memoria così compressa è che potrebbe diventare illeggibile o "nebbiosa" nel tempo, perdendo i dettagli necessari per fare buone previsioni. Tuttavia, gli esperimenti hanno mostrato l'opposto. Il singolo vettore è rimasto nitido e chiaro, capace di recuperare informazioni specifiche anche dopo milioni di passaggi. I ricercatori hanno anche esplorato come rendere questo metodo più veloce su computer reali. Poiché il nuovo metodo elabora le parole una dopo l'altra in una sequenza rigorosa, può essere più lento da addestrare su una singola macchina rispetto al metodo standard, che può elaborare molte parole contemporaneamente. Per risolvere questo, i ricercatori hanno sviluppato un modo per suddividere il lavoro tra i diversi livelli del programma, consentendo di elaborare simultaneamente più passaggi. Questo cambiamento ingegneristico ha ridotto significativamente il tempo necessario per addestrare il modello mantenendo la stessa alta prestazione.

Lo studio dimostra che è possibile costruire un sistema che ricordi una vasta quantità di informazioni utilizzando una quantità fissa di memoria e di potenza di calcolo. I ricercatori hanno dimostrato che il programma impara a organizzare queste informazioni in modo efficiente senza alcuna istruzione speciale. Sebbene gli esperimenti attuali siano stati condotti su un dataset specifico e con modelli relativamente piccoli, e il comportamento con dimensioni reali non sia ancora stato testato, i risultati suggerano che il principio sottostante è robusto. Il metodo funziona riposizionando il modo in cui il programma gestisce il proprio stato interno, trasformando un riepilogo scartato in una memoria persistente. Questo cambiamento elimina il costo strutturale che ha limitato la lunghezza dei testi che i sistemi di IA possono gestire. Le scoperte indicano che, con questo approccio, i limiti della lunghezza del contesto potrebbero non essere più una barriera, permettendo a sistemi che possano leggere e comprendere documenti di qualsiasi dimensione con velocità e precisione costanti.

Riepilogo Tecnico: Un Vettore è Tutto Ciò di Cui Hai Bisogno per l'Auto-Attenzione O(1): L'Ocean State

1. Definizione del Problema

I Transformer standard soffrono di un limite strutturale: l'auto-attenzione comporta un costo computazionale $O(N^2)$ e richiede una cache di memoria (Key-Value cache) $O(N)$ che cresce linearmente con la lunghezza del contesto. Sebbene lavori recenti (RetNet, RWKV, Mamba, Titans) tentino di mitigare questo problema introducendo nuovi meccanismi come l'attenzione lineare, il gating selettivo o moduli di memoria esterna, essi alterano fondamentalmente l'architettura. Inoltre, i Transformer standard scartano lo stato nascosto finale dopo ogni passaggio in avanti (forward pass), nonostante esso contenga un'assorbimento dell'intero contesto.

Il documento postula che il costo $O(N^2)$ sia strutturale all'attuale implementazione dell'attenzione, non inerente al concetto di modellazione del contesto. Si pone la domanda: E se lo stato nascosto, che assorbe l'intero contesto, non venisse scartato ma mantenuto e utilizzato come l'unico oggetto di attenzione per il token successivo?

2. Metodologia: L'Ocean State

La soluzione proposta, "The Ocean State" (Lo Stato Oceano), prevede due specifici riposizionamenti dell'architettura standard del Transformer senza aggiungere nuovi componenti (ad esempio, niente gating, niente memoria esterna).

2.1 Meccanismi Core

L'Ocean State (Riposizionamento 1):
- Invece di scartare lo stato nascosto dopo un passaggio in avanti, l'output dell'elaborazione dell'attuale token sostituisce il precedente stato nascosto, che viene definito "ocean state".
- Meccanismo di Attenzione: L'attenzione è calcolata strettamente tra l'attuale token e l'ocean state persistente (un singolo vettore denso).
- Conseguenze: Questo elimina la necessità di cache Key-Value (KV), codifiche posizionali e maschere causali. Lo stato viene aggiornato tramite un "relay" (sostituzione 1:1) piuttosto che per accumulo, garantendo che l'informazione sia riorganizzata ma non compressa o scartata.
- Sola Lettura (Read-Only): L'ocean state è letto dall'attuale token ma non viene mai elaborato attraverso la rete Feed-Forward (FFN) o lo stack di layer; solo il token passa attraverso lo stack.
Ocean BPTT (Riposizionamento 2):
- Poiché l'ocean state è una variabile ricorrente, i gradienti devono essere srotolati nel tempo (Backpropagation Through Time, BPTT).
- Flusso del Gradiente: Durante il passaggio all'indietro (backward pass), il gradiente dell'ocean state al passo $t$ viene calcolato sulla base del token al passo $t$ . Questo gradiente viene poi aggiunto al gradiente dello stato nascosto del passo $t-1$ .
- Operatore di Percorso di Lettura (Read-Path Operator): Un operatore specifico mappa il gradiente del token all'indietro verso l'ocean state utilizzando i pesi dell'attenzione salvati durante il passaggio in avanti. Più un token "legge" l'oceano, più forte è il segnale del gradiente inviato per aggiornare la rappresentazione dell'ocean state.

2.2 Implementazione Algoritmica

Il ciclo di addestramento consiste in:

Forward Pass: Il token $t$ presta attenzione a $ocean_{t-1}$ . Il token passa attraverso lo stack di layer (Attention + FFN). L'output sostituisce $ocean_{t-1}$ per diventare $ocean_t$ .
Backward Pass: I gradienti fluiscono dal loss al passo $t$ all'indietro attraverso i layer. Fondamentalmente, il gradiente dell'ocean state viene accumulato attraverso i passi temporali, permettendo agli errori dei token futuri di aggiornare la rappresentazione dei contesti passati.

2.3 Varianti di Ingegneria

Il documento esplora tre regimi di addestramento per bilanciare costo, tempo e qualità:

Serial Ocean BPTT: Srotolamento completo della catena temporale. Massima guadagno di qualità, costo computazionale più basso, ma tempo di esecuzione (wall-clock time) seriale.
Ocean on Framework: Esegue l'intera catena su standard framework di autograd. Mantiene il pieno guadagno di qualità ma migliora il throughput tramite il batching.
Ocean Detach: Taglia la catena del gradiente temporale (niente BPTT tra i passi). Permette l'addestramento completamente parallelo (come i Transformer standard) ma sacrifica il guadagno di performance derivante dai gradienti temporali.

3. Contributi Chiave

Riposizionamento Architetturale: Dimostra che l'attenzione $O(1)$ e la memoria $O(1)$ sono ottenibili riutilizzando lo stato nascosto scartato come un persistente vettore "oceano", eliminando la necessità di cache KV e codifiche posizionali.
Capacità Emergente: Mostra che un Transformer può imparare a leggere ed estrarre informazioni da un singolo vettore denso senza istruzioni esplicite, affidandosi puramente all'addestramento end-to-end.
Scalabilità a Contesti Estremi: Dimostra che l'architettura può gestire lunghezze di contesto fino a 10 milioni di passi senza degradazione, un traguardo impossibile per i Transformer standard a causa dei vincoli di memoria e computazione.
Srotolamento del Gradiente: Introduce l' "Ocean BPTT", applicando lo standard BPTT all'output dell'intero stack di layer come stato ricorrente, identificando questo come la fonte primaria dei guadagni di performance.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul corpus di Shakespeare (a livello di carattere e di parola) utilizzando un'implementazione custom in NumPy (float64) e verificata con PyTorch.

4.1 Performance e Dinamiche di Addestramento

Superiorità: In tutte le configurazioni testate (ampiezze $d \in \{32, 64, 128, 256\}$ , profondità $L \in \{2, 4, 6\}$ , e vari conteggi di teste), il regime "Ocean Full" ha costantemente superato il Transformer standard.
Guadagno Stabile: Il divario di performance ( $\Delta = Loss_{std} - Loss_{full}$ ) è stato positivo e stabile (circa +0.15 di riduzione della loss) attraverso la griglia di test.
Fonte del Guadagno: Il guadagno è principalmente strutturale. Quando la catena temporale è staccata (Ocean Detach), la performance cala significativamente, indicando che lo srotolamento del gradiente temporale è il fattore critico, non solo il meccanismo di attenzione in sé.

4.2 Lungo Contesto e Memoria

Assenza di Dimenticanza: In un test di prefill di 10 milioni di passi, la loss è rimasta piatta (1.532 al passo 1M vs 1.531 al passo 10M). L'ocean state non ha mostrato segni di saturazione della capacità o dimenticanza.
Task di Eco: Il modello ha raggiunto una loss quasi nulla (0.0006) in un task di eco con un ritardo di 2 milioni di passi, dove il Transformer standard falliva completamente.
Efficienza della Memoria: L'ocean state richiede solo una memoria $O(1)$ (un singolo vettore di dimensione $d$ ), indipendente dalla lunghezza del contesto. Al contrario, i Transformer standard richiedono una memoria $O(N)$ per le cache KV, che diventa impraticabile a scale come 1 milione di token (richiedendo circa 1 TB per un modello da 13B).

4.3 Inferenza e Generazione

Nessuna Estrapolazione: L'oceano genera testo coerente senza bisogno di estrapolazione della codifica posizionale (es. RoPE, ALiBi) perché la lunghezza del contesto non è una variabile di input per il meccanismo di attenzione.
Tempo di Esecuzione (Wall-Clock Time): Sebbene la natura ricorrente renda l'addestramento più lento per passo rispetto ai Transformer standard paralleli, il documento nota che il pipelining per livelli (Ocean A-2) può ottenere un'accelerazione di 1.9x nel tempo di esecuzione, e il parallelismo annidato (Ocean A-3) offre guadagni teorici di $10^3$ . L'autore sottolinea che l'addestramento comporta un esplicito triangolo di compromesso tra costo, tempo e qualità, dove l'implementazione pratica richiede la selezione di regimi specifici (es. detach per scala industriale, full chain per qualità di ricerca).

5. Significato e Rivendicazioni

Il documento sostiene tre punti primari, che definisce come falsificabili:

Consistenza dell'Addestramento: L'Ocean state si addestra con la stessa forma della curva di apprendimento del Transformer standard, confermando che si tratta di un valido riposizionamento piuttosto che di un paradigma di apprendimento fondamentalmente diverso.
Guadagno Universale: Per qualsiasi architettura Transformer in condizioni identiche, l'Ocean state produce un guadagno di performance positivo ( $\Delta > 0$ ).
Capacità Infinita: Con una dimensione ( $d$ ) sufficiente, l'Ocean state non mostra limiti di capacità, dimenticanza o fallimenti nel recupero a qualsiasi scala osservabile.

L'autore conclude che l' "Ocean State" affronta il principio dell'inferenza $O(1)$ e dell'addestramento per lunghezze di contesto arbitrarie, affermando: "crediamo che il principio sia risolto". Affidandosi alla capacità emergente del Transformer di organizzare l'informazione all'interno di un singolo vettore, il metodo rimuove i colli di bottiglia strutturali dell'attenzione quadratica e della crescita lineare della memoria, rendendo potenzialmente possibile la creazione di transformer "piccoli e personali" e robot umani con stati cognitivi continui. Il lavoro enfatizza che questi risultati derivano da esperimenti "what-if" su componenti esistenti, rispettando le proprietà emergenti dell'architettura originale, pur riconoscendo le questioni aperte riguardanti configurazioni specifiche (ad esempio, perché il detach superi lo standard in alcuni casi).