🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven è un modello di sequenza a tempo lineare che migliora il richiamo di contesti lunghi impiegando un routing della memoria sparso e dipendente dall'input per aggiornare solo un sottoinsieme di slot di memoria fissi, bilanciando efficacemente i problemi di interferenza dei modelli a spazio-stato densi e i limiti di espulsione rigidi della finestra scorrevole dell'attenzione.

Autori originali: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Pubblicato 2026-07-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ricordare una storia che hai appena ascoltato, ma il tuo cervello ha una regola strana: ogni volta che senti una nuova parola, devi riscrivere l'intera storia da capo, mescolando la nuova parola in ogni singola frase che hai mai scritto. È così che funzionano alcuni programmi informatici chiamati "State-Space Models". Sono ottimi nel mantenere l'atmosfera generale di una storia per molto tempo, ma poiché mescolano tutto così minuziosamente, diventa impossibile trovare un dettaglio specifico, come un nome o una data, sepolto nel mezzo. D'altra parte, immagina un tipo diverso di memoria che funziona come un quaderno con un numero fisso di pagine. Quando riempi l'ultima pagina, la strappi semplicemente via e la getti via, sostituendola con una nuova. Questo è il modo in cui funzionano i modelli "Sliding Window". Sono ottimi nel ricordare perfettamente le ultime pagine, ma nel momento in cui un'informazione viene spinta fuori dal bordo, svanisce per sempre.

Questo è il grande problema che gli scienziati nel campo dell'Intelligenza Artificiale stanno cercando di risolvere: Come possiamo costruire un cervello informatico che sia in grado di ricordare una storia per un tempo molto lungo senza confondere i dettagli, ma anche senza dimenticare l'inizio solo perché è vecchio? Abbiamo bisogno di un sistema che sia in grado di conservare fatti specifici e importanti per molto tempo pur continuando a elaborare nuove informazioni in modo efficiente. Questo è crucialo perché, man mano che i modelli di IA diventano più intelligenti, devono leggere libri più lunghi, analizzare documenti enormi e ricordare le istruzioni date all'inizio di una conversazione, anche dopo migliaia di parole trascorse.

Entra in scena Raven, un nuovo tipo di modello di IA progettato dai ricercatori per risolvere esattamente questo enigma della memoria. Pensa alla memoria di Raven non come a un riscrivere disordinato o a un semplice quaderno destinato al cestino, ma come a uno spogliatoio hi-tech con centinaia di armadietti. Nei vecchi sistemi, ogni volta che arrivava un nuovo oggetto, questo era costretto in ogni armadietto contemporaneamente, oppure veniva infilato in un armadietto basandosi strettamente sull'ordine di arrivo, espellendo l'oggetto più vecchio indipendentemente dalla sua importanza. Raven cambia le regole. Utilizza un "router" intelligente che agisce come un buttafuori. Quando arriva un nuovo pezzo di informazione, il buttafuori guarda di cosa si tratta e decide: "Questo è un fatto noioso? Mettilo in un armadietto condiviso che viene svuotato spesso. Questo è un segreto super importante? Mettilo in un armadietto speciale e dedicato a cui nessun altro è autorizzato a toccare".

Il documento introduce un framework chiamato Routing Slot Memories (RSMs), che è il progetto di Raven. L'innovazione chiave è che Raven separa dove l'informazione viene scritta da quanto a lungo vi rimanga. Nei modelli precedenti, queste due cose erano intrecciate. Raven utilizza un sistema di routing "sparso", il che significa che aggiorna solo un piccolo gruppo selezionato di armadietti (slot di memoria) per ogni nuova porzione di testo, lasciando il resto completamente intatto. Questo è un grande passo avanti perché evita l' "interferenza" che avviene quando si cerca di aggiornare tutto in una volta sola. Se un armadietto specifico contiene una password cruciale, il router di Raven può scegliere di ignorare quell'armadietto per centinaia di passaggi, lasciando che la password rimanga lì al sicuro mentre il resto della memoria svolge il proprio lavoro.

I ricercatori hanno testato Raven su alcuni giochi di memoria molto difficili. Uno di questi era il test "Needle in a Haystack" (Ago nel pagliaio), dove l'IA deve trovare una frase specifica nascosta all'interno di un documento enorme. In questi test, Raven ha dimostrato di poter trovare l'ago anche quando il documento era 16 volte più lungo della lunghezza per cui era stato addestrato. Mentre altri modelli come Mamba-2 o lo Sliding Window Attention iniziavano a fallire e a dimenticare le cose man mano che il testo si allungava, Raven manteneva la sua precisione quasi perfetta. Per esempio, in un test a 32.000 token, Raven ha mantenuto una precisione superiore al 91%, mentre altri modelli sono calati significativamente.

La cosa davvero interessante è che Raven non ha bisogno di alcun trucco extra sofisticato per fare questo. Non si affida a complesse convoluzioni (che sono come filtri di memoria a breve termine usati da altri modelli) o a speciali marcatori di posizione. Usa semplicemente questo sistema di routing intelligente. Il documento suggerisce che, permettendo al modello di imparare ad allocare la memoria in base al contenuto (cosa sia la parola) piuttosto che solo alla posizione (dove si trova nella frase), si crea una "specializzazione" naturale. Alcuni slot di memoria diventano esperti nel conservare dettagli critici per il recupero, mentre altri gestiscono il flusso generale della storia.

Gli autori hanno scoperto che questo approccio funziona non solo in isolamento, ma anche quando viene miscelato con altri tipi di architetture IA. Quando hanno accoppiato Raven con i meccanismi di attenzione standard (quelli usati nei modelli IA più popolari oggi), il sistema ibrido ha performato ancora meglio nei compiti a lungo contesto, superando i modelli che utilizzavano lo Sliding Window Attention o altri modelli lineari. Il documento conclude che Raven riesce a colmare il divario tra i modelli che sono bravi nella persistenza a lungo termine e quelli che sono bravi nel recupero preciso, suggerendo che trattare l'allocazione della memoria come una scelta deliberata e apprendibile è un modo potente per costruire un'IA più intelligente ed efficiente.

Sintesi Tecnica: Raven - Modellazione di Sequenze ad Alto Richiamo con Routing di Memoria Sparsa

1. Definizione del Problema

I modelli di sequenza a tempo lineare, come i modelli State-Space (SSM) e i Transformer lineari, affrontano un compromesso fondamentale nella gestione della memoria per il richiamo di contesti lunghi:

Aggiornamenti di Stato Densi (SSM): Modelli come Mamba-2, GLA e GDN mantengono uno stato di dimensione fissa che si aggiorna densamente ad ogni passo. Ogni slot di memoria viene aggiornato per ogni nuovo token, facendo affidamento su meccanismi di decadimento appresi per dimenticare. Sebbene ciò permetta in linea di principio una persistenza indefinita, gli aggiornamenti densi causano interferenza, rendendo difficile preservare singoli token specifici senza che vengano sovrascritti o diluiti dalle informazioni successive.
Scritture Sparse Basate sulla Posizione (Sliding-Window Attention - SWA): SWA scrive sparsamente memorizzando rappresentazioni esplicite dei token, ma le restringe a una finestra recente fissa. Utilizza una strategia First-In-First-Out (FIFO) in cui i vecchi token vengono espulsi rigidamente in base alla posizione. Sebbene ciò consenta un richiamo affidabile all'interno della finestra, il richiamo scende quasi a zero una volta che il token rilevante viene espulso, indipendentemente dalla sua importanza.

Il problema centrale è che i modelli esistenti confondono dove l'informazione viene scritta con quanto a lungo essa persista. Gli SSM scrivono ovunque e si affidano al decadimento per dimenticare; SWA non scrive da nessuna parte (tranne che nella finestra corrente) e si affida alla posizione per dimenticare. Nessuno dei due combina efficacemente la scrittura sparsa dipendente dal contenuto con un decadimento esplicito e controllabile.

2. Metodologia: Routing Slot Memories (RSMs)

Gli autori propongono le Routing Slot Memories (RSMs), un framework unificato che separa la posizione delle scritture dalla durata della persistenza. Le RSM mantengono un insieme fisso di $M$ slot di memoria e, ad ogni passo temporale $t$ , utilizzano un router per determinare quale sottoinsieme di slot riceve nuove informazioni e applica il decadimento.

2.1 Il Framework RSM

La ricorrenza generale per un RSM è definita come:
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
Dove:

$S_t \in \mathbb{R}^{M \times d}$ è lo stato di memoria con $M$ slot indipendenti.
$r_t \in \mathbb{R}^M$ è il vettore di routing che determina l'intensità di scrittura per ogni slot.
$D_t$ e $A_t$ controllano il decadimento e la miscelazione delle caratteristiche.
$U_t$ è il contenuto di scrittura derivato dall'input $x_t$ .

Il framework posiziona i modelli esistenti su uno spettro:

SSM: Utilizzano un router denso ( $r_t = \mathbf{1}_M$ ), aggiornando tutti gli slot con un decadimento graduale.
SWA: Utilizza un router one-hot dipendente dal tempo ( $r_t = e_t$ ), aggiornando esattamente uno slot con espulsione rigida (senza decadimento).
GSA/ABC: Utilizzano router dipendenti dall'input ma tipicamente aggiornano tutti gli slot (scritture dense), limitando la loro capacità di isolare le memorie.

2.2 L'Architettura Raven

Raven è un'istanza specifica di RSM progettata per occupare la "via di mezzo", combinando il routing sparso dipendente dall'input con il decadimento esplicito.

Struttura a Stato Duplice: Come SWA, Raven mantiene stati separati per Key ( $S^k_t$ ) e Value ( $S^v_t$ ).
Routing Sparso, Dipendente dall'Input: Invece di una finestra fissa o di un aggiornamento denso, Raven utilizza un router $g_t$ $g_{t}$ derivato dall'input $x_t$ $x_{t}$ . Impiega una strategia di selezione Top-K (adattata dal routing DeepSeek MoE) per selezionare un piccolo sottoinsieme di $K$ $K$ slot da aggiornare.
- I punteggi sono calcolati tramite una funzione sigmoide: $m_t = \sigma(W x_t)$ .
- Solo i primi $K$ elementi vengono mantenuti; gli altri sono impostati a zero.
- Il router è normalizzato per garantire che gli slot selezionati ricevano l'appropriata intensità di scrittura.
Decadimento Selettivo: Il decadimento è applicato solo agli slot selezionati. La ricorrenza è:
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
Qui, $a_t$ è un decadimento scalare dipendente dall'input (simile a Mamba-2). Se uno slot non è selezionato ( $r_t[i] \approx 0$ ), il termine $\exp(a_t r_t[i]) \approx 1$ , il che significa che lo slot è congelato e mantiene il suo contenuto perfettamente finché non viene selezionato nuovamente.
Design del Blocco Semplificato: A differenza di molti modelli lineari (es. Mamba, GLA), Raven omette le convoluzioni a breve raggio. Si affida esclusivamente ai meccanismi di routing e decadimento per l'integrazione del contesto locale e a lungo raggio, risultando in una struttura di blocco più semplice.

3. Contributi Chiave

Routing Slot Memories (RSMs): Un framework formale che unifica SSM e SWA, separando esplicitamente la "posizione di scrittura" (routing) dal "meccanismo di dimenticanza" (decadimento).
Il Modello Raven: Un modello di sequenza a tempo lineare che implementa le RSM utilizzando un routing sparso e dipendente dall'input per aggiornare un sottoinsieme di slot di memoria, applicando il decadimento solo agli slot aggiornati.
Meccanismo per il Richiamo a Lungo Raggio: Indirizzando i token critici per il richiamo (es. passkey) verso slot dedicati e congelandoli, Raven previene l'interferenza distruttiva comune negli SSM densi e l'espulsione rigida di SWA.
Generalizzazione della Lunghezza: Il modello raggiunge prestazioni elevate su contesti fino a 16 $\times$ la sua lunghezza di addestramento senza curriculum di lunghezza esplicito o tecniche di interpolazione posizionale (come RoPE), poiché le diverse lunghezze effettive delle sequenze attraverso gli slot espongono naturalmente il modello a diverse dinamiche temporali.

4. Risultati Sperimentali

Gli autori hanno valutato Raven su benchmark intensivi di recupero e compiti di modellazione del linguaggio generale, confrontandolo con solidi baseline tra cui Mamba-2, GLA, GDN, SWA e varianti Transformer (FoX).

Needle-in-a-Haystack (NIAH):
- Scala 400M: Raven ha mantenuto un'accuratezza quasi perfetta ( $\ge 99\%$ ) fino a 16K token e rimaneva forte ( $>91\%$ ) a 32K token (16 $\times$ la lunghezza di addestramento). Al contrario, Mamba-2 e GDN sono degradati significativamente oltre gli 8K.
- Scala 800M: Raven ha raggiunto un'accuratezza del 91,0% su NIAH-1 a 64K token, superando significativamente il secondo miglior baseline (GDN al 45,2%).
Compiti di Richiamo nel Mondo Reale:
- Su SWDE (estrazione web), FDA (estrazione documenti) e SQuAD, Raven ha costantemente superato i baseline lineari. Ad esempio, su FDA, è stato l'unico modello lineare a superare il 22% di accuratezza, migliorando di circa 8 punti rispetto al miglior baseline SSM.
Modellazione del Linguaggio:
- Raven ha eguagliato o superato le prestazioni dei densi SSM (Mamba-2, GLA) su standard zero-shot benchmark (Lambada, PIQA, HellaSwag, ecc.), dimostrando che il routing sparso non compromette le capacità generali di modellazione del linguaggio.
Architetture Ibride:
- Quando integrato in modelli ibridi (accoppiato con strati di attenzione completa), Raven ha superato significativamente gli ibridi che utilizzano Mamba-2, GDN o SWA-RoPE nei compiti di recupero a lungo contesto, particolarmente nell'intervallo 16K–64K.

5. Significato e Rivendicazioni

Il paper sostiene che Raven affronti una lacuna architettonica fondamentale nella modellazione di sequenze lineari. Separando esplicitamente dove l'informazione viene scritta da quanto a lungo essa persista, Raven raggiunge un livello di richiamo a lungo raggio precedentemente irraggiungibile dai modelli lineari senza ricorrere all'attenzione quadratica o a complessi setup ibridi.

Le rivendicazioni chiave includono:

Superiorità su SWA: Raven sostituisce l'espulsione basata sulla posizione con il routing dipendente dal contenuto e il decadimento selettivo, consentendo un richiamo perfetto in compiti in cui SWA fallisce completamente.
Superiorità sugli SSM Densi: Raven evita l'interferenza degli aggiornamenti di stato densi scrivendo selettivamente, permettendo a specifici token di persistere indefinitamente in slot dedicati.
Semplicità: Il modello ottiene questi guadagni senza convoluzioni a breve raggio, semplificando l'architettura rispetto ai precedenti modelli lineari.
Specializzazione Emergente: L'analisi mostra che Raven impara naturalmente ad allocare specifici slot di memoria per token critici per il richiamo (es. password) mentre usa altri slot per il contenuto generale, creando un'allocazione della memoria strutturata e consapevole del contenuto senza supervisione esplicita.

Gli autori concludono che il framework RSM suggerisce che routing e dimenticanza siano assi di design ortogonali che dovrebbero essere trattati come scelte di design di primo livello piuttosto che sottoprodotti dei meccanismi di decadimento.