🤖 machine learning

A Controlled Study of Attention-Only Transformers

Questo studio dimostra che le reti feed-forward non sono strettamente necessarie per le prestazioni dei transformer, poiché i modelli basati solo sull'attenzione (SAN), pareggiati per parametri, calcolo e profondità, raggiungono una perdita quasi identica ai transformer standard, con il restante gap minore attribuibile esclusivamente alle differenze nella capacità di richiamo parametrico piuttosto che a limitazioni architettoniche.

Autori originali: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Pubblicato 2026-07-22

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di costruire il cervello definitivo per un robot. Per anni, gli scienziati hanno accumulato due tipi di "neuroni" l'uno sopra l'altro per rendere questi robot più intelligenti. Il primo tipo è come un messaggero che osserva ciò che sta accadendo in questo momento e decide a cosa prestare attenzione. Il secondo tipo è come un taccuino che conserva fatti e regole appresi dal passato. Il cervello del robot è costruito con un pattern ripetitivo: un messaggero, poi un taccuino, poi un messaggero, poi un taccuino.

Nel mondo dell'intelligenza artificiale, questi "messaggeri" sono chiamati meccanismi di attenzione (attention mechanisms), e i "tacini" sono chiamati reti feed-forward (FFN). Per molto tempo, tutti hanno dato per scontato che il taccuino fosse essenziale. Infatti, nei cervelli dei robot moderni, questi taccini occupano circa i due terzi dello spazio totale (parametri). La grande domanda era: Il taccuino è davvero necessario? O il messaggero potrebbe fare tutto il lavoro se gli venisse dato abbastanza spazio? Questo articolo è un enorme esperimento controllato per scoprire se possiamo costruire un robot super intelligente usando solo messaggeri, senza alcun taccuino.

L'esperimento della Grande Chirurgia Cerebrale

I ricercatori di Cactus Compute, Inc. hanno deciso di eseguire una "chirurgia cerebrale" molto precisa su un modello di IA standard. Hanno preso un modello standard e, strato dopo strato, hanno rimosso completamente il "taccuino" (la rete feed-forward), lasciando solo il "messaggero" (il meccanismo di attenzione). Hanno chiamato questo nuovo modello, ridotto all'osso, Simple Attention Network (SAN).

Ma ecco la parte complicata: non si può semplicemente cancellare una grossa fetta di un cervello e aspettarsi che funzioni allo stesso modo. Se rimuovi il taccuino, improvvisamente hai molto spazio vuoto. Così, i ricercatori hanno eseguito tre diverse versioni dell'esperimento per vedere cosa conta davvero:

Stessa Profondità: Hanno mantenuto lo stesso numero di strati ma hanno eliminato i taccini. (Questo ha reso il SAN molto più piccolo e debole).
Stesso Calcolo: Hanno regolato la dimensione in modo che entrambi i modelli utilizzassero esattamente la stessa quantità di elettricità (FLOPs) per pensare.
Stessa Dimensione: Hanno usato lo spazio vuoto lasciato dalla rimozione dei taccini per aggiungere più strati di messaggeri. Questo è il test più equo: "Se diamo al messaggero la stessa potenza cerebrale totale del taccuino, può fare il lavoro?"

Il Risultato Scioccante: Il Taccuino non è Magico

I risultati sono stati sorprendenti. Quando hanno semplicemente eliminato i taccini senza dare più spazio ai messaggeri, il robot è diventato significativamente più stupido. Ma quando hanno preso quella potenza cerebrale "eliminata" e l'hanno usata per costruire pile di messaggeri più profonde, il divario è quasi del tutto svanito.

Nel test più equo (corrispondendo alla dimensione totale), il modello standard con i taccini e il nuovo modello "solo messaggeri" erano quasi identici. La differenza era di un minuscolo 0,006 nats (un'unità di misura per quanto sia errata una previsione). Per dare un termine di paragone, si tratta di una differenza di appena lo 0,27% nelle loro prestazioni. È così piccola che, se avessero eseguito l'esperimento con diversi semi casuali (random seeds), i risultati sarebbero riproducibili a una parte su diecimila.

L'articolo conclude che, per il tipo di dati utilizzati (un corpus sintetico ad alta intensità di ragionamento), il "taccuino" non è un componente magico e insostituibile. È solo un modo per archiviare informazioni. Se dai al "messaggero" abbastanza profondità, può archiviare le informazioni da solo.

Dove si Nasconde il Piccolo Divario

Quindi, se sono quasi uguali, perché la differenza non è esattamente zero? I ricercatori hanno scavato a fondo per scoprirlo. Hanno scoperto che il problema non era ovunque; era molto specifico.

Il modello solo messaggero era leggermente peggiore nel rispondere a domande dove il contesto (la storia o il testo fornito) non gli dava assolutamente nulla con cui lavorare.

La Vittoria del "Contesto-Radicato": Quando la risposta era nascosta da qualche parte nel testo fornito (come trovare un fatto in un articolo di Wikipedia), il modello solo messaggero era in realtà migliore o uguale.
La Perdita della "Memoria": Il piccolo divario appariva solo quando il modello doveva tirare fuori un fatto dal nulla — puro richiamo della memoria dove il testo non offriva indizi.

Pensatelo in questo modo: il messaggero è bravo a dire: "Ehi, vedo un indizio nel testo, guardiamo lì!". Ma il taccuino era leggermente migliore nel dire: "Ricordo questo fatto dal mio addestramento, anche se qui non ci sono indizi". I ricercatori hanno scoperto che il modello solo messaggero poteva ancora memorizzare le cose, ma doveva lavorare un po' di più per archiviare quei fatti nei suoi strati di "attenzione" invece che in uno strato di "taccuino" dedicato.

Come Funziona Davvero il Cervello

L'articolo ha anche guardato sotto il cofano per vedere come questi modelli imparano. Hanno scoperto un ritmo affascinante nella crescita del cervello:

Il Routing si Cristallizza Presto: La parte del cervello che decide dove guardare (il routing) si stabilisce molto rapidamente, nel primo quarto dell'addestramento, e poi rimane congelata.
Il Contenuto Cresce Lentamente: La parte che effettivamente archivia le informazioni continua a crescere e a diventare più complessa durante l'intero processo di addestramento.

Quando hanno rimosso il taccuino, il compito di "archiviazione" non è scomparso; si è solo spostato. Lo strato di output del messaggero ha preso il posto di archiviare i fatti. È come se avessi rimosto un archivio da un ufficio; i dipendenti (i messaggeri) inizierebbero semplicemente a portare i file nelle loro tasche. Funziona, ma è un modo leggermente diverso di organizzare.

La Ricetta Segreta: La Normalizzazione

Uno dei risultati più pratici riguardava il modo per evitare che questi cervelli profondi "solo messaggeri" cadessero a pezzi. I ricercatori hanno scoperto che un trucco specifico chiamato QK-normalization era assolutamente critico. Senza di esso, i modelli profondi solo messaggeri sarebbero semplicemente crollati e avrebbero smesso di imparare. Si scopre che il "taccuino" non era la cosa che manteneva stabile il cervello; era questa specifica tecnica di normalizzazione.

La Conclusione

Questo articolo non dice che i taccini sono inutili. Dice che, per il tipo specifico di dati ad alta intensità di ragionamento testati, il "taccuino" non è un requisito fondamentale per l'intelligenza. Se hai un budget limitato per la dimensione del cervello, puoi scambiare il taccuino con più strati di messaggeri e ottenere quasi lo stesso risultato.

L'unico caso in cui il taccuino brilla davvero è quando il modello deve richiamare fatti che non hanno nulla a che vedere con il testo corrente. Ma anche in quel caso, la differenza è minima. Il punto principale è che il "messaggero" è incredibilmente potente e flessibile, capace di fare il lavoro del "taccuino" se gli dai abbastanza profondità. Il divario tra i due è così piccolo da essere quasi trascurabile, dimostrando che l'architettura del transformer è più flessibile di quanto pensassimo.

Sintesi Tecnica: Uno Studio Controllato sui Transformer Solo-Attention

Problematica
La rete feed-forward (FFN) costituisce circa i due terzi dei parametri non di embedding di un transformer ed è ampiamente interpretata come la memoria parametrica del modello (Geva et al. 2021, 2022; Meng et al. 2022; Dai et al. 2022). Tuttavia, la necessità della FFN non è mai stata testata rigorosamente in condizioni controllate. I precedenti tentativi di rimuovere le FFN o hanno riassegnato la loro capacità all'attenzione tramite vettori di memoria persistente (Sukhbaatar et al. 2019), lasciando aperta la questione della necessità, o hanno analizzato impostazioni teoriche prive di connessioni residue che non vengono utilizzate nella pratica (Dong, Cordonier e Loukas 2021). La sfida sperimentale principale è che la rimozione della FFN perturba simultaneamente tre variabili critiche: il numero di parametri, il calcolo per token (FLOPs) e il numero di passi di composizione non lineare (profondità). Pertanto, un controllo su un singolo asse è insufficiente per isolare il vero costo della FFN.

Metodologia
Gli autori conducono un "test di necessità" pre-addestrando Simple Attention Networks (SAN) — transformer con le FFN rimosse — contro i transformer standard. Per controllare le variabili confondenti, lo studio impiega tre diverse strategie di matching (Tabella 1):

Iso-depth: Pareggiamento del numero di layer (20 layer). Questo rimuove il 72% dei parametri dal transformer standard.
Iso-param: Pareggiamento del numero totale di parametri non di embedding. Il budget liberato viene riallocato nella profondità dell'attenzione (20 layer SAN contro 4 layer standard).
Iso-FLOP: Pareggiamento del calcolo di addestramento (GFLOPs per token). Poiché l'attenzione incurre un costo quadratico rispetto alla lunghezza della sequenza privo di parametri, il transformer standard trasporta più parametri in questo regime.

Controlli Sperimentali e Correttezza:

Equità degli Iperparametri: Ogni braccio dell'architettura subisce la propria ricerca del tasso di apprendimento (learning-rate sweep) (da 0.5× a 16×) a un checkpoint di 5B token per garantire che nessun braccio competa con gli iperparametri preferiti di un altro.
Controllo dell'Ottimizzatore: L'addestramento utilizza Muon contro un controllo AdamW, con un livello di rumore calibrato di 0.0015 nats stabilito tramite controlli equivalenti all'ottimizzatore.
Regime di Dati: I modelli sono pre-addestrati su SYNTH, un corpus sintetico denso di ragionamento, fino a 105B token. Un test separato e pre-registrato viene condotto su Fineweb-edu (denso di conoscenza).
Architettura: Le SAN utilizzano l'attenzione pre-norm con Grouped Query Attention (GQA), RoPE e specifiche strategie di normalizzazione (ZCN, QK-normalization).

Risultati Chiave
Lo studio decompone il divario di prestazioni tra le SAN e i transformer standard in una sequenza monotona basata sulla strategia di matching:

Costo della Rimozione (Iso-depth): Eliminare le FFN in loco a parità di profondità comporta una perdita significativa di 0.47 nats nella perdita di validazione.
Efficienza Computazionale (Iso-FLOP): A parità di FLOP di addestramento, il transformer standard conduce ancora per 0.26 nats, poiché il modello solo-attenzione deve spendere più calcolo sul termine quadratico privo di parametri, lasciando meno parametri per la capacità.
Efficienza dei Parametri (Iso-param): Quando il budget dei parametri liberato viene riallocato nella profondità dell'attenzione, il divario crolla a un piccolo, altamente riproducibile +0.0055 a +0.0054 nats (0.27% della perdita totale) su coppie di seed pulite. Questa differenza è stabile attraverso i budget di 5B, 30B e 105B token e rimane vicino a 0.02 nats attraverso un intervallo di 29× nelle dimensioni dei parametri non di embedding.

Localizzazione del Divario Residuo
Il deficit di prestazioni rimanente non è diffuso; è strettamente localizzato:

Regioni dei Token: Il deficit si concentra interamente sui token di query a basso contesto (dove il contesto offre poco da instradare). Sui tracciati di ragionamento e sulle regioni di risposta (inclusi gli esercizi di memorizzazione), la SAN spesso supera o eguaglia il modello FFN. Entro i 105B token, la SAN guida su tutte le regioni di risposta, con il deficit che sopravvive solo sui token di query.
Tipi di Task: Sui benchmark che richiedono il richiamo out-of-distribution (es. Lambada), il modello FFN vince costantemente. Sui task in cui la risposta è fornita nel contesto (es. SciQ), la SAN vince, con il margine che cresce con il progredire dell'addestramento.
Dipendenza dalla Distribuzione: Un test pre-registrato su Fineweb-edu (testo denso di conoscenza) ha misurato un divario di 0.040 nats, confermando la previsione che il vantaggio della FFN è maggiore su testi a basso contesto e densi di conoscenza. Al contrario, su Lambada addestrato su Fineweb-edu, la preferenza si è invertita, indicando che "storage vs. routing" è una proprietà del match task-distribuzione, non una proprietà intrinseca del task.

Meccanismo: Dinamica dello Spettro dei Pesi
Il paper identifica il meccanismo dietro questi risultati attraverso l'analisi dello spettro dei pesi:

Routing vs. Contenuto: Le matrici di routing (Query/Key) si cristallizzano spettralmente (congelano) entro il primo quarto dell'addestramento. Le matrici di contenuto accumulano un rango stabile durante la fase di addestramento stabile.
Rilocazione dello Storage: Nei transformer standard, l'accumulo di contenuto avviene nella down-proiezione della FFN. Nelle SAN, questo accumulo si rilocca nella proiezione di output dell'attenzione ( $W_o$ ), che diventa l'unica via di scrittura nel residual stream.
Stabilità: Lo studio identifica la QK-normalization come la componente critica per l'addestramento di stack di sola attenzione profondi (48 layer). La sua rimozione causa una divergenza immediata. I gate scalari residui sono stati trovati essere neutri rispetto alle prestazioni ma utili per la diagnostica.

Significato e Rivendicazioni
Il paper sostiene di fornire il primo test di necessità controllato della FFN del transformer. Le sue conclusioni principali sono:

La FFN non è un primitivo computazionale distinto: La sua rimozione non rompe il modello; piuttosto, rappresenta un'allocazione specifica della capacità dei parametri a una via di scrittura.
Forma Funzionale vs. Capacità: Sui dati densi di ragionamento, la forma funzionale della FFN non conta molto; ciò che conta è la capacità dei parametri. Riallocando questa capacità nella profondità dell'attenzione si recupera quasi tutte le prestazioni.
Deficit Specifico: L'unico costo rimanente è un piccolo, prevedibile deficit sui token dove il contesto non fornisce informazioni per il routing, forzando la dipendenza dalla memoria parametrica.
Robustezza: Le SAN mostrano una maggiore stabilità di addestramento rispetto ai transformer standard sotto stress del tasso di apprendimento, senza eventi di divergenza osservati nelle esecuzioni SAN rispetto all'instabilità nelle esecuzioni FFN.

Gli autori concludono che, nell'ambito testato, "l'attenzione fa il resto", a patto che il budget dei parametri sia pareggiato e l'architettura sia stabilizzata con la QK-normalization. Lo studio inquadra la FFN non come una componente strutturale essenziale, ma come un meccanismo specifico per memorizzare la conoscenza che può essere efficacementmente sostituito da strati di attenzione più profondi, con il compromesso di un impatto sulle prestazioni localizzato nei task di predizione ad alto contenuto di conoscenza e basso contesto.