🤖 machine learning

TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling

Questo articolo introduce TANGO, un'architettura di modello linguistico innovativa che sostituisce i classici sottolivelli Transformer con un aggiornamento residuo a gating cross-token per ottenere prestazioni superiori su dataset matematici ed educativi, insieme alla sua variante a complessità lineare WANGO che supera gli esistenti modelli a tempo lineare.

Autori originali: Joshua Nunley

Pubblicato 2026-08-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Joshua Nunley

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, gli strumenti più potenti per comprendere il linguaggio si basano su una struttura chiamata Transformer. Immaginate un lettore che scansiona un lungo documento; per comprendere una parola specifica, deve guardare indietro alle parole che l'hanno preceduta per coglierne il contesto. I modelli di IA standard compiono questo processo attraverso due passaggi distinti. Per prima cosa, scansionano l'intera cronologia del testo per raccogliere informazioni rilevanti dalle parole passate, un processo simile a un bibliotecario che individua rapidamente ogni libro che potrebbe essere pertinente a un argomento. In secondo luogo, prendono quelle informazioni raccolte e le elaborano attraverso un filtro separato e indipendente in ogni singola posizione della frase per raffinarne il significato. Questa danza in due tempi ha servito bene il campo, ma è computazionalmente pesante, richiedendo al modello di eseguire una quantità massiccia di calcoli per ogni nuova parola che genera, specialmente man mano che il testo si allunga. I ricercatori hanno a lungo cercato un modo per combinare questi passaggi o snellirli, sperando di costruire modelli che siano sia più intelligenti che più efficienti, capaci di gestire enormi quantità di informazioni senza restare bloccati dal peso puro della matematica necessaria per l'elaborazione.

Un ricercatore dell'Indiana University Bloomington ha introdotto un nuovo approccio che rimodella fondamentalmente il modo in cui questi modelli interagiscono con il linguaggio. Chiamano la loro creazione TANGO, che sta per Token-Aggregated Nonlinear Gating Operators (Operatori di Gating Non Lineari Aggregati per Token). Invece di mantenere separati i passaggi di raccolta delle informazioni e di raffinamento delle informazioni, TANGO li fonde in un'unica azione unificata. In questo nuovo design, ogni parola in una frase funge da fonte di controllo. Mentre il modello legge, ogni parola genera un set specifico di istruzioni, o "gate" (cancelli), che determinano quanta importanza dare a diverse caratteristiche del testo. Quando il modello raggiunge una nuova parola, non si limita a guardare indietro per trovare le parole passate più rilevanti; guarda indietro per vedere quali istruzioni quelle parole passate hanno preparato. Successivamente, media queste istruzioni e le usa per scalare, o regolare, le caratteristiche della parola corrente prima di aggiungerle alla memoria del modello. Ciò significa che l'influenza di una parola passata non riguarda solo ciò che dice, ma anche come dice alla parola corrente di interpretare se stessa.

Il ricercatore ha sviluppato due versioni di questo sistema per testare diversi compromessi tra accuratezza e velocità. La prima, TANGO, esamina ogni singola parola che è venuta prima della parola corrente, indipendentemente da quanto lontano sia nel testo. Questo approccio "full-prefix" (prefisso completo) permette al modello di attingere all'intera cronologia della conversazione o del documento, risultando in una comprensione del contesto altamente accurata. Tuttavia, poiché deve confrontare la parola corrente con ogni singola parola precedente, la quantità di lavoro che deve svolgere cresce rapidamente man mano che il testo si allunga. La seconda versione, chiamata WANGO, adotta un approccio più pratico per testi molto lunghi. Presta un'attenzione meticolosa alle parole più recenti, trattandole con la stessa cura dettagliata della cronologia completa del primo modello. Per le parole più vecchie che cadono al di fuori di una finestra recente, WANGO utilizza un metodo diverso e più efficiente per riassumere la loro influenza. Mantiene un conteggio corrente delle istruzioni generate da quelle parole più vecchie, permettendole di incorporare la loro saggezza senza dover ricalcolare la relazione con ognuna di esse. Questa modifica fa sì che il carico di lavoro del modello Wango cresca in linea retta man mano che il testo si allunga, anziché esplodere in complessità, rendendolo molto più veloce per sequenze lunghe.

Per vedere come questi nuovi design si sarebbero comportati rispetto alla tecnologia esistente, il ricercatore ha addestrato sei modelli diversi utilizzando esattamente la stessa quantità di dati, lo stesso numero di parametri e lo stesso programma di addestramento. Ha testato questi modelli su tre sfide molto diverse: una grande collezione di testi web educativi, una biblioteca di dimostrazioni matematiche formali scritte in un linguaggio chiamato Lean, e una serie di problemi matematici di DeepMind. I risultati hanno mostrato che il modello TANGO, con la sua visione della cronologia completa, ha raggiunto l'accuratezza più elevata in tutti e tre i test, producendo le previsioni più affidabili per la parola successiva in una sequenza. Ha superato tutti gli altri modelli, inclusi quelli che utilizzano i metodi tradizionali di condivisione dei parametri tra i livelli. Il modello Wango si è comportato eccezionalmente bene, in particolare nella categoria dei modelli progettati per l'efficienza. Tra le architetture in grado di gestire testi lunghi senza che il loro costo computazionale decolli, Wango ha prodotto i risultati più accurati. Ha persino battuto un modello che utilizzava una quantità simile di calcolo ma si basava su tecniche standard più datate.

Lo studio evidenzia un cambiamento significativo nel modo in cui questi sistemi possono essere costruiti. Permettendo alle parole di controllare l'elaborazione di altre parole attraverso questi gate aggregati, il ricercatore ha trovato un modo per creare modelli che siano sia potenti che, nel caso di Wango, efficienti. Il modello TANGO ha dimostrato che un singolo passaggio unificato per la raccolta e il raffinamento delle informazioni può superare le prestazioni del tradizionale processo in due fasi, anche quando il modello è costretto a svolgere più lavoro matematico. Nel frattempo, il modello Wango ha provato che questo alto livello di prestazione non deve necessariamente arrivare al costo della velocità; riassumendo l'informazione più vecchia in modo intelligente, ha mantenuto un'alta accuratezza mantenendo al contempo il costo computazionale gestibile. Il ricercatore è stato attento a sottolineare che queste scoperte si basano sulla capacità dei modelli di prevedere la parola successiva in una sequenza, una misura standard della comprensione del linguaggio, e non hanno sostenuto che i modelli possano necessariamente risolvere i problemi matematici o scrivere le dimostrazioni perfettamente da soli. Tuttavia, i risultati suggeriscono che questo nuovo modo di gestire l'informazione tramite gating offre una strada promettente per costruire un'IA capace di comprendere il linguaggio complesso e i contesti lunghi con maggiore precisione ed efficienza.

Riepilogo Tecnico: TANGO e WANGO

Problematica

Le architetture Transformer standard separano l'interazione cross-token (gestita dalla self-attention) dalla trasformazione non lineare per posizione (gestita dalle reti feed-forward). Questa separazione richiede due sottolivelli distinti per ogni blocco. Sebbene efficace, questo design può risultare subottimale per l'efficienza e l'utilizzo dei parametri. Inoltre, i modelli di sequenza esistenti a complessità lineare spesso si affidano ad approssimazioni che possono sacrificare la ricchezza dell'interazione cross-token o richiedere meccanismi di gating complessi che non integrano pienamente la trasformazione non lineare con il meccanismo di attenzione.

Metodologia

Architettura Core: Operatori di Gating Non Lineare Aggregati per Token (TANGO)

Il documento introduce TANGO, un blocco decoder che sostituisce i classici sublivelli di self-attention e feed-forward con un singolo aggiornamento residuo gated cross-token.

Gating SwiGLU Condizionato dalla Sorgente:
- A differenza di un convenzionale SwiGLU (Swish-Gated Linear Unit) dove un gate e le feature sono calcolati dallo stesso token, TANGO permette a un gate calcolato in una posizione di sorgente ( $x_j$ ) di modulare le feature proiettate in una posizione di destinazione ( $x_i$ ).
- Ogni posizione $i$ produce un vettore di gate $g_i = \text{SiLU}(W_g x_i)$ e un vettore di feature proiettato $v_i = W_v x_i$ .
- Per una destinazione $i$ , il modello calcola una media ponderata dipendente dal contenuto dei vettori di gate provenienti da tutte le sorgenti causalmente visibili ( $j \le i$ ), denotata come $\bar{g}_i$ .
- L'aggiornamento residuo è calcolato come:
  $h^+_i = h_i + W_o(\bar{g}_i \odot v_i)$
- Qui, il gate aggregato $\bar{g}_i$ agisce come un operatore di scalatura diagonale sulle feature proiettate della destinazione $v_i$ prima della proiezione finale dell'output $W_o$ .
Meccanismi di Aggregazione dei Pesi:
Il documento propone due varianti che differiscono nel modo in cui viene calcolato il peso per l'aggregazione dei gate di sorgente:
- TANGO (Full-Prefix): Calcola i pesi softmax basandosi su similitudini del coseno scalate tra ogni destinazione e ogni sorgente causalmente visibile. Ciò comporta una complessità quadratica ( $O(T^2)$ ) rispetto alla lunghezza della sequenza $T$ .
- WANGO (Aggregazione a Finestra): Una variante a complessità lineare ( $O(T)$ $O (T)$ per dimensioni di finestra/feature fisse).
  - Sorgenti Recenti (Finestra): Utilizza gli stessi punteggi di similarità del coseno esponenziale come TANGO per le sorgenti all'interno di una finestra di coda $L_i$ .
  - Sorgenti Più Vecchie (Prefix): Utilizza una mappa di feature positiva deterministica $\phi(u)$ per calcolare i punteggi. Ciò consente al modello di mantenere somme correnti di chiavi trasformate e dei loro prodotti esterni con i vettori di gate. Il contributo delle sorgenti più vecchie è calcolato tramite queste somme correnti, evitando la necessità di rivalutare tutte le coppie passate.

Configurazione Sperimentale

L'autore confronta TANGO e WANGO con quattro baseline:

Recurrent Transformer++: Un blocco Transformer standard riutilizzato quattro volte con parametri condivisi.
Untied Transformer++: Quattro blocchi con parametri indipendenti.
Full-attention GAU (Gated Attention Unit): Quattro blocchi indipendenti che combinano l'attenzione pairwise completa.
FLASH: Quattro blocchi indipendenti che combinano l'attenzione pairwise locale con un riepilogo globale a attenzione lineare.

Vincoli:

Tutti i modelli sono accoppiati per numero di parametri non relativi all'embedding (circa 44,3M di parametri distinti).
I modelli sono addestrati con ordini di dati, seed di inizializzazione e budget di addestramento identici.
Gli esperimenti sono condotti su FineWeb-Edu (linguaggio naturale), Lean (dimostrazioni formali e codice sorgente) e DeepMind Mathematics.
I confronti sono effettuati sia con applicazioni sequenziali a 4 che a 8 blocchi.

Contributi Chiave

Modello TANGO: Introduce un blocco unificato che sostituisce le reti di self-attention e feed-forward con un singolo aggiornamento gated dove i token di sorgente producono gate SwiGLU che modulano le feature di destinazione.
Modello WANGO: Sviluppa una variante a complessità lineare che mantiene le interazioni pairwise esatte all'interno di una finestra locale e utilizza le somme prefix di mappe di feature per le sorgenti più vecchie, mantenendo la stessa parametrizzazione di TANGO.
Confronto Rigoroso: Fornisce un confronto controllato di sei architetture sotto conteggi di parametri, obiettivi di addestramento e ordinamento dei dati strettamente corrispondenti, isolando gli effetti del design architettonico dalla varianza dell'addestramento.

Risultati

Prestazioni sui Benchmark

FineWeb-Edu:
- TANGO ha ottenuto il valore medio di Negative Log-Likelihood (NLL) di validazione più basso in assoluto (3.293).
- WANGO ha ottenuto il NLL più basso tra tutte le architetture con scalabilità della lunghezza della sequenza lineare (3.355), superando sia FLASH (3.465) che Recurrent Transformer++ (3.392).
- Notevolmente, Wango ha ottenuto un NLL inferiore a Recurrent Transformer++ a un conteggio di moltiplicazioni-accumuli (MAC) del passaggio forward analitico quasi identico (1.90T vs 1.94T per una sequenza di 8.192 token).
Lean (Codice Sorgente e Completamento di Dimostrazioni):
- TANGO ha ottenuto il NLL congiunto più basso (1.719) e il NLL più basso sia per la modellazione del codice sorgente che per il completamento delle dimostrazioni separatamente.
- WANGO (2.271) ha superato FLASH (2.377) ma non ha superato Recurrent Transformer++ (2.530) nell'esperimento a 4 blocchi; tuttavia, nell'esperimento a 8 blocchi, WANGO (2.231) ha superato Recurrent Transformer++ (2.364).
DeepMind Mathematics:
- TANGO ha ottenuto il NLL di validazione più basso (0.473).
- WANGO (0.487) è stato migliore di Recurrent Transformer++ (0.537) e Untied Transformer++ (0.556).

Complessità Computazionale

TANGO: Quadratica nella lunghezza della sequenza ( $O(T^2)$ ). Per una sequenza di 8.192 token, richiede circa 9.44T MAC.
WANGO: Lineare nella lunghezza della sequenza ( $O(T)$ ) per dimensioni fisse. Per la stessa sequenza, richiede circa 1.90T MAC.
Recurrent Transformer++: Complessità quadratica ma con meno MAC rispetto a TANGO (~1.94T) a causa della condivisione dei parametri e della mancanza di aggregazione di gating cross-token completa.

Significato e Rivendicazioni

Il documento afferma che TANGO raggiunge lo stato dell'arte della verosimiglianza di validazione tra le architetture testate in compiti di linguaggio naturale, codice formale e ragionamento matematico al livello di parametri valutato.

L'autore sottolinea che WANGO dimostra che i modelli a complessità lineare possono superare le baseline a complessità quadratica (come Recurrent Transformer++) quando accoppiati per conteggi di operazioni analitiche e dimensione dei parametri, specificamente su FineWeb-Edu. In particolare, la capacità di WANGO di aggregare i gate SwiGLU tramite somme correnti gli consente di mantenere alte prestazioni con scalabilità lineare.

L'autore dichiara esplicitamente i limiti delle proprie affermazioni:

I risultati si basano sul NLL di validazione sotto teacher forcing e non misurano l'accuratezza della risposta generata, i tassi di accettazione delle prove o la velocità di addestramento (wall-clock time).
Gli esperimenti non stabiliscono leggi di scala oltre il numero di parametri testato (circa 70M di parametri totali).
Il NLL inferiore di TANGO non deve essere interpretato come un vantaggio di velocità o memoria, poiché comporta costi computazionali significativamente più elevati rispetto a WANGO o Recurrent Transformer++.

In sintimento, il documento presenta un nuovo blocco architettonico che unifica l'attenzione e i feed-forward attraverso il gating cross-token, dimostrando che questo approccio produce una verosimiglianza predittiva superiore, con una variante a complessità lineare (WANGO) che offre un'alternativa competitiva per applicazioni a lungo contesto.