Riassunto Tecnico: Sulle Architetture Subquadratiche: Dalle Applicazioni ai Principi

Definizione del Problema

I Transformer dominano attualmente la modellazione delle sequenze, ma soffrono di costi di attenzione quadratici, il che motiva lo sviluppo di alternative subquadratiche basate su meccanismi ricorrenti, state-space e di attenzione lineare. Sebbene i modelli fondativi ibridi stiano sostituendo sempre più gli strati di attenzione con operatori subquadratici (ad esempio, Samba, Nemotron Nano, Kimi Linear), rimane poco chiaro quali specifici design architettonici producano i modelli di sequenza più efficaci per compiti complessi. I confronti precedenti sono stati ampiamente limitati a benchmark standard di modellazione del linguaggio e ragionamento del senso comune, dove le differenze di prestazioni sono spesso marginali. Il documento affronta la mancanza di confronti diretti su domini di dati con dipendenze strutturate a lungo raggio, specificamente il codice e le serie temporali, dove si ipotizza che i bias induttivi architettonici divergano significativamente.

Metodologia

Gli autori impiegano una metodologia a tre pilastri: valutazione empirica su domini complessi, una formulazione teorica unificata ed esperimenti sintetici controllati.

1. Valutazione Empirica su Domini Complessi

Lo studio confronta tre architetture subquadratiche leader: xLSTM (Beck et al., 2024), Mamba-2 (Dao e Gu, 2024) e Gated DeltaNet (Yang et al., 2024b). Le valutazioni sono condotte in tre setting:

• Pre-addestramento focalizzato sul Codice: Modelli ibridi inter-strato da 400 milioni di parametri sono pre-addestrati su corpora di codice (Nemotron-CC-Code-v1). Le prestazioni sono misurate tramite HumanEval pass@k e benchmark di ragionamento (HellaSwag, PIQA, ecc.).
• Distillazione focalizzata sul Codice: Studenti subquadratici vengono distillati da un forte insegnante Transformer (Qwen3-4B-Instruct) utilizzando una pipeline di linearizzazione. Lo studio confronta le sostituzioni di matrici-stato plug-in (xLSTM [1:0] vs. Gated DeltaNet) sotto identiche ricette di inizializzazione e ottimizzazione.
• Pre-addestramento di Modelli Fondativi per Serie Temporali (TSFM): I modelli sono addestrati su un benchmark di previsione eterogeneo (GIFT-Eval) attraverso cinque scale di parametri (da 1M a 80M), isolando il backbone del mixer di sequenza pur mantenendo fissa la pipeline di previsione.

2. Formulazione Teorica Unificata

Per spiegare le differenze empiriche, gli autori derivano un framework unificato che esprime tutte e tre le architetture in termini di attenzione lineare con meccanismi di gating. Questa formulazione standardizza la notazione per scrivere, dimenticare, sovrascrivere e leggere dallo stato. L'analisi si concentra su due capacità primitive:

• Accumulazione: La capacità di sommare o contare su lunghezze illimitate.
• Tracciamento dello Stato (State Tracking): La capacità di eseguire aggiornamenti di stati finiti ordinati (ad esempio, parità, composizione di permutazioni).

3. Esperimenti Sintetici Controllati

Gli autori testano l'ipotesi che le differenze architettoniche derivino dalle capacità di accumulazione e tracciamento dello stato utilizzando task di generalizzazione della lunghezza. I modelli sono addestrati a una lunghezza di sequenza 128 e valutati a 128, 512 e 2048.

• Task di Accumulazione: Conteggio di maggioranza, AnBn, AnBnCn.
• Task di Tracciamento dello Stato: Parità, Aritmetica Modulare (Z5) e problemi di parole del gruppo simmetrico (S3).

Risultati Chiave

Prestazioni Empiriche

• Pre-addestramento del Codice: xLSTM [7:1] supera costantemente Mamba-2 e Gated DeltaNet in tutte le configurazioni di addestramento (20B e 100B token) e budget di campionamento (pass@k). Il margine è più pronunciato sulla generazione di codice (HumanEval), con xLSTM che migliora rispetto al secondo miglior backbone fino a 1,81 punti.
• Distillazione del Codice: Nel setting di distillazione, xLSTM [1:0] (mLSTM) raggiunge il punteggio medio pass@1 più alto attraverso quattro benchmark di codice, superando sia il Gated DeltaNet predefinito che la sua variante con autovalore negativo.
• Pre-addestramento di Serie Temporali: xLSTM [3:1] dimostra prestazioni superiori nella previsione zero-shot (MASE e CRPS) da 1M a 40M di parametri. A 80M di parametri, il divario si restringe, con Mamba-2 che guida leggermente su CRPS, ma xLSTM rimane competitivo.

Risultati Teorici e Sintetici

• Analisi Unificata: Gli autori identificano che Mamba-2 lega i suoi gate di input e di dimenticanza (simile a un GRU), limitandone l'espressività. Gated DeltaNet sovrascrive esplicitamente i vecchi valori, il che aiuta il recupero ma ostacola l'accumulazione. xLSTM separa l'attenzione lineare dello stato-matrice dagli aggiornamenti ricorrenti, permettendo una correzione flessibile della memoria tramite un gate di input esponenziale.
• Task Sintetici:
  • Mamba-2: Fallisce la generalizzazione sia nei task di accumulazione che in quelli di tracciamento dello stato oltre la lunghezza di addestramento.
  • Gated DeltaNet: La variante predefinita fallisce il tracciamento dello stato; la variante con autovalore negativo [−1, 1] risolve il tracciamento dello stato in-distribuzione ma fallisce la generalizzazione a sequenze più lunghe (l'accuratezza della Parità scende da 1,00 a 0,47 alla lunghezza 2048).
  • xLSTM: xLSTM [1:0] eccelle nell'accumulazione (conteggio) ma fallisce il tracciamento dello stato. L'ibrido xLSTM [1:1] combina con successo entrambi, ottenendo un tracciamento dello stato perfetto e una forte estrapolazione del conteggio.

Significato e Rivendicazioni

Il documento afferma che il vantaggio di xLSTM sui compiti di sequenza complessi deriva dalla sua capacità di combinare un robusto tracciamento dello stato con un'accumulazione di tipo conteggio.

• Meccanismo Architetturale: Gli autori sostengono che lo schema di gating di xLSTM consente una correzione della memoria più flessibile e stabile rispetto ai gate legati di Mamba-2 o alla sovrascrittura esplicita di Gated DeltaNet.
• Principio di Design: I risultati suggeriscono che, per domini complessi come il codice e le serie temporali, l'architettura ottimale è un ibrido che mantiene blocchi di accumulazione efficienti (attenzione lineare) come componente dominante, incorporando al contempo un numero minore di strati ricorrenti per supportare il tracciamento dello stato. Questo spiega il successo di configurazioni come xLSTM [7:1] e xLSTM [3:1].
• Ambito: I risultati sono presentati come il primo confronto diretto di questi specifici operatori attraverso i domini del codice e delle serie temporali, andando oltre i benchmark standard di modellazione del linguaggio per rivelare separazioni architettoniche più chiare.

Gli autori rimangono modesti riguardo ai limiti, notando che i loro esperimenti sul codice sono a una scala di 400 milioni di parametri e che gli esperimenti sulle serie temporali sono gli unici a includere un'intera scansione di scaling. Suggeriscono che estendere questi confronti a scale più grandi e ad ulteriori domini di dati sia un passo successivo necessario.