RotRNN: Modelling Long Sequences with Rotations

Sintesi Tecnica: RotRNN – Modellare Sequenze Lunghe con le Rotazioni

Problematica
La modellazione di sequenze lunghe rimane un dominio complesso nel machine learning a causa della difficoltà nel catturare dipendenze a lungo raggio. Mentre i Transformer soffrono di una scalabilità computazionale quadratica e di bias induttivi scarsi, e le RNN non lineari lottano con il problema del vanishing e dell'exploding gradient, recenti modelli State Space (SSM) e Linear Recurrent Units (LRU) hanno raggiunto prestazioni allo stato dell'arte. Tuttavia, questi modelli presentano dei significativi svantaggi:

1. Inizializzazione Complessa: Gli SSM come S4 si affidano a intricate derivazioni teoriche (ad esempio, l'inizializzazione HiPPO basata su proiezioni polinomiali ottimali) che non sono ben comprese durante il processo di addestramento.
2. Discrepanza tra Implementazione e Teoria: L'LRU, pur essendo concettualmente più semplice, non riflette pienamente la sua motivazione teorica nella pratica. Nello specifico, non riesce a imporre coppie coniugate per gli autovalori di matrici reali, manca di vincoli per garantire output a valori reali e si affida a un normalizzatore appreso che non garantisce costanti magnitudini dello stato nascosto durante l'addestramento.
3. Stabilità: I metodi esistenti spesso richiedono schemi di normalizzazione complessi o procedure di inizializzazione che potrebbero non essere robusti attraverso diverse profondità e seed casuali.

Metodologia
Gli autori propongono RotRNN (Rotational Recurrent Neural Network), un modello ricorrente lineare che parametrizza la matrice dello stato ricorrente $A$ come una matrice di rotazione. La metodologia si basa su tre pilastri fondamentali:

1. Parametrizzazione tramite Matrici di Rotazione:
   Invece di apprendere direttamente una matrice vincolata, RotRNN apprende una matrice di peso generale $M$ e la mappa al gruppo speciale ortogonale $SO(N)$ utilizzando l'esponenziale di matrice di una matrice antisimmetrica ($A = \exp(M - M^\top)$). Ciò assicura che $A$ rimanga una matrice di rotazione valida durante tutto l'addestramento.
   Per consentire un calcolo efficiente delle potenze della matrice (necessario per la forma convoluzionale della ricorrenza lineare), gli autori decompongono la matrice di rotazione $A$ in una forma a blocchi diagonali: $A = P \Theta P^\top$. Qui, $P$ è una matrice ortogonale e $\Theta$ consiste in blocchi di rotazione $2\times2$ definiti da angoli $\theta_i$. Questa struttura permette il calcolo rapido di $A^k$ senza costose operazioni su matrici dense.

2. Normalizzazione Principiata:
   Sfruttando l'ortogonalità delle matrici di rotazione (dove gli autovalori giacciono sul cerchio unitario), gli autori derivano una procedura di normalizzazione che mantiene una norma costante dello stato nascosto atteso ($E[\|x_t\|^2] = c$) durante l'addestramento.
   La ricorrenza è definita come $x_t = \gamma A x_{t-1} + \xi B u_t$, dove $\gamma$ è un fattore di decadimento scalare apprendibile e $\xi$ è un coefficiente di riscalamento derivato per soddisfare la condizione di norma costante. A differenza dell'LRU, la normalizzazione di RotRNN è valida per tutti i timestep, impedendo il decadimento esponenziale dei primi input spesso osservato quando le costanti di normalizzazione vengono elevate alla potenza di $t$.

3. Architettura Multi-Head:
   Per affrontare il limite di un singolo fattore di decadimento scalare $\gamma$ (che potrebbe non generalizzare bene a compiti che richiedono diversi orizzonti di memoria), RotRNN impiega $H$ teste indipendenti a bassa dimensionalità. Ogni testa opera con la propria matrice di rotazione $A^{(h)}$, matrice di input $B^{(h)}$ e fattore di decadimento $\gamma^{(h)}$. Gli output vengono concatenati e mescolati linearmente, permettendo al modello di catturare dipendenze a molteplici scale.

Contributi Chiave

• Nuovo Strato RNN Lineare: La proposta di uno strato ricorrente in cui la matrice di stato è parametrizzata come una rotazione, garantendo che l'algoritmo rimanga fedele alla sua motivazione teorica durante l'addestramento.
• Calcolo Efficiente: Un metodo per calcolare potenze di matrici parametriche di rotazione in modo efficiente tramite la decomposizione in forme a blocchi diagonali, abilitando una rapida ricorrenza lineare.
• Normalizzazione Robusta: Una derivazione principesca di una procedura di normalizzazione che mantiene una magnitudo costante dello stato nascosto atteso, offrendo garanzie di stabilità più forti rispetto ai lavori precedenti che si basano sulla convergenza asintotica.
• Insight Teorico: Una derivazione che mostra l'equivalenza matematica tra un caso speciale dell'LRU (dove gli autovalori formano coppie coniugate) e la multi-head RotRNN, fornendo potenzialmente luce sulla meccanica interna dell'LRU.

Risultati
Gli autori hanno valutato RotRNN su diversi benchmark di modellazione di sequenze lunghe:

• Long Range Arena (LRA): RotRNN ha dimostrato prestazioni competitive contro modelli ricorrenti lineari allo stato dell'arte (S4, S5, LRU). Ha ottenuto i punteggi più alti tra i baseline nei compiti con input discreti come ListOps, Text (IMDB) e Retrieval. Tuttavia, è risultato leggermente inferiore ad alcuni baseline nei compiti di immagine a livello di pixel (Path-X, CIFAR).
• Speech Commands: Nel compito di classificazione Speech Commands a 35 vie, RotFFN ha ottenuto prestazioni identiche all'LRU riprodotto (accuratezza del 95,2%) con un numero di parametri simile, rimanendo competitivo con modelli deep state space più complessi.
• Analisi della Stabilità: L'analisi empirica delle norme dello stato nascosto sul dataset ListOps ha rivelato che RotRNN mantiene una magnitudo quasi costante attraverso l'addestramento, la profondità dello strato e i seed casuali. Al contrario, l'LRU ha mostrato variazioni selvagge nelle norme dello stato nascosto e ha impiegato significativamente più tempo per convergere a una magnitudo stabile.

Significatività e Rivendicazioni
Il paper sostiene che RotRNN offra un'alternativa concettualmente semplice, efficiente e matematicamente fondata ai modelli ricorrenti lineari esistenti. La sua principale significatività risiede nel colmare il divario tra motivazione teorica e implementazione pratica. Utilizzando le matrici di rotazione, RotRNN evita gli schemi di inizializzazione complessi degli SSM e le inconsistenze di implementazione dell'LRU. Gli autori affermano che il loro modello fornisce una procedura di normalizzazione robusta che garantisce la stabilità senza fare affidamento su inizializzazioni "black box", ottenendo al contempo prestazioni competitive su benchmark standard. Inoltre, il lavoro suggerisce che vedere l'LRU attraverso la lente delle strutture a blocchi basate sulla rotazione possa aiutare a chiarire la meccanica della ricorrenza lineare nei modelli precedenti.