mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling

1. Il Problema

La modellazione di sequenze a multi-scala temporale richiede la capacità di catturare sia dinamiche locali rapide (alta frequenza) sia contesti globali lenti (lunga dipendenza temporale). Tuttavia, implementare questa capacità su dispositivi edge (come microcontrollori o sistemi embedded) presenta una sfida aperta: i vincoli di memoria sono estremamente rigidi.

• Limiti degli attuali modelli SotA (State-of-the-Art):
  • I modelli basati su Trasformatori e TCN (Temporal Convolutional Networks) gestiscono bene le dipendenze multi-scala, ma il loro footprint di memoria cresce linearmente con la lunghezza della sequenza, rendendoli inadatti all'inferenza in tempo reale su dispositivi con memoria fissa.
  • Le RNN (come LSTM e GRU) offrono una memoria costante durante l'inferenza, ma spesso soffrono di difficoltà nell'apprendere dipendenze a lunghissimo raggio e sono inefficienti nell'addestramento.
  • I moderni Modelli a Spazio di Stato (SSM) (es. S4, Mamba) sono efficienti ma tendono ad avere un bias verso le basse frequenze, faticando a modellare dinamiche rapide, e spesso richiedono parametri in precisione complessa o ad alta precisione numerica, riducendo la compatibilità hardware.

Non esiste attualmente un modello che soddisfi contemporaneamente i vincoli di memoria stretti dei sistemi embedded e la capacità di modellare efficacemente sia dipendenze a breve che a lungo termine.

2. Metodologia: Architettura mGRADE

Gli autori propongono mGRADE (minimally Gated Recurrent Architecture with Delay Embedding), un'architettura ibrida di memoria progettata per essere leggera e causalmente efficiente.

L'architettura combina due componenti principali all'interno di ogni strato:

1. Convoluzione Temporale con Spaziature Apprendibili (DCLS):
   • Basata sul framework Dilated Convolutions with Learnable Spacings.
   • Invece di utilizzare spazi fissi (dilation) tra i filtri, mGRADE impara le posizioni temporali (ritardi) dei pesi del kernel.
   • Funzione Teorica: Questa componente agisce come un embedding di ritardo (delay embedding). Secondo il Teorema di Takens, permette di ricostruire la geometria di un sistema dinamico sottostante a partire da osservazioni parziali, catturando efficacemente le dinamiche a breve termine e le caratteristiche ad alta frequenza con un numero ridotto di parametri.
2. Componente Ricorrente con Gate Minimale (minGRU):
   • Utilizza una versione semplificata e parallelizzabile della GRU (Gated Recurrent Unit), nota come minGRU.
   • Rimuove la dipendenza del gate di aggiornamento dallo stato nascosto precedente, permettendo il calcolo parallelo tramite prefix scan.
   • Funzione Teorica: Gestisce le dipendenze a lungo raggio mantenendo uno stato nascosto di dimensione fissa. Il gate seleziona quali informazioni conservare, permettendo di comprimere storie temporali arbitrarie in uno stato di dimensione costante senza scalare la memoria.

Flusso di Elaborazione:
L'input passa attraverso un encoder, poi attraverso uno stack di strati mGRADE (ognuno contenente: convoluzione DCLS, minGRU, MLP e normalizzazione), e infine un decoder. Il modello è completamente causale, permettendo l'elaborazione in streaming.

3. Contributi Chiave

1. Nuova Architettura Ibrida: Integrazione di una convoluzione con spaziature temporali apprendibili e una ricorrenza gating minimale, progettata per mantenere un footprint di memoria costante indipendentemente dalla lunghezza della sequenza.
2. Fondamenta Teoriche:
   • Dimostrazione che le spaziature apprendibili nella convoluzione equivalgono a un embedding di ritardo, permettendo la ricostruzione diffeomorfa di sistemi dinamici (cattura delle dinamiche rapide).
   • Prova formale che l'architettura può modellare linguaggi "Flip-Flop" (che richiedono memoria a lungo termine selettiva), cosa impossibile per modelli puramente convoluzionali o SSM lineari senza gate dipendenti dall'input.
3. Efficienza Empirica: Dimostrazione che mGRADE raggiunge prestazioni competitive riducendo il footprint di memoria fino a 8 volte rispetto ai modelli SotA, mantenendosi entro i limiti di memoria on-chip di dispositivi edge reali (es. STM32N6).

4. Risultati Sperimentali

Il modello è stato valutato su benchmark standard e task specifici per l'edge:

• Long-Range Arena (LRA): mGRADE ottiene accuratezze competitive su task di testo, immagini e pathfinding.
  • Su ListOps, raggiunge un'accuratezza entro lo 0.9% del modello SotA Liquid-S4, ma con 7 volte meno parametri.
  • Su Pathfinder, supera i modelli di dimensioni simili (es. HGRN) con un'accuratezza superiore dell'8%, utilizzando buffer di attivazione 8 volte più piccoli.
  • È l'unico modello che rientra nei 4MB di memoria on-chip del microcontrollore STM32N6 per tutti i task LRA.
• Google Speech Commands (GSC): Classificazione audio grezza (35 classi).
  • mGRADE raggiunge un'accuratezza del 94.7% (causale), entro il 2.1% di Liquid-S4, ma con il 10% in meno di parametri e operazioni esclusivamente in virgola mobile reale (evitando l'aritmetica complessa).
• Task Sintetici (Flip-Flop e Selective Copying):
  • mGRADE risolve quasi perfettamente il task Flip-Flop (99.6% di accuratezza), dimostrando una capacità di memoria selettiva a lungo termine che TCN e SSM lineari (come LRU) non possiedono.
  • Supera i modelli puramente ricorrenti (minGRU) e convoluzionali (TCN) nei task che richiedono sia memoria a breve che a lungo termine.
• Dataset Neuromorfico (SHD): Su un dataset di riconoscimento vocale basato su spike, mGRADE ottiene un'accuratezza del 93.77% con 3 volte meno parametri rispetto ai modelli SNN (Spiking Neural Networks) di riferimento, confermando l'efficienza in ambienti a risorse estremamente limitate.

5. Significato e Impatto

Il lavoro di mGRADE colma un divario critico nell'elaborazione delle sequenze per l'Edge AI.

• Efficienza di Memoria: Risolve il compromesso tra capacità di modellazione e vincoli di memoria, permettendo l'esecuzione di modelli complessi su hardware embedded senza bisogno di memoria esterna (che è lenta e costosa in termini energetici).
• Versatilità Temporale: A differenza dei modelli precedenti che erano specializzati o in dinamiche rapide (TCN) o in memoria a lungo termine (RNN/SSM), mGRADE gestisce nativamente entrambe le scale temporali grazie alla sua architettura ibrida.
• Implementabilità Reale: La capacità di funzionare con precisione ridotta e di adattarsi a hardware come STM32N6 apre la strada a nuove applicazioni in tempo reale per fusione sensoriale, controllo autonomo e riconoscimento vocale su dispositivi IoT, senza la necessità di cloud computing.

In sintesi, mGRADE rappresenta un passo avanti fondamentale verso l'elaborazione temporale avanzata e multi-scala direttamente sui dispositivi periferici, combinando rigore teorico (embedding di ritardo e gate selettivi) con un'efficienza pratica senza precedenti.