Sintesi Tecnica: Proprietà di Regolarità e Stabilità dei SSM Selettivi con Gating Discontinuo

Definizione del Problema

I Modelli State-Space Selettivi (SSM), come Mamba, sono diventati centrali per la modellazione di sequenze lunghe. Tuttavia, le loro proprietà di stabilità rimangono scarsamente comprese. A differenza dei sistemi classici Lineari Tempo-Invarianti (LTI) o dei sistemi non lineari regolari, i SSM selettivi presentano coefficienti dello spazio di stato ($A, B, C$) che sono modulati online da un segnale di gating dipendente dal token. Ciò crea un sistema che non è né LTI né un sistema non lineare classico, bensì un sistema ibrido con parametri discontinui e dipendenti dai dati. Le analisi esistenti spesso si concentrano sull'espressività o trattano la ricorrenza come un sistema dinamico fisso per ogni input, mancando di un resoconto energetico unificato su come questi modelli dimenticano le condizioni iniziali, immagazzinano energia o mantengono la stabilità sotto perturbazioni.

Metodologia

Gli autori affrontano il problema attraverso la lente della teoria del controllo classico, specificamente la passività, la dissipatività e la Stabilità Input-Stato (ISS). Una chiave innovazione concettuale è l'esplicita separazione di due segnali:

1. Segnale di Selezione ($x(\cdot)$): Programma la dinamica determinando le matrici tempo-varianti $A, B, C$.
2. Input di Pilotaggio ($u(\cdot)$): L'input di porta che pilota la dinamica e appare nella velocità di fornitura (supply rate).

Sebbene le architetture a gating per token impostino spesso $x \equiv u$, gli autori mantengono questa separazione per chiarire i quantificatori nelle analisi di passività e ISS.

Framework Teorico

Il documento analizza gli SSM selettivi in tempo continuo definiti da:
$$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$$
$$y(t) = C(\Delta(t), x(t))h(t)$$
dove $\Delta(t)$ è un segnale di gating ausiliario (tipicamente a costanza a tratti). L'analisi assume una regolarità $L^p_{loc}$ lieve, accogliendo le discontinuità introdotte dal gating.

Passaggi teorici chiave includono:

• Dissipatività Stretta: Stabilire le condizioni sotto le quali il sistema esibisce un dimenticanza esponenziale delle condizioni iniziali.
• Analisi della Selezione Congelata (Frozen-Selection): Congelando il segnale di selezione ($x(t) \equiv 0$) per rivelare un sottosistema Lineare Tempo-Variante (LTV) passivo. Sfruttando i risultati recenti di Morandin & Hinsen (2024), gli autori dimostrano che questo sottosistema ammette una funzione di accumulo quadratica minimale con regolarità Locally Absolutely Upper Semicontinuous (AUC$_{loc}$), anche sotto gating discontinuo.
• Accumulo Quadratico Universale: Investigare i vincoli strutturali imposti se una singola funzione di accumulo quadratica deve certificare la passività attraverso tutti gli schemi di selezione ammissibili. Ciò conduce a una Disuguaglianza Lineare Matriciale (LMI) parametrica e al concetto di "dimenticanza irreversibile" (una volta che una direzione dello stato entra nel kernel della matrice di accumulo, non può più essere resa osservabile).
• ISS Globale: Derivare condizioni sufficienti per la Stabilità Input-Stato (ISS) globale rispetto all'input di pilotaggio $u(\cdot)$, uniformemente rispetto agli schemi di selezione.

Ponte Discreto e Regolarizzazione

Per rendere la teoria azionabile per le moderne architetture, gli autori traducono la LMI parametrica in tempo continuo in una LMI a blocchi campionata per la ricorrenza di scansione selettiva di Mamba.

• Derivano una disuguaglianza di dissipatività discreta a un passo.
• Definiscono un regolarizzatore differenziabile, $R_{LMI}$, che penalizza il più grande autovalore positivo della matrice a blocchi campionata $L_k(P, \beta)$ ad ogni passo di token.
• Questo regolarizzatore viene integrato nel ciclo di addestramento di un'architettura reale basata su Mamba (SST) come vincolo morbido (soft constraint).

Contributi Chiave

1. Modello a Due Segnali: Una formulazione pulita degli SSM selettivi che separa il segnale di selezione dall'input di porta, consentendo un'analisi rigorosa di passività e ISS.
2. Dimenticanza Esponenziale: Una prova formale che la dissipatività stretta ($\beta > 0$) combinata con i limiti quadratici implica il decadimento esponenziale delle traiettorie omogenee, uniformemente sugli schemi di selezione ammissibili.
3. Struttura Energetica Canonica: Dimostrazione che il sottosistema a selezione congelata possiede una funzione di accumulo quadratica minimale con regolarità AUC$_{loc}$. Ciò fornisce una giustificazione basata sull'energia per inizializzazioni principi come HiPPO.
4. Vincoli Strutturali e Dimenticanza Irreversibile: Sotto l'ipotesi di accumulo quadratico universale, gli autori derivano una LMI parametrica e dimostrano che il rango della matrice di accumulo è non crescente. Questo formalizza la "dimenticanza irreversibile": le direzioni dello stato scartate dalla struttura energetica non possono essere recuperate dal meccanismo di gating.
5. Condizioni ISS Globali: Condizioni sufficienti per la stabilità globale rispetto agli input di pilotaggio, uniformemente sugli schemi di selezione.
6. Regolarizzatore LMI Discreto: Un regolarizzatore pratico e differenziabile derivato dalla teoria del tempo continuo, applicabile al nucleo della scansione selettiva di Mamba.
7. Validazione Empirica: Valutazione estesa su sette dataset di serie temporali e quattro orizzonti di previsione, dimostrando la capacità del regolarizzatore di ridurre le violazioni LMI senza degradare l'accuratezza sui dati puliti (clean accuracy).

Risultati

La valutazione empirica è stata condotta sull'architettura SST (un mix routato di Mamba e attenzione a corto raggio) su 28 coppie dataset-orizzonte (ETTh1/2, ETTm1/2, weather, electricity, traffic).

• Riduzione della Violazione LMI: Il regolarizzatore LMI discreto ha ridotto la violazione media della LMI del nucleo Mamba campionato di circa il 92% (da 0.0358 a 0.0029) in tutte le 28 coppie.
• Accuratezza Clean: La riduzione delle violazioni LMI è avvenuta con un costo trascurabile in termini di MSE "clean", con una differenza inferiore allo 0.018% rispetto al baseline non regolarizzato.
• Ablazione della Conservatività: Sostituire la matrice di accumulo identità fissa ($P=I$) con una matrice diagonale apprendibile ($P=\text{diag}(q)$) ha prodotto un miglioramento Pareto-dominante (minori violazioni, stessa accuratezza) in tutte le 28 coppie, confermando la flessibilità del framework.
• Robustezza alle Perturbazioni: Sotto perturbazioni iniettate (rumore gaussiano, spike, maschere, ecc.), il regolarizzatore ha migliorato le diagnostiche interne del nucleo Mamba (riducendo le violazioni LMI di ~60% e le norme di stato di ~3.4%). Tuttavia, non ha prodotto un miglioramento misurabile nella robustezza della previsione MSE. Gli autori notano esplicitamente questo come un "negativo onesto", attribuendolo al fatto che il regolarizzatore vincola solo il nucleo Mamba, mentre la rete circostante (normalizzazione, residui, routing) assorbe gli effetti della perturbazione sull'output finale.
• Stabilità del Router: Un'ablazione che tentava di apprendere uno schema di routing consapevole dell'energia (penalizzando l'uso di Mamba quando le violazioni LMI locali sono elevate) ha prodotto un esito neutro. Sebbene i pesi di Mamba siano stati leggermente spinti verso il basso, la correlazione tra il peso di Mamba e la violazione LMI era essenzialmente zero, suggerendo che l'addestramento su dati puliti non induce un routing consapevole dell'energia.

Significato e Rivendicazioni

Il documento si pone come un ponte tra la teoria del controllo classico e le moderne architetture di deep learning. La sua importanza risiede in:

• Chiarezza Teorica: Fornire un resoconto unificato basato sull'energia per gli SSM selettivi, andando oltre la diagnostica degli esponenti di Lyapunov verso proprietà strutturali come la passività e l'ISS.
• Giustificazione delle Inizializzazioni: Offrire una spiegazione teorica del perché le inizializzazioni come HiPPO sono efficaci (forniscono un paesaggio energetico quadratico ben condizionato).
• Strumenti Pratici: Introdurre un regolarizzatore a basso costo e differenziabile che può essere inserito nei pipeline di addestramento esistenti per imporre la stabilità strutturale sul nucleo SSM.
• Inquadramento Onesto: Gli autori sono espliciti riguardo ai limiti delle loro rivendicazioni. Non affermano che il regolarizzatore certifichi la passività dell'intera rete profonda, né che garantisca miglioramenti della robustezza MSE da solo. Inquadrano i risultati come una "sostanziale riduzione della violazione" piuttosto che una "passività certificata", e riconoscono che il divario tra la stabilità del nucleo e la robustezza end-to-end rimane una direzione di ricerca aperta.

In sintforia, il lavoro traduce con successo le garanzie della teoria del controllo in tempo continuo in un criterio di addestramento verificabile e differenziabile per gli SSM selettivi, dimostrando che tali vincoli strutturali possono essere imposti con un costo di accuratezza trascurabile, migliorando significativamente le diagnostiche di stabilità interna.