R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

Sintesi Tecnica: R2DN: Parametrizzazione Scalabile di Reti Deep Ricorrenti Contrattive e Lipschitziane

Definizione del Problema
Le reti neurali profonde (DNN), in particolare le reti neurali ricorrenti (RNN), hanno ottenuto un successo significativo nella modellazione di sistemi dinamici. Tuttavia, le DNN standard sono spesso sensibili alle perturbazioni degli input, portando a un comportamento fragile e instabile nelle applicazioni di controllo. Sebbene siano state proposte architetture come la Recurrent Equilibrium Network (REN) per garantire la stabilità interna (contrazione) e la robustezza input-output (continuità di Lipschitz tramite parametrizzazione diretta), esse soffrono di un collo di bottiglia computazionale critico. Le REN richiedono la soluzione iterativa di uno strato di equilibrio implicito ad ogni passo temporale durante l'inferenza e la backpropagation. Questo processo è computazionalmente costoso, ostacola la scalabilità sulle architetture GPU progettate per il parallelismo e limita le dimensioni fattibili del modello, della dimensione del batch e della lunghezza della sequenza.

Metodologia
Gli autori propongono la Robust Recurrent Deep Network (R2DN), una parametrizzazione scalabile che mantiene le garanzie di stabilità e robustezza delle REN eliminando al contempo l'overhead computazionale degli strati impliciti. La R2DN è costruita come l'interconnessione di feedback di un sistema Lineare Tempo-Invariante (LTI) e di una rete feedforward profonda 1-Lipschitziana.

La modifica architettonica principale prevede due cambiamenti chiave alla struttura della REN:

1. Eliminazione dello Strato di Equilibrio: Il termine di feedthrough ($D_{11}$) nel sistema LTI viene impostato a zero. Ciò rimuove l'equazione implicita $w_t = \sigma(D_{11}w_t + \dots)$, permettendo lo stato della rete di essere calcolato esplicitamente anziché iterativamente.
2. Non linearità Scalabile: La funzione di attivazione scalare $\sigma$ utilizzata nelle REN viene sostituita da una rete feedforward profonda 1-Lipschitziana generale $\phi_g$ (ad esempio, MLP, CNN, ResNet).

Il documento fornisce una parametrizzazione diretta per queste reti, mappando i parametri apprendibili $\theta$ direttamente in pesi e bias tali che il modello risultante sia garantito essere:

• Contrattivo: Assicurando che gli stati interni dimentichino le condizioni iniziali esponenzialmente, indipendentemente dal punto di equilibrio specifico.
• Robusto rispetto a Lipschitz: Soddisfacendo vincoli integrali quadratici incrementali (IQC) per limitare la sensibilità dell'output alle perturbazioni dell'input.

La parametrizzazione si basa sulla costruzione delle matrici del sistema LTI ($A, B, C, D$) affinché soddisfino specifiche Disuguaglianze Lineari Matriziali (LMI) derivate dal teorema del piccolo guadagno e dalla teoria IQC. Nello specifico, gli autori derivano le condizioni in cui il sistema LTI ammette un IQC incrementale definito da $(Q, S, R)$, garantendo che l'interconnessione complessiva con la DNN 1-Lipschitziana rimanga stabile e robusta.

Contributi Chiave

• Innovazione Architetturale: L'introduzione di R2DN, che sostituisce lo strato di equilibrio implicito delle REN con una struttura esplicita, consentendo il calcolo diretto senza solver iterativi.
• Parametrizzazione Scalabile: Un metodo per parametrizzare R2DN contrattive e Lipschitziane che supporta arbitrarie architetture DNN 1-Lipschitziane, a differenza delle REN che sono limitate a specifiche strutture di attivazione scalari o feedthrough triangolari inferiori.
• Efficienza Computazionale: La rimozione dello strato di equilibrio permette alle R2DN di sfruttare il massiccio parallelismo sulle GPU, accelerando significativamente sia l'inferenza che la backpropagation rispetto alle REN.
• Garanzie Teoriche: Dimostrazione che la parametrizzazione proposta garantisce la contrazione e la soddisfazione dell'IQC incrementale per costruzione, senza richiedere solver di ottimizzazione vincolata.

Risultati
Gli autori hanno valutato le R2DN rispetto alle REN su tre compiti rappresentativi: identificazione di sistemi non lineari (dati di vibrazione del suolo F16), progettazione di osservatori non lineari per un PDE di reazione-diffusione e controllo feedback basato sull'apprendimento.

• Velocità: L'addestramento e l'inferenza per le R2DN sono risultati essere fino a un ordine di grandezza più veloci rispetto alle REN. L'accelerazione è attribuita all'eliminazione della risoluzione iterativa dell'equilibrio, il che è particolarmente vantaggioso per simulazioni a lungo orizzonte e grandi dimensioni di batch.
• Prestazioni: Nonostante la semplificazione architettonica e i guadagni di velocità, le R2DN hanno raggiunto prestazioni sul set di test simili (perdita e metriche di errore) alle REN in tutti e tre i compiti.
• Scalabilità: Gli esperimenti sull'espressività del modello hanno mostrato che, mentre il tempo di calcolo per le REN aumenta rapidamente con la complessità del modello, le R2DN scalano molto più favorevolmente, mantenendo bassi tempi di inferenza anche all'aumentare dell'espressività del modello.

Significatività e Rivendicazioni
Il documento sostiene che le R2DN offrono un'alternativa pratica e computazionalmente efficiente alle REN per la modellazione ricorrente robusta nel machine learning e nel controllo basato sui dati. Rimuovendo la necessità di risolvere equazioni implicite, le R2DN rendono fattibile la scalabilità della dimensione della rete, della dimensione del batch e della lunghezza della sequenza di input, cosa che prima era proibitiva con le REN. Gli autori sottolineano che questo approccio mantiene le forti garanzie teoriche di stabilità e robustezza, consentendo al contempo l'uso di moderne architetture DNN ad alta capacità (come Transformer o ResNet) all'interno di un framework ricorrente. Il lavoro suggerisce che le R2DN sono ben adatte ad applicazioni che richiedono l'inferenza frequente del modello su piccoli batch di input, come il controllo in tempo reale, dove l'overhead computazionale delle REN è un fattore limitante.

Il lavoro futuro identificato dagli autori include l'estensione della parametrizzazione per consentire un $D_{22}$ non nullo (feedthrough diretto dall'input all'output) nelle R2DN Lipschitziane e lo studio ulteriore della scalabilità di questi modelli in compiti di machine learning ad alta dimensionalità.