R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

Technische Samenvatting: R2DN: Schaalbare Parametrisatie van Contracterende en Lipschitz Recurrente Diepe Netwerken

Probleemstelling
Diepe neurale netwerken (DNN's), met name Recurrente Neurale Netwerken (RNN's), hebben aanzienlijk succes geboekt bij het modelleren van dynamische systemen. Echter, standaard DNN's zijn vaak gevoelig voor inputperturbaties, wat leidt tot broos gedrag en instabiliteit in controletoepassingen. Hoewel architecturen zoals het Recurrent Equilibrium Network (REN) zijn voorgesteld om interne stabiliteit (contractie) en input-output robuustheid (Lipschitz-continuïteit) te garanderen via directe parametrisatie, lijden zij aan een kritieke computationele bottleneck. REN's vereisen de iteratieve oplossing van een impliciete evenwichtslaag bij elke tijdstap tijdens inferentie en backpropagation. Dit proces is computationeel duur, belemmert de schaalbaarheid op GPU-architecturen die ontworpen zijn voor parallellisme, en beperkt de haalbare modelgrootte, batchgrootte en sequentielengte.

Methodologie
De auteurs stellen de Robust Recurrent Deep Network (R2DN) voor, een schaalbare parametrisatie die de stabiliteits- en robuustheidsgaranties van REN's behoudt terwijl de computationele overhead van impliciete lagen wordt geëlimineerd. De R2DN wordt geconstrueerd als de feedback-interconnectie van een Lineair Tijd-Invariant (LTI) systeem en een 1-Lipschitz deep feedforward netwerk (DNN).

De kern van de architecturale wijziging omvat twee belangrijke veranderingen ten opzichte van de REN-structuur:

1. Eliminatie van de Evenwichtslaag: De feedthrough-term ($D_{11}$) in het LTI-systeem wordt op nul gesteld. Dit verwijdert de impliciete vergelijking $w_t = \sigma(D_{11}w_t + \dots)$, waardoor de netwerktoestand expliciet in plaats van iteratief berekend kan worden.
2. Schaalbare Nietlineariteit: De scalaire activatiefunctie $\sigma$ die in REN's wordt gebruikt, wordt vervangen door een algemeen 1-Lipschitz deep feedforward netwerk $\phi_g$ (bijv. MLP's, CNN's, ResNets).

Het artikel biedt een directe parametrisatie voor deze netwerken, waarbij leerbare parameters $\theta$ direct worden in kaart gebracht naar gewichten en biases, zodanig dat het resulterende model gegarandeerd is:

• Contracterend: Dit zorgt ervoor dat interne toestanden initiële condities exponentieel vergeten, ongeacht het specifieke evenwichtspunt.
• Lipschitz-robuust: Het voldoet aan incrementele Integral Quadratic Constraints (IQC's) om de outputgevoeligheid voor inputperturbaties te begrenzen.

De parametrisatie berust op het construeren van de LTI-systeemmatrices ($A, B, C, D$) die voldoen aan specifieke Linear Matrix Inequalities (LMI's) afgeleid van de small-gain theorem en IQC-theorie. Specifiek leiden de auteurs condities af waarbij het LTI-systeem een incrementele IQC toelaat, gedefinieerd door $(Q, S, R)$, wat ervoor zorgt dat de totale interconnectie met de 1-Lipschitz DNN stabiel en robuust blijft.

Belangrijkste Bijdragen

• Architecturale Innovatie: De introductie van R2DN, die de impliciete evenwichtslaag van REN's vervangt door een expliciete structuur, wat directe berekening mogelijk maakt zonder iteratieve solvers.
• Schaalbare Parametrisatie: Een methode om contracterende en Lipschitz R2DN's te parametriseren die ondersteuning biedt voor willekeurige 1-Lipschitz DNN-architecturen, in tegen 달리 van REN's die beperkt zijn tot specifieke scalaire activatiestructuren of onder-triangulaire feedthroughs.
• Computationele Efficiëntie: De verwijdering van de evenwichtslaag stelt R2DN's in staat om massale parallellisme op GPU's te benutten, wat zowel de inferentie als de backpropagation aanzienlijk versnelt vergeleken met REN's.
• Theoretische Garanties: Bewijs dat de voorgestelde parametrisatie contractie en het voldoen aan de incrementele IQC waarborgt door constructie, zonder dat constrained optimization solvers nodig zijn.

Resultaten
De auteurs hebben R2DN's geëvalueerd tegenover REN's op drie representatieve taken: nonlinear system identification (F16 grondtrilling data), nonlinear observer design voor een reactie-diffusie PDE, en learning-based feedback control.

• Snelheid: Voor training en inferentie van R2DN's werd een snelheid gevonden die tot een orde van grootte sneller is dan die van REN's. De snelheidswinst wordt toegeschreven aan de eliminatie van het iteratieve oplossen van evenwichten, wat bijzonder gunstig is voor simulaties met lange horizonten en grote batchgroottes.
• Prestaties: Ondanks de architecturale vereenvoudiging en snelheidswinsten, bereikten R2DN's een vergelijkbare testset-prestatie (loss en foutmetrieken) als REN's over alle drie de taken.
• Schaalbaarheid: Experimenten naar modelexpressiviteit toonden aan dat terwijl de rekentijd voor REN's snel toeneemt met de modelcomplexiteit, R2DN's veel gunstiger schalen en lage inferentietijden behouden, zelfs naarmate de modelexpressiviteit toeneemt.

Betekenis en Claims
Het artikel claimt dat R2DN's een praktisch, computationeel efficiënt alternatief bieden voor REN's voor robuuste recurrente modellering in machine learning en data-gedreven controle. Door de vereiste om impliciete vergelijkingen op te lossen te verwijderen, maken R2DN's het mogelijk om de netwerkgrootte, batchgrootte en inputsequentielengte op te schalen, wat met REN's voorheen prohibitief was. De auteurs benadrukken dat deze aanpak de sterke theoretische garanties van stabiliteit en robuustheid behoudt, terwijl het het gebruik van moderne, hoog-capacitieve DNN-architecturen (zoals Transformers of ResNets) binnen een recurrent kader mogelijk maakt. Het werk suggereert dat R2DN's zeer geschikt zijn voor toepassingen die frequente modelinferentie op kleine inputbatches vereisen, zoals real-time controle, waar de computationele overhead van REN's een limiterende factor is.

Door de auteurs geïdentificeerde toekomstig werk omvat het uitbreiden van de parametrisatie om een niet-nul $D_{22}$ (directe feedthrough van input naar output) toe te staan in Lipschitz R2DN's, en het verder bestuderen van de schaalbaarheid van deze modellen in hogere-dimensionale machine learning taken.