R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

Resumo Técnico: R2DN: Parametrização Escalável de Redes Profundas Recorrentes Contrativas e Lipschitz

Definição do Problema
Redes neurais profundas (DNNs), particularmente Redes Neurais Recorrentes (RNNs), alcançaram sucesso significativo na modelagem de sistemas dinâmicos. No entanto, as DNNs padrão são frequentemente sensíveis a perturbações de entrada, levando a um comportamento frágil e instável em aplicações de controle. Embora arquiteturas como a Recurrent Equilibrium Network (REN) tenham sido propostas para garantir estabilidade interna (contração) e robustez entrada-saída (continuidade Lipschitz) via parametrização direta, elas sofrem de um gargalo computacional crítico. As RENs exigem a solução iterativa de uma camada de equilíbrio implícita em cada passo de tempo durante a inferência e o backpropagation. Esse processo é computacionalmente caro, dificulta a escalabilidade em arquiteturas de GPU projetadas para paralelismo e limita o tamanho viável do modelo, o tamanho do lote (batch size) e o comprimento da sequência.

Metodologia
Os autores propõem a Robust Recurrent Deep Network (R2DN), uma parametrização escalável que retém as garantias de estabilidade e robustez das RENs, eliminando o overhead computacional das camadas implícitas. A R2DN é construída como a interconexão de feedback de um sistema de Tempo Invariante Linear (LTI) e uma rede feedforward profunda 1-Lipschitz.

A modificação arquitetônica central envolve duas mudanças principais na estrutura da REN:

1. Eliminação da Camada de Equilíbrio: O termo de passagem direta ($D_{11}$) no sistema LTI é definido como zero. Isso remove a equação implícita $w_t = \sigma(D_{11}w_t + \dots)$, permitindo que o estado da rede seja computado explicitamente em vez de iterativamente.
2. Não linearidade Escalável: A função de ativação escalar $\sigma$ usada nas RENs é substituída por uma rede feedforward profunda 1-Lipschitz geral $\phi_g$ (ex: MLPs, CNNs, ResNets).

O artigo fornece uma parametrização direta para essas redes, mapeando parâmetros aprendíveis $\theta$ diretamente para pesos e vieses de modo que o modelo resultante seja garantidamente:

• Contrativo: Garantindo que os estados internos esqueçam as condições iniciais exponencialmente, independentemente do ponto de equilíbrio específico.
• Lipschitz Robusta: Satisfazendo Desigualdades Quadráticas Integrais (IQCs) incrementais para limitar a sensibilidade da saída a perturbações de entrada.

A parametrização baseia-se na construção das matrizes do sistema LTI ($A, B, C, D$) para satisfazer Desigualdades Matriciais Lineares (LMIs) específicas derivadas do teorema do ganho pequeno (small-gain theorem) e da teoria IQC. Especificamente, os autores derivam condições onde o sistema LTI admite uma IQC incremental definida por $(Q, S, R)$, garantindo que a interconexão global com a DNN 1-Lipschitz permaneça estável e robusta.

Principais Contribuições

• Inovação Arquitetônica: A introdução da R2DN, que substitui a camada de equilíbrio implícita das RENs por uma estrutura explícita, permitindo computação direta sem solvers iterativos.
• Parametrização Escalável: Um método para parametrizar R2DNs contrativas e Lipschitz que suporta arquiteturas de DNN 1-Lipschitz arbitrárias, ao contrário das RENs, que são restritas a estruturas de ativação escalar específicas ou passagens diretas triangulares inferiores.
• Eficiência Computacional: A remoção da camada de equilíbrio permite que as R2DNs aproveitem o paralelismo massivo em GPUs, acelerando significamente tanto a inferência quanto o backpropagation em comparação com as RENs.
• Garantias Teóricas: Prova de que a parametrização proposta garante a contração e a satisfação da IQC incremental por construção, sem a necessidade de solvers de otimização restrita.

Resultados
Os autores avaliaram as R2DNs contra as RENs em três tarefas representativas: identificação de sistema não linear (dados de vibração de solo F16), design de observador não linear para uma PDE de reação-difusão e controle baseado em aprendizado.

• Velocidade: O treinamento e a inferência para as R2DNs foram encontrados para serem até uma ordem de magnitude mais rápidos do que as RENs. O ganho de velocidade é atribuído à eliminação da resolução de equilíbrio iterativo, o que é particularmente benéfico para simulações de longo horizonte e grandes lotes.
• Desempenho: Apesar da simplificação arquitetônica e dos ganhos de velocidade, as R2DNs alcançaram desempenho de conjunto de teste similar (perda e métricas de erro) às RENs em todas as três tarefas.
• Escalabilidade: Experimentos sobre expressividade de modelo mostraram que, enquanto o tempo de computação para as RENs aumenta rapidamente com a complexidade do modelo, as R2DNs escalam de forma muito mais favorável, mantendo tempos de inferência baixos mesmo conforme a expressividade do modelo aumenta.

Significância e Alegações
O artigo afirma que as R2DNs oferecem uma alternativa prática e computacionalmente eficiente às RENs para modelagem recorrente robusta em aprendizado de máquina e controle baseado em dados. Ao remover a necessidade de resolver equações implícitas, as R2DNs tornam viável escalar o tamanho da rede, o tamanho do lote e o comprimento da sequência de entrada, o que era proibitivo com as RENs. Os autores enfatizam que esta abordagem mantém as fortes garantias teóricas de estabilidade e robustez, ao mesmo tempo em que permite o uso de arquiteturas de DNN modernas e de alta capacidade (como Transformers ou ResNets) dentro de um framework recorrente. O trabalho sugere que as R2DNs são bem adequadas para aplicações que exigem inferência de modelo frequente em pequenos lotes de entrada, como controle em tempo real, onde o overhead computacional das RENs é um fator limitante.

O trabalho futuro identificado pelos autores inclui estender a parametrização para permitir um $D_{22}$ não nulo (passagem direta da entrada para a saída) em R2DNs Lipschitz e estudar adicionalmente a escalabilidade desses modelos em tarefas de aprendizado de máquina de maior dimensão.