R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

Resumen Técnico: R2DN: Parametrización Escalable de Redes Profundas Recurrentes de Contracción y Lipschitz

Planteamiento del Problema
Las redes neuronales profundas (DNN), particularmente las Redes Neuronales Recurrentes (RNN), han logrado un éxito significativo en el modelado de sistemas dinámicos. Sin embargo, las DNN estándar suelen ser sensibles a las perturbaciones de la entrada, lo que conduce a un comportamiento frágil e inestable en aplicaciones de control. Aunque se han propuesto arquitecturas como la Red de Equilibrio Recurrente (REN) para garantizar la estabilidad interna (contracción) y la robustez entrada-salida (continuidad de Lipschitz) mediante una parametrización directa, estas sufren un cuello de botella computacional crítico. Las REN requieren la solución iterativa de una capa de equilibrio implícita en cada paso de tiempo durante la inferencia y la retropropagación. Este proceso es computacionalmente costoso, dificulta la escalabilidad en arquitecturas de GPU diseñadas para el paralelismo y limita el tamaño factible del modelo, el tamaño del lote (batch size) y la longitud de la secuencia.

Metodología
Los autores proponen la Red Neuronal Profunda Recurrente Robusta (R2DN), una parametrización escalable que conserva las garantías de estabilidad y robustez de las REN, eliminando al mismo tiempo la sobrecarga computacional de las capas implícitas. La R2DN se construye como la interconexión de retroalimentación de un sistema de Tiempo Invariante Lineal (LTI) y una red profunda de alimentación hacia adelante (feedforward) de 1-Lipschitz.

La modificación arquitectónica central implica dos cambios clave en la estructura de la REN:

1. Eliminación de la Capa de Equilibrio: El término de paso directo ($D_{11}$) en el sistema LTI se establece en cero. Esto elimina la ecuación implícita $w_t = \sigma(D_{11}w_t + \dots)$, permitiendo que el estado de la red se compute de forma explícita en lugar de iterativa.
2. No Linealidad Escalable: La función de activación escalar $\sigma$ utilizada en las REN se reemplaza por una red profunda de alimentación hacia adelante de 1-Lipschitz generalizada $\phi_g$ (por ejemplo, MLPs, CNNs, ResNets).

El artículo proporciona una parametrización directa para estas redes, mapeando los parámetros aprendibles $\theta$ directamente a pesos y sesgos de tal manera que el modelo resultante esté garantizado de ser:

• Contractivo: Asegurando que los estados internos olviden las condiciones iniciales exponencialmente, independientemente del punto de equilibrio específico.
• Robusto de Lipschitz: Satisfaciendo Restricciones Cuadráticas Integrales (IQC) incrementales para acotar la sensibilidad de la salida ante perturbaciones de la entrada.

La parametrización se basa en la construcción de las matrices del sistema LTI ($A, B, C, D$) para satisfacer Desigualdades Matriciales Lineales (LMI) específicas derivadas del teorema de ganancia pequeña y la teoría de IQC. Específicamente, los autores derivan condiciones donde el sistema LTI admite una IQC incremental definida por $(Q, S, R)$, asegurando que la interconexión global con la DNN de 1-Lipschitz permanezca estable y robusta.

Contribuciones Clave

• Innovación Arquitectónica: La introducción de la R2DN, que reemplaza la capa de equilibrio implícita de las REN con una estructura explícita, permitiendo el cómputo directo sin la necesidad de resolvedores iterativos.
• Parametrización Escalable: Un método para parametrizar R2DNs contractivas y de Lipschitz que soporta arquitecturas de DNN de 1-Lipschitz arbitrarias, a diferencia de las REN que están restringidas a estructuras de activación escalares específicas o de paso directo triangulares inferiores.
• Eficiencia Computacional: La eliminación de la capa de equilibrio permite que las R2DN aprovechen el paralelismo masivo en las GPU, acelerando significativamente tanto la inferencia como la retropropagación en comparación con las REN.
• Garantías Teóricas: La demostración de que la propuesta parametrización asegura la contracción y la satisfacción de la IQC incremental por construcción, sin requerir resolvedores de optimización con restricciones.

Resultados
Los autores evaluaron las R2DN frente a las REN en tres tareas representativas: identificación de sistemas no lineales (datos de vibración de suelo F16), diseño de observador no lineal para una PDE de reacción-difusión y control por retroalimentación basado en aprendizaje.

• Velocidad: Se encontró que el entrenamiento y la inferencia para las R2DN son hasta un orden de magnitud más rápidos que para las REN. La aceleración se atribuye a la eliminación de la resolución iterativa del equilibrio, lo cual es particularmente beneficioso para simulaciones de largo horizonte y grandes tamaños de lote.
• Desempeño: A pesar de la simplificación arquitectónica y las ganancias de velocidad, las R2DN lograron un desempeño similar en el conjunto de prueba (métricas de pérdida y error) a las REN en las tres tareas.
• Escalabilidad: Los experimentos sobre la expresividad del modelo mostraron que, mientras que el tiempo de cómputo para las REN aumenta rápidamente con la complejidad del modelo, las R2DN escalan de manera mucho más favorable, manteniendo tiempos de inferencia bajos incluso a medida que la expresividad del modelo aumenta.

Significancia y Reivindicaciones
El artículo afirma que las R2DN ofrecen una alternativa práctica y computacionalmente eficiente a las REN para el modelado recurrente robusto en aprendizaje automático y control basado en datos. Al eliminar el requisito de resolver ecuaciones implícitas, las R2DN hacen que sea factible escalar el tamaño de la red, el tamaño del lote y la longitud de la secuencia de entrada, algo que anteriormente era prohibitivo con las REN. Los autores enfatizan que este enfoque retiene las fuertes garantías teóricas de estabilidad y robustez, permitiendo al mismo tiempo el uso de arquitecturas de DNN modernas de alta capacidad (como Transformers o ResNets) dentro de un marco recurrente. El trabajo sugiere que las R2DN están bien adaptadas para aplicaciones que requieren inferencia frecuente del modelo en lotes pequeños de entrada, como el control en tiempo real, donde la sobrecarga computacional de las REN es un factor limitante.

El trabajo futuro identificado por los autores incluye la extensión de la parametrización para permitir un $D_{22}$ no nulo (paso directo de la entrada a la salida) en las R2DN de Lipschitz y el estudio más profundo de la escalabilidad de estos modelos en tareas de aprendizaje automático de mayor dimensión.