LeARN: Learnable and Adaptive Representations for Nonlinear Dynamics in System Identification

Resumen Técnico: LeARN – Representaciones Aprendibles y Adaptativas para la Dinámica No Lineal

Planteamiento del Probleo
La identificación de sistemas, la derivación de modelos matemáticos a partir de datos de entrada-salida, enfrenta desafíos significativos en sistemas dinámicos no lineales, particularmente en la robótica que opera en entornos no estructurados. Mientras que los modelos tradicionales basados en la física ofrecen interpretabilidad, luchan contra las no linealidades complejas, las perturbaciones desconocidas y las entradas de alta dimensión. Los métodos basados en datos como la Identificación Esparsa de la Dinámica No Lineal (SINDy) han surgido como una solución, destilando la dinámica en combinaciones lineales interpretables de funciones de base. Sin embargo, SINDy depende fuertemente de la experiencia en el dominio para construir una biblioteca predefinida de funciones de base (por ejemplo, términos polinómicos o trigonométricos). Esta dependencia limita la adaptabilidad al encontrar dinámicas desconocidas o en evolución. Por el contrario, los enfoques de aprendizaje profundo (por ejemplo, aproximadores universales, PINNs) carecen de la interpretabilidad estructural requerida para aplicaciones críticas de seguridad. Los intentos existentes por aprender transformaciones de coordenadas latentes suelen sacrificar la interpretabilidad de las ecuaciones dinámicas resultantes.

Metodología
Los autores proponen LeARN (Representaciones Aprendibles y Adaptativas para la Dinámica No Lineal), un marco diseñado para cerrar la brecha entre la expresividad del aprendizaje profundo y la interpretabilidad de SINDy sin requerir conocimiento previo del dominio.

1. Biblioteca de Bases Aprendibles: A diferencia de SINDy, que utiliza una biblioteca fija $\Theta(\cdot)$, LeARN parametriza la biblioteca de funciones de base utilizando una Red Neuronal Profunda (DNN) ligera, denotada como $\Theta(X; \psi)$. Esta red aprende la forma funcional de las funciones de base directamente de los datos en el espacio de estados físicos.
2. Selección de Características: El marco descompone la dinámica del sistema $\dot{x} \approx \Theta(X; \psi)E(X; \phi)^T$, donde $E(X; \phi)$ es una segunda DNN que actúa como una matriz de selección de características. Esta estructura imita la regresión esparsa de SINDy, permitiendo al modelo identificar qué características de entrada contribuyen predominantemente a la dinámica, manteniendo así la interpretabilidad estructural respecto a la importancia de las características, incluso si la forma funcional de las funciones de base es aprendida.
3. Meta-Aprendizaje para la Adaptación: Para manejar condiciones de ruido variables y dinámicas de sistemas en evolución, LeARN emplea el Aprendizaje de Meta-Modelo Agnóstico (MAML). El proceso de meta-entrenamiento optimiza los parámetros iniciales ($\psi, \phi$) a través de una distribución de tareas (por ejemplo, diferentes condiciones de viento). Esto asegura que el modelo posea una inicialización robusta que permite una rápida adaptación a entornos no vistos mediante unos pocos pasos de gradiente durante el despliegue en línea.
4. Adaptación en Línea: Durante el despliegue, el modelo se adapta a nuevas tareas (por ejemplo, nuevas velocidades de viento) utilizando una pérdida de adaptación que incluye un regularizador para imponer la continuidad de Lipschitz sobre las entradas de estado, asegurando la estabilidad.

Contribuciones Clave

1. Eliminación de Bibliotecas Predefinidas: LeARN elimina el requisito de una biblioteca de funciones predefinida y de la experiencia en el dominio, aprendiendo las funciones de base directamente de los datos.
2. Adaptabilidad mediante Meta-Aprendizaje: Al realizar el meta-aprendizaje de la biblioteca de funciones de base, el marco permite una rápida adaptación a dinámicas cambiantes y condiciones ruidosas.
3. Interpretabilidad Equilibrada: El uso de DNN ligeras permite modelar no linealidades complejas mientras se mantiene la interpretabilidad a través de la estructura de escasez de la matriz de selección de características aprendida, identificando las características de entrada dominantes.

Resultados Experimentales
El marco fue validado en el conjunto de datos Neural Fly, un benchmark desafiante que involucra el vuelo de un cuadricóptero bajo diversas condiciones de viento. Los autores compararon LeARN contra SINDy a través de tres formulaciones de la dinámica del cuadricóptero:

• Dinámica traslacional parcial.
• Dinámica de actitud parcial.
• Dinámica completa del sistema (combinando traslación y actitud).

Hallazgos de Desempeño:

• Generalización: LeARN demostró un desempeño de generalización competitivo en comparación con Síndy.
• Escalabilidad de Dimensionalidad: Un hallazgo clave es que la brecha de desempeño entre LeARN y SINDy se reduce a medida que aumenta la dimensionalidad del espacio de características de entrada. Para la dinámica de sistema completo (dimensión más alta), LeARN logró una diferencia de error de generalización de solo 0.001811 comparado con SINDy, lo que sugiere una escalabilidad superior para sistemas complejos y de alta dimensión.
• Comparación Cualitativa: Las comparaciones visuales de la dinámica completa bajo diferentes condiciones de viento (por ejemplo, 35wind, 70wind, 100wind) mostraron que LeARN captura eficazmente la evolución dinámica, igualando la verdad de terreno y el desempeño de SINDy.

Significancia y Reivindicaciones
El artículo posiciona a LeARN como un paso hacia el descubrimiento autónomo de sistemas dinámicos. Su principal significancia radica en su capacidad para descubrir los principios rectores de sistemas complejos sin intervenciones extensas de dominio específico. Los autores afirman que LeARN ofrece un camino hacia sistemas robóticos robustos, versátiles y adaptativos capaces de operar de manera segura en entornos del mundo real no estructurados. Al aprender las funciones de base directamente, el marco aborda las limitaciones de escalabilidad y flexibilidad de SINDy, preservando al mismo tiempo la interpretabilidad necesaria para aplicaciones críticas de seguridad. El trabajo sugiere un potencial futuro en el monitoreo de salud de sistemas mediante identificación basada en datos y el modelado de la dinámica residual intrínseca.