State-Space Neural Network with Ordered Variance for Model Order Determination

Resumen Técnico: Red Neuronal de Espacio de Estados con Varianza Ordenada para la Determinación del Orden del Modelo

Planteamiento del Problema
El artículo aborda el desafío de identificar modelos de espacio de estados no lineales a partir de conjuntos de datos de entrenamiento de entrada-salida y, simultáneamente, determinar un orden de modelo (dimensión de estado) adecuado. Si bien las Redes Neuronales de Espacio de Estados (SSNN) han ganado popularidad para aprender la dinámica no lineal, sufren problemas comunes en los Métodos de Error de Predicción (PEM), incluyendo la convergencia hacia mínimos locales y, críticamente, la dimensión de estado desconocida. La selección del orden del modelo suele requerir de ensayo y error, lo cual es computacionalmente costoso. Los métodos existentes para la determinación del orden del modelo en autoencoders o modelos basados en kernels no se han extendido eficazmente a las SSNN.

Metodología: Marco SSNNO
Los autores proponen un nuevo marco denominado Red Neuronal de Espacio de Estados con Varianza Ordenada (SSNNO). La innovación central es la integración de un término de regularización de la varianza en la función de pérdida de la SSNN para imponer un ordenamiento de las varianzas de los estados.

1. Arquitectura y Entrenamiento:

   • La SSNNO mantiene la estructura estándar de una SSNN, aprendiendo las funciones de estado ($x_{k+1} = f_{NN}(x_k, u_k)$) y de salida ($y_k = g_{NN}(x_k)$) mediante redes neuronales.
   • La función de pérdida ($J$) combina el Error Cuadrático de Predicción (SPE), un término de regularización de parámetros para la subred de salida y un novedoso término de regularización de la varianza ($J_v$).
   • El término de varianza penaliza las varianzas de muestra de los estados predichos, ponderadas por una matriz diagonal $W = \text{diag}(w_1, \dots, w_d)$ donde los pesos son estrictamente crecientes ($0 \le w_1 < w_2 < \dots < w_d$).
   • Este esquema de ponderación incentiva el proceso de optimización para minimizar las varianzas de los estados finales (aquellos con pesos más altos) hacia niveles cercanos a cero, preservando al mismo tiempo las varianzas de los estados iniciales.

2. Determinación y Reducción del Orden del Modelo:

   • Estados Significativos vs. Residuales: Tras el entrenamiento, los estados se ordenan por varianza ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Se aplica un umbral de tolerancia $\delta$ para clasificar los estados como "significativos" ($V_{x_i} > \delta$) o "residuales" ($V_{x_i} \le \delta$).
   • SSNNO de Orden Reducido (R-SSNNO): El orden del modelo se reduce reteniendo solo los estados significativos. Los estados residuales se aproximan mediante sus valores medios y se absorben en los parámetros del modelo de las primeras y últimas capas de la subred de estado. Esto produce un modelo de orden reducido sin necesidad de reentrenamiento.

3. Implementación Práctica:

   • Reconociendo que los algoritmos de optimización local pueden no converger al mínimo global requerido para un ordenamiento de varianza estricto, los autores proponen un algoritmo iterativo práctico (Algoritmo 1). Este método permuta las variables de estado de una solución optimizada localmente para satisfacer la condición de ordenamiento de varianza, reoptimizando si es necesario, hasta lograr una solución con varianza ordenada.

Contribuciones Teóricas
El artículo proporciona garantías teóricas formales respecto al marco propuesto:

• Existencia de Varianza Ordenada: Utilizando la desigualdad de reordenamiento, los autores demuestran que el minimizador global de la función de pérdida propuesta satisface inherentemente la condición de ordenamiento de varianza ($V_{x_1} \ge \dots \ge V_{x_d}$).
• Cota de Error: Los autores establecen una cota superior en el error de predicción de la salida de la SSNNO en relación con una SSNN estándar. Demuestran que la degradación en la precisión de la predicción debido a la regularización de la varianza puede limitarse mediante una tolerancia especificada por el usuario, controlada por los hiperparámetros $\alpha$ y $\beta$.

Resultados de Simulación
La efectividad de la SSNNO se validó en un proceso de Reactor de Tanque Agitado Continuo (CSTR) no lineal, el cual exhibe una severa no linealidad de ganancia.

• Identificación del Orden del Modelo: En simulaciones con un orden real del sistema de 2, la SSNNO (entrenada con una dimensión inicial de 3) identificó con éxito que el tercer estado tenía una varianza insignificante. Esto permitió la derivación de un modelo R-SSNNO de orden reducido (2º orden).
• Desempeño: Los modelos R-SSNNO (reducidos a 2º y 1er orden) mantuvieron una precisión de predicción comparable a la de la SSNNO de 3er orden completa y a la SSNN estándar, como lo evidencia la métrica de Error Cuadrático Medio (MSE) en los datos de entrenamiento y prueba.
• Robustez: Simulaciones de Monte Carlo a través de diversos niveles de ruido confirmaron que el ordenamiento de la varianza se logra consistentemente sin comprometer el Error Cuadrático de Predicción (SPE).
• Aplicación de Control: El modelo identificado R-SSNNO se integró con éxito en un esquema de Control Predictivo basado en Filtro de Kalman Extendido (EKF). El controlador rastreó eficazmente las trayectorias de temperatura de referencia, corrigiendo el desajuste entre la planta y el modelo.

Significancia y Reivindicaciones
El artículo afirma que la SSNNO es el primer trabajo que incorpora el ordenamiento de la varianza de las variables de estado directamente dentro de un marco de SSNN para resolver el problema de la determinación del orden del modelo. Su principal significancia radica en:

1. Identificación Simultánea: Permite la identificación simultánea del modelo de espacio de estados no lineal y la determinación de un orden de modelo adecuado únicamente a partir de los datos.
2. Reducción Sistemática: Proporciona un procedimiento sistemático y no heurístico para derivar modelos de orden reducido que retienen la dinámica esencial mientras minimizan la complejidad.
3. Rigor Teórico: Ofrece pruebas formales para la existencia de tales modelos ordenados y cotas sobre el error de predicción, abordando la falta de garantías teóricas en muchos métodos de identificación basados en datos.

Los autores concluyen que, si bien el método es efectivo para la identificación y el control, se requiere trabajo futuro para extender el marco con el fin de proporcionar garantías teóricas de controlabilidad y estabilidad.