Fast Quadratic Manifold Learning For Nonlinear Dimensionality Reduction in Large-scale Systems using Riemannian Optimization

Resumen Técnico: Aprendizaje de Variedades Cuadráticas Rápido para Reducción de Dimensionalidad No Lineal

Enunciado del Problema
Los sistemas físicos a gran escala, como aquellos gobernados por ecuaciones diferenciales parciales (EDP), son computacionalmente costosos de simular, lo que obstaculiza aplicaciones en tiempo real como el diseño y la optimización. Las técnicas de reducción de modelos, específicamente los Modelos de Orden Reducido (MOR), abordan esto aproximando la dinámica del sistema en subespacios de dimensión inferior. Si bien la Descomposición Ortogonal Propia (POD) es el estándar para la reducción de dimensionalidad lineal, a menudo falla en capturar la curvatura intrínseca de variedades de soluciones altamente no lineales (por ejemplo, flujos turbulentos) sin requerir dimensiones de subespacio prohibitivamente grandes.

Las Variedades Cuadráticas (QM) ofrecen una solución al complementar las proyecciones lineales con términos de corrección cuadrática estructurados. Sin embargo, los enfoques QM existentes enfrentan limitaciones significativas:

1. Selección de Base Subóptima: Los métodos estándar dependen de los componentes principales líderes (modos POD) para el subespacio lineal. Si bien son óptimos para la reconstrucción lineal, estos modos suelen ser subóptimos para capturar las interacciones no lineales requeridas para las correcciones cuadráticas.
2. Complejidad Combinatoria: Los métodos de selección voraz intentan mejorar la capacidad de representación buscando un conjunto más amplio de modos candidatos. Sin embargo, estos métodos son inherentemente discretos y combinatorios, sufriendo de complejidad factorial a medida que crece el conjunto de candidatos, lo que limita los tamaños de base factibles en la práctica.
3. Escalabilidad: Muchos enfoques basados en optimización para la construcción de QM involucran funciones de costo que escalan con la dimensión completa del espacio de estados ($N$), volviéndolos computacionalmente intratables para sistemas a gran escala.

Metodología: FastQM
El artículo propone FastQM, un marco que reformula la identificación de una aproximación cuadrática óptima como un problema de optimización continua en la variedad de Stiefel.

• Identificación Continua del Subespacio: En lugar de la selección discreta de modos POD, FastQM trata la identificación de la base como la búsqueda de un marco ortonormal óptimo dentro de un rango predefinido de vectores singulares candidatos. El subespacio lineal ($V_r$) y el subespacio de corrección cuadrática ($V_q$) se construyen como combinaciones lineales de $m$ modos candidatos (típicamente los $m$ vectores singulares izquierdos líderes de los datos de instantáneas).
• Optimización Riemanniana: La búsqueda de la base óptima se formula como la minimización de una función objetivo de mínimos cuadrados regularizada sujeta a restricciones de ortogonalidad. Las variables de optimización son matrices de rotación $Q_r$ y $Q_q$ que mapean la base candidata a los subespacios lineal y cuadrático óptimos. Este problema se resuelve utilizando optimización riemanniana (utilizando específicamente la biblioteca Pymanopt y JAX para diferenciación automática y aceleración de hardware).
• Formulación en el Espacio de Características: Una innovación crítica es la reformulación de la función objetivo para garantizar la eficiencia computacional. Al precomputar la proyección de los datos de instantáneas sobre la base candidata ($\tilde{S} = \tilde{V}^T S$) y utilizar identidades de traza, la evaluación de la función de costo y sus gradientes escala con el número de modos candidatos ($m$) y las dimensiones reducidas ($r, q$), en lugar de la dimensión completa del estado ($N$). Esto asegura que el método permanezca escalable para problemas a gran escala donde $N \gg m$.
• Algoritmo: El proceso implica:
  1. Calcular la SVD de la matriz de instantáneas centrada.
  2. Seleccionar los $m$ vectores singulares superiores como el rango candidato.
  3. Resolver el problema de optimización restringida en la variedad de Stiefel $St(m, r+q)$ para encontrar las matrices de rotación óptimas $Q_r$ y $Q_q$.
  4. Reconstruir las bases óptimas y resolver la matriz de ponderación cuadrática $\Xi$ mediante mínimos cuadrados lineales.

Contribuciones Clave

1. Marco de Optimización Novel: El artículo introduce un cambio desde la selección de bases discreta y combinatoria hacia la identificación continua de subespacios mediante optimización riemanniana, permitiendo la "rotación" de la base para alinearse mejor con las estructuras no lineales.
2. Función Objetivo Escalable: La derivación de una función objetivo cuya evaluación es independiente de la dimensión completa del espacio de estados $N$, permitiendo la aplicación a sistemas a gran escala.
3. Validación de Rendimiento: Una comparación exhaustiva que demuestra que FastQM supera a la POD estándar, a las QM basadas en POD y a las QM construidas de manera voraz en precisión de reconstrucción.

Resultados Numéricos
La eficacia de FastQM se demostró en una simulación de grandes remolinos (LES) de la estela de un perfil alar turbulento (NACA 0012 a $Re=23,000$), con una dimensión de estado de $N \approx 6.6 \times 10^5$.

• Precisión: A través de diversas dimensiones reducidas ($r$) y números de modos no lineales ($q$), FastQM logró consistentemente el menor error relativo de reconstrucción en comparación con POD, QM basada en POD y QM Voraz.
• Comparación con Métodos Voraces: Si bien la QM Voraz tuvo un rendimiento similar a la QM basada en POD en dimensiones bajas (debido a que la selección inicial coincide con los vectores singulares líderes), FastQM evitó esta limitación al optimizar la rotación continua de la base, capturando características no lineales críticas que la selección discreta pasó por alto.
• Estructura de Modos: El análisis visual de los modos optimizados reveló que resuelven escalas significativamente más finas en comparación con los modos POD estándar, facilitando una mejor aproximación cuadrática.
• Convergencia: La optimización convergió eficientemente (por ejemplo, dentro de 86 iteraciones para el caso LES) con una huella computacional manejable (aproximadamente 20 segundos para el caso de prueba específico).

Significado y Afirmaciones
Los autores afirman que FastQM establece una opción viable para tareas de reducción de modelos a gran escala al superar la suboptimalidad de las variedades cuadráticas estándar basadas en POD. El artículo afirma que:

• La optimalidad de las coordenadas POD está estrictamente limitada a aproximaciones lineales; para variedades cuadráticas, el sistema de coordenadas debe optimizarse.
• La optimización continua en la variedad de Stiefel proporciona un espacio de búsqueda más rico que la selección voraz, optimizando la sinergia entre términos lineales y cuadráticos sin la explosión combinatoria.
• El método logra una fidelidad de reconstrucción superior con una sobrecarga computacional mínima, haciéndolo adecuado para sistemas de alta dimensión donde los enfoques de optimización tradicionales serían intratables.

El trabajo concluye que, si bien la aplicación específica fue una estela de perfil alar turbulenta, el marco es general, y el trabajo futuro apunta a extenderlo a una variedad más amplia de problemas de ingeniería para evaluar aún más la generalización.