A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

Resumen Técnico: Un Enfoque de Subespacio Dinámico para la Aproximación de Baja Rango de Sistemas No Lineales a Gran Escala

Planteamiento del Problema
La aproximación efectiva de baja dimensión es crítica para la compresión de datos, el aprendizaje automático y la reducción de modelos. Sin embargo, los métodos estáticos estándar, como la Descomposición Ortogonal Propia (POD) y los autoencoders lineales, dependen de espacios de proyección fijos. Estas representaciones estáticas no logran capturar adecuadamente fenómenos transitorios dominados por el transporte, donde los modos físicos o las estructuras coherentes se desplazan con el tiempo. Para mantener la precisión en tales escenarios, los métodos lineales estáticos a menudo requieren un aumento significativo en el rango de aproximación (dimensionalidad), una limitación conocida como la "barrera de Kolmogorov". Aunque los métodos no lineales pueden superar este límite de expresividad, a menudo sacrifican la interpretabilidad o la eficiencia computacional y dependen de incrustaciones fijas que no se adaptan al estado evolutivo.

Metodología
Los autores proponen un enfoque de subespacio dinámico que modela la evolución de la base de aproximación como una trayectoria continua en el tiempo sobre la variedad de Grassmann ($G(r, N)$), el espacio de todos los subespacios lineales de dimensión $r$ en $\mathbb{R}^N$.

1. Formulación Geométrica:
   En lugar de una base fija $V$, el método emplea una base variable en el tiempo $V(t)$ parametrizada como una trayectoria geodésica (el camino más corto entre subespacios). La base se define mediante:
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   donde $V_1$ y $V_2$ son matrices ortonormales, $\tau$ es el tiempo normalizado y $\Theta$ es una matriz diagonal de ángulos principales que representan las tasas de rotación. Esta formulación desacopla la deriva geométrica del subespacio de la evolución intrínseca de las coordenadas de baja dimensión, permitiendo que la base se adapte a la física instantánea sin inflar el rango $r$.

2. Optimización Escalable mediante Espacio de Características:
   La optimización directa sobre el espacio de estados de alta dimensión (dimensión $N$) es computacionalmente intratable para sistemas a gran escala. Para abordar esto, los autores introducen una reducción del espacio de características:

   • Se utiliza un conjunto fijo de $n_f$ modos de características (derivados de los vectores singulares principales de los datos de instantáneas mediante POD) para construir una base reducida $\tilde{V} \in \mathbb{R}^{N \times n_f}$.
   • La base dinámica se restringe a permanecer dentro del rango de estas características: $V(\tau) = \tilde{V} T(\tau)$, donde $T(\tau)$ es una matriz de rotación de baja dimensión.
   • Esto desplaza las variables de optimización del espacio de alta dimensión ($N \times 2r$) al espacio de características ($n_f \times 2r$), haciendo que el costo computacional sea independiente de la dimensión original del estado $N$.

3. Optimización Riemanniana:
   El problema de aprendizaje se formula como la minimización del error cuadrático medio de proyección sobre las instantáneas de entrenamiento. La optimización se realiza sobre una variedad producto $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$, donde $\text{St}$ denota la variedad de Stiefel de matrices ortonormales. Los autores utilizan un solucionador de gradiente conjugado Riemanniano (mediante el paquete Pymanopt con un backend JAX) para imponer estrictamente las restricciones de ortogonalidad y navegar por la geometría de la variedad. La implementación utiliza operaciones vectorizadas para calcular proyecciones para todos los pasos de tiempo simultáneamente, eliminando la sobrecarga del bucle iterativo de tiempo.

Contribuciones Clave

• Parametrización Geodésica: Reencuadrar la reducción de dimensionalidad como una tarea de geometría diferencial donde la base evoluciona a lo largo de geodésicas en la variedad de Grassmann, permitiendo el seguimiento adaptativo de dinámicas no estacionarias.
• Desacoplamiento de Costos: Un marco escalable que desacopla el costo de optimización del espacio de estados de alta dimensión $N$ realizando el aprendizaje en un espacio de características precalculado y reducido.
• Eficiencia de Rango: El método logra mayor precisión que las aproximaciones lineales estáticas en rangos equivalentes, rompiendo efectivamente la barrera de Kolmogorov para fenómenos dominados por el transporte sin requerir inflación de rango.
• Implementación Vectorizada: Una estrategia de optimización completamente vectorizada y libre de bucles que aprovecha la diferenciación automática moderna y las capacidades de procesamiento paralelo.

Resultados
El marco se evaluó en dos problemas distintos:

1. Ecuación de Transporte 1D: Una referencia para ondas viajeras. El enfoque de subespacio dinámico demostró una convergencia significativamente más rápida en el error relativo en comparación con la POD estática. En una dimensión reducida de $r=20$, el método dinámico alcanzó una precisión comparable a una base POD estática con rango $2r$, validando la eficacia de la perspectiva geodésica.
2. Estela Turbulenta de Perfil Alar (LES): Un conjunto de datos a gran escala y alta fidelidad ($N \approx 6.6 \times 10^5$) que involucra turbulencia compleja y no estacionaria.
   • El enfoque de subespacio dinámico superó consistentemente a la POD estática en todos los rangos probados.
   • En $r=200$, el método dinámico alcanzó un error relativo del 2.4% en comparación con el 4.0% de la POD en una instantánea de prueba.
   • La base dinámica capturó estructuras turbulentas de pequeña escala y mantuvo la continuidad temporal, mientras que los modos POD estáticos produjeron resultados más suaves y difusos.
   • La optimización convergió en aproximadamente 25 segundos para $r=80$ en una CPU estándar, demostrando escalabilidad.

Significado y Afirmaciones
El artículo afirma que este enfoque de subespacio dinámico ofrece una alternativa robusta y escalable al aprendizaje de variedades tradicional para el modelado de baja rango de sistemas complejos y no estacionarios. Al parametrizar la base como una geodésica, el método permite que el espacio de aproximación evolucione junto con el estado de alta dimensión, asegurando la sincronización con la física instantánea.

Los autores enfatizan que este enfoque:

• Mitiga la barrera de Kolmogorov evitando la inflación de rango típicamente requerida por los métodos estáticos para flujos dominados por el transporte.
• Permanece independiente de las ecuaciones gobernantes, sin requerir una parametrización explícita de la física subyacente, lo que facilita su integración en códigos de simulación existentes a nivel de producción.
• Proporciona un marco matemáticamente riguroso que desplaza el enfoque computacional de la manipulación de vectores de alta dimensión a la optimización de coeficientes temporales y ángulos principales.

El trabajo posiciona este método como un habilitador viable para gemelos digitales de alta fidelidad en la era de la computación exaescala, ofreciendo un alineamiento de subespacio casi óptimo con una complejidad computacional significativamente menor que los enfoques tradicionales. Se señala que el trabajo futuro se centrará en extender el método a geodésicas por tramos para horizontes temporales más largos y acoplar la base adaptativa con marcos existentes de reducción de modelos basados en datos.