Optimization of randomized neural networks for transfer operator approximation

Resumen Técnico: Optimización de Redes Neuronales Aleatorizadas para la Aproximación de Operadores de Transferencia

Enunciado del Problema
La aproximación basada en datos de operadores de transferencia (tales como los operadores de Koopman y Perron–Frobenius) es esencial para analizar el comportamiento global de sistemas dinámicos complejos, incluyendo estados metaestables en dinámica molecular y estructuras coherentes en flujos de fluidos. Los métodos tradicionales, como la Descomposición de Modos Dinámicos Extendida (EDMD), dependen de diccionarios fijos de funciones base (por ejemplo, polinomios, gaussianas), cuya selección óptima depende del sistema y a menudo constituye un problema abierto. Aunque las redes neuronales (RN) pueden aprender estos diccionarios, las redes completamente entrenadas requieren una retropropagación computacionalmente costosa, sufriendo problemas como una convergencia lenta, mínimos locales e inestabilidad del gradiente.

Las redes neuronales aleatorizadas, como la previamente propuesta RaNNDy, abordan estos costos computacionales fijando los pesos y sesgos de las capas ocultas y entrenando únicamente la capa de salida mediante una solución de forma cerrada. Sin embargo, este enfoque tiene una limitación crítica: la calidad de la aproximación depende enteramente de la selección aleatoria inicial de pesos y sesgos. Si las funciones base generadas aleatoriamente no representan con precisión las autofunciones del sistema, la aproximación del operador resultante es deficiente, y no existe ningún mecanismo dentro del marco estándar de RaNNDy para corregir esto.

Metodología
Los autores proponen un algoritmo para optimizar la base aleatorizada de RaNNDy ajustando los hiperparámetros de la función de activación y las distribuciones de las cuales se muestrean los pesos y sesgos, manteniendo fijos los parámetros estructurales de la red (pesos y sesgos) una vez muestreados.

1. Activación Paramétrica y Base: El método introduce parámetros ajustables $\omega$ (por ejemplo, la escala de la distribución para pesos/sesgos, o parámetros de una función de activación paramétrica como $\tanh$) en la definición de la función base: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. Optimización Variacional: El algoritmo utiliza el principio variacional de Rayleigh para definir una función de pérdida. Para operadores autoadjuntos (sistemas reversibles), el objetivo es maximizar la suma de los valores propios del operador proyectado. Para operadores no autoadjuntos (sistemas no reversibles), el método maximiza la traza del operador proyectado hacia adelante–hacia atrás para aproximar los valores singulares.
   • La función de pérdida se formula como $L(\omega) = \text{tr}(\hat{A}(\omega))$, donde $\hat{A}(\omega)$ se construye a partir de matrices de covarianza y covarianza cruzada basadas en datos ($\hat{C}_{00}, \hat{C}_{01}$, etc.).
3. Bucle de Optimización: Los hiperparámetros $\omega$ se actualizan iterativamente utilizando el descenso de gradiente o la optimización bayesiana para maximizar la traza de la aproximación del operador. Una vez optimizado $\omega$, los pesos de la capa de salida se calculan mediante un problema de valores propios de forma cerrada, preservando la eficiencia computacional de las redes aleatorizadas.

Contribuciones Clave

1. Algoritmo de Optimización Novel: El artículo introduce un método para optimizar la base aleatorizada de RaNNDy ajustando los hiperparámetros de la función de activación y las escalas de distribución, cerrando la brecha entre las redes completamente aleatorizadas y las completamente entrenadas.
2. Aplicación a Sistemas Diversos: El enfoque se valida en tres problemas de referencia distintos:
   • Paseos aleatorios en Grafones: Demostrando la capacidad de reconstruir grafones y densidades de transición a partir de datos.
   • Chorro de Bickley: Un referente de dinámica de fluidos para detectar conjuntos coherentes.
   • Proteína NuG2: Datos de dinámica molecular de alta dimensión para analizar transiciones de plegado–desplegamiento.

Resultados
Los experimentos numéricos demuestran que optimizar los parámetros de activación mejora significativamente la precisión de la aproximación en comparación con el uso de una base aleatoria fija y mal inicializada:

• Grafones: El algoritmo convergió en menos de 20 épocas, identificando correctamente una brecha espectral correspondiente a tres conjuntos metaestables. La base optimizada permitió la reconstrucción precisa del grafón y la densidad de transición. En contraste, una búsqueda en cuadrícula para distribuciones fijas fue menos efectiva, y las redes completamente entrenadas (VAMPnets) con tasas de aprendizaje más altas divergieron o quedaron atrapadas en mínimos locales.
• Chorro de Bickley: El método detectó con éxito conjuntos coherentes agrupando las funciones singulares optimizadas. El algoritmo convergió en menos de 10 iteraciones, revelando las estructuras coherentes del sistema de manera más efectiva que la base aleatoria inicial.
• Proteína NuG2: La base optimizada capturó con precisión los valores propios y autofunciones dominantes, distinguiendo entre los estados plegado y desplegado de la proteína. La base aleatoria inicial produjo aproximaciones deficientes, destacando la necesidad de la optimización propuesta.

Significado y Afirmaciones
Los autores posicionan este trabajo como un "compromiso" entre las redes neuronales completamente aleatorizadas y las completamente entrenadas. El significado radica en retener las ventajas computacionales de RaNNDy (solución de forma cerrada, sin retropropagación para las capas ocultas, menores costos de entrenamiento) mientras se mitiga su debilidad principal: la sensibilidad a la selección aleatoria inicial de las funciones base.

El artículo afirma que ajustar las distribuciones de los pesos y sesgos ocultos es más fácil debido a un paisaje de pérdida más simple en comparación con el entrenamiento de redes completas, lo que potencialmente permite el uso de algoritmos como la optimización bayesiana. Los autores sugieren modestamente que, aunque el trabajo actual se centra en parámetros de activación específicos, el trabajo futuro podría explorar funciones de activación con más hiperparámetros y realizar comparaciones sistemáticas de tiempo de ejecución en sistemas dinámicos más complejos para evaluar aún más las compensaciones de los enfoques aleatorizados.