Uncertainty propagation in auto-regressive random neural network models

En el mundo moderno de la ciencia y la ingeniería, las computadoras se han convertido en herramientas indispensables para predecir cómo se comportarán los sistemas complejos. Desde el pronóstico del clima hasta el modelado del flujo de sangre a través de una arteria, estos modelos digitales dependen de redes neuronales artificiales, que son estructuras matemáticas inspiradas en el cerebro humano. Estas redes aprenden a reconocer patrones y a realizar predicciones ajustando millones de configuraciones internas, conocidas como parámetros, basándose en vastas cantidades de datos. Sin embargo, un desafío significativo persiste: estos modelos rara vez son perfectos. Los datos que se introducen en ellos suelen contener pequeños errores, y las configuraciones internas mismas nunca se conocen con absoluta certeza. En muchos escenarios del mundo real, estas diminutas incertidumbres pueden amplificarse mientras el modelo se ejecuta, lo que lleva a predicciones que derivan salvajemente de la realidad o se vuelven completamente inestables. Los científicos han buscado durante mucho tiempo formas de rastrear cómo crecen estas incertidumbres con el tiempo, pero los métodos tradicionales suelen tener dificultades cuando el sistema que se modela es caótico y cambia rápidamente.

Un equipo de investigadores de la Universidad de California, Santa Cruz, ha desarrollado una nueva forma de rastrear estas incertidumbres a través de redes neuronales, específicamente para sistemas que predicen sus propios pasos futuros. Su enfoque trata tanto los datos de entrada como las configuraciones internas de la red como variables que pueden fluctuar, en lugar de números fijos. Al aprovechar un tipo específico de función matemática utilizada en estas redes, crearon un método que puede calcular analíticamente cómo se propaga la incertidumbre sin necesidad de ejecutar miles de simulaciones separadas. Probaron este método en dos sistemas notoriamente difíciles: el modelo Lorenz-63, un ejemplo clásico de comportamiento caótico similar al clima, y la ecuación de Kuramoto–Sivashinsky, que describe la dinámica de fluidos compleja. Los resultados muestran que su técnica puede seguir con precisión el crecimiento de la incertidumbre durante todo el tiempo que el sistema permanezca predecible, ofreciendo una alternativa más eficiente y estable a los métodos existentes.

El núcleo del problema radica en cómo las redes neuronales manejan la incertidumbre. Cuando una red realiza una predicción, toma una entrada, la procesa a través de capas de operaciones matemáticas y produce una salida. Si la entrada es ligeramente errónea, o si las configuraciones internas son ligeramente diferentes de lo que deberían ser, la salida cambia. En un sistema simple, este cambio podría ser pequeño y manejable. Pero en un sistema caótico, donde pequeñas diferencias conducen a resultados muy distintos, estos errores pueden explotar. Para entender esto, imagine intentar predecir la trayectoria de una hoja flotando en un río turbulento. Si se equivoca ligeramente sobre la posición inicial de la hoja, su predicción de dónde estará en un minuto podría ser completamente errónea. Los investigadores se centraron en un tipo específico de red neuronal donde la matemática interna se construye utilizando una función llamada Leaky ReLU. Esta función tiene una propiedad única: está hecha de líneas rectas. Aunque la red general es compleja, esta estructura lineal por partes permite a los investigadores crear un mapa local preciso de cómo los pequeños cambios en la entrada o en las configuraciones afectan la salida.

Utilizando este conocimiento, el equipo derivó un conjunto de ecuaciones que describen cómo evolucionan la predicción promedio y la dispersión de los posibles resultados. En lugar de adivinar, calcularon la relación matemática exacta entre la incertidumbre en las entradas, la incertidumbre en las configuraciones de la red y la incertidumbre resultante en la predicción. Una parte crucial de su descubrimiento fue darse cuenta de que, a medida que la red se ejecuta paso a paso, la incertidumbre en el estado del sistema y la incertidumbre en las configuraciones de la red se vinculan. Desarrollaron una forma de rastrear esta conexión, que llaman cocovarianza, asegurando que el modelo tenga en cuenta cómo los dos tipos de incertidumbre se influyen mutuamente. Esto es vital porque ignorar este vínculo conduce a predicciones inexactas.

Los investigadores probaron primero su método en el sistema Lorenz-63, un modelo matemático que imita el comportamiento caótico de la convección atmosférica. En este sistema, el horizonte de predictibilidad —el límite de tiempo más allá del cual las predicciones se vuelven inútiles— es de aproximadamente 5.11 unidades de tiempo. El equipo comparó su nuevo método con un enfoque estándar conocido como simulación de Monte Carlo, que consiste en ejecutar el modelo miles de veces con entradas ligeramente diferentes para ver el rango de resultados. Aunque el método estándar es preciso, es computacionalmente costoso. El nuevo método, que llaman Propagación de Momentos Remuestreados, logró una precisión similar pero con muchos menos recursos computacionales. En sus pruebas, el uso de solo 100 partículas (que representan diferentes escenarios posibles) fue suficiente para igualar los resultados de 3,000 muestras del método estándar. El nuevo enfoque rastreó con éxito la media de la predicción y la dispersión de la incertidumbre hasta el borde de la predictibilidad, mientras que una versión más simple de su método que no incluía el remuestreo se volvió inestable y produjo resultados erróneos tras un corto periodo de tiempo.

Animados por estos resultados, el equipo aplicó su método a un sistema mucho más complejo: la ecuación de Kuramoto–Sivashinsky. Este modelo describe el comportamiento de una fina película de fluido que fluye hacia abajo de una superficie, un proceso que es altamente caótico e involucra cientos de variables. Los investigadores discretizaron el sistema en 200 dimensiones, creando un desafío computacional masivo. Aquí, el horizonte de predictibilidad era más largo, extendiéndose hasta unas 41.84 unidades de tiempo. El equipo ejecutó su simulación durante 500 pasos de tiempo, lo que cubrió una parte significativa de este horizonte. Incluso en este entorno de alta dimensión, el método se mantuvo bien. Capturó con precisión el crecimiento de la incertidumbre y el comportamiento promedio del sistema. Sin embargo, los investigadores señalaron una limitación práctica: el método requiere una gran cantidad de memoria informática para almacenar las conexiones entre el estado del sistema y los parámetros de la red. Para el sistema de 200 dimensiones, esto requirió unos 48 gigabytes de almacenamiento solo para estas conexiones. A pesar de esta demanda de memoria, el método demostró que es posible propagar la incertidumbre a través de sistemas caóticos de alta dimensión sin recurrir a la fuerza bruta de ejecutar miles de simulaciones completas.

El éxito de este enfoque depende de una técnica llamada remuestreo. En su método, los investigadores rastrean una colección de posibles escenarios, o partículas. A medida que pasa el tiempo, la incertidumbre asociada con cada partícula crece. Si se permite que este crecimiento continúe sin control, el modelo se vuelve inestable. Para evitar esto, los investigadores "reinician" el sistema periódicamente. En intervalos específicos, toman el estado actual de cada partícula, que está representado por una nube local de posibilidades, y extraen una nueva muestra de ella. Este proceso refresca la colección de partículas, evitando que la incertidumbre se descontrole, permitiendo al mismo tiempo que el modelo capture las formas complejas y no lineales en las que evoluciona la incertidumbre. Descubrieron que el tiempo de estos reinicios es crítico. Si ocurren con demasiada frecuencia, el modelo no logra acumular suficiente incertidumbre y subestima el riesgo. Si ocurren con demasiada escasez, el modelo se vuelve inestable. A través de sus experimentos, determinaron que un intervalo específico, como cada 10 a 20 pasos de tiempo, proporcionaba el mejor equilibrio para los sistemas que probaron.

Este trabajo representa un paso significativo para hacer que la inteligencia artificial sea más confiable para aplicaciones científicas. Al proporcionar una forma de rastrear matemáticamente la incertidumbre a través de sistemas complejos y caóticos, los investigadores han ofrecido una herramienta que puede ayudar a los científicos a comprender los límites de sus predicciones. El método no elimina la incertidumbre, sino que proporciona una imagen clara y precisa de cómo esa incertidumbre crece y evoluciona. Esto es particularmente importante en campos como la modelización climática y la dinámica de fluidos, donde los pequeños errores pueden conducir a interpretaciones erróneas a gran escala. Los investigadores reconocen que su método está actualmente limitado por la memoria requerida para sistemas muy grandes, pero sugieren que las mejoras futuras podrían reducir este costo. Sus hallazgos demuestran que, combinando las propiedades estructurales de las redes neuronales con un cuidadoso análisis matemático, es posible construir modelos que no solo sean predictivos, sino también honestos sobre sus propias limitaciones. La capacidad de pronosticar qué tan lejos se puede confiar en una predicción es tan valiosa como la predicción misma, y este nuevo marco proporciona una forma robusta de determinar ese límite.