Data-Based Dynamical Systems Reconstruction: An Adequacy/Reliability Test

Resumen Técnico: Reconstrucción de Sistemas Dinámicos Basada en Datos: Una Prueba de Adecuación/Fiabilidad

Planteamiento del Problema
El artículo aborda el desafío de validar la reconstrucción de sistemas dinámicos estocásticos a partir de datos experimentales ruidosos. Si bien los avances recientes en aprendizaje automático (por ejemplo, redes neuronales) y enfoques continuos (por ejemplo, operadores de Koopman) han mejorado la capacidad de reconstruir reglas dinámicas a partir de series temporales, la validación de estas reconstrucciones sigue siendo problemática.

Las estrategias de validación estándar suelen basarse en la minimización de una función de pérdida durante el entrenamiento o en el uso de métricas independientes (por ejemplo, divergencia de Kullback-Leibler, distancia de Wasserstein) en datos no utilizados para el entrenamiento. Los autores argumentan que estos enfoques son insuficientes para sistemas estocásticos por dos razones principales:

1. Falta de Garantías Teóricas: A diferencia de los sistemas deterministas, donde la reconstrucción de la trayectoria está teóricamente garantizada bajo condiciones generales, no existe tal teoría para sistemas donde el proceso generador no puede asumirse como determinista.
2. Limitaciones de las Métricas y Degeneración: Las métricas estándar a menudo fallan al distinguir de manera robusta entre sistemas debido a la variabilidad intrínseca de las trayectorias estocásticas. Además, la "degeneración" (donde diferentes parámetros del modelo producen salidas observables idénticas) y la "no identificabilidad" dificultan la definición de umbrales de error universales. Un error "pequeño" en una métrica puede no garantizar una reconstrucción adecuada, y diferentes métricas pueden ofrecer evaluaciones contradictorias de los mismos datos.

Metodología: La Prueba de Adecuación/Fiabilidad (AR)
Para superar la dependencia de umbrales de error arbitrarios y las limitaciones de las métricas estándar, los autores proponen una prueba exploratoria de dos etapas llamada prueba de Adecuación/Fiabilidad (AR). Esta prueba evalúa si una serie temporal objetivo se "mezcla" con un conjunto de trayectorias generadas por un modelo reconstruido candidato.

La prueba opera sobre la estructura geométrica de los datos (histogramas de variables de estado) en lugar del emparejamiento de trayectorias punto a punto. Consta de dos etapas:

1. Etapa 1: La Prueba de Tipicidad (Rango Intercuartílico de Tukey)

   • Objetivo: Determinar si el histograma de los datos objetivo es "típico" en relación con la distribución de los histogramas generados por el modelo candidato.
   • Mecanismo: Para cada bin en el histograma, el valor objetivo se compara contra el conjunto de valores de $N$ histogramas de prueba generados por el modelo. Utilizando el método del IQR de Tukey (con un factor de tolerancia estándar $f=1.5$), el bin objetivo se clasifica como atípico o típico.
   • Métrica: Se calcula un "Índice de Tipicidad" ($TI_s$) como el área del histograma objetivo compuesta por bins no atípicos. Si el $TI_s$ supera el límite inferior del rango del IQR (o un umbral definido por el usuario $1-\alpha$), el objetivo se considera "típico". Si no es así, el modelo es rechazado por inadecuado.

2. Etapa 2: La Prueba de Regularidad (Prueba de Signo Estadística)

   • Objetivo: Evaluar si las fluctuaciones locales del histograma objetivo alrededor de la mediana de los histogramas de prueba son estadísticamente consistentes con la dinámica del modelo.
   • Mecanismo: Para los bins clasificados como típicos en la Etapa 1, se analiza la desviación del valor objetivo respecto a la mediana del conjunto de prueba. Se aplica una prueba de signo no paramétrica para verificar si los signos de estas desviaciones siguen una distribución binomial ($p=0.5$), como se espera bajo la hipótesis nula de que el objetivo y las pruebas comparten la misma dinámica subyacente.
   • Métrica: Si el valor p es mayor que el nivel de significancia $\alpha$ (típicamente 0.05), la reconstrucción se considera "regular" y adecuada. Si el valor p es menor, las fluctuaciones se consideran inconsistentes y el modelo es rechazado.

Resultos Clave
Los autores validaron la prueba AR utilizando cuatro modelos representativos: los sistemas de Chua y Lorenz (caóticos), y los sistemas de FitzHugh-Nagumo (FHN) y Lambda-Omega ($\Lambda\Omega$) (oscilatorios), todos sometidos a ruido gaussiano aditivo.

• Fallo de las Métricas Estándar: En simulaciones de los sistemas FHN y Lorenz con ruido, las métricas estándar (divergencia KL, distancia de Wasserstein, distancia de Hellinger) exhibieron una alta variabilidad (Coeficiente de Variación de hasta 60% para Lorenz). Estas métricas no lograron reconocer robustamente que múltiples ensayos fueron generados por el mismo sistema, produciendo a menudo valores que no podían distinguirse de los atípicos o que no lograban converger a cero.
• Éxito de la Prueba AR: Al aplicarse al sistema Lorenz estocástico reconstruido mediante una Red Neuronal Recurrente Lineal por Partes (PLRNN), la prueba AR identificó correctamente la reconstrucción como adecuada. El dato objetivo fue clasificado tanto como "típico" (alto $TI_s > 0.95$) como "regular" (pasando la prueba de signo), mientras que las métricas estándar mostraron una amplia dispersión y resultados inconcluyentes.
• Estabilidad: Se encontró que el resultado de la prueba es estable a medida que aumenta el número de ensayos, siempre que el nivel de ruido no sea excesivo. Aunque los niveles altos de ruido introdujeron cierta variabilidad en los resultados, la prueba generalmente convergió a una clasificación consistente.
• Impacto de la Degeneración: El estudio destacó que la degeneración del sistema restringe la aplicabilidad de la prueba.
  • En el modelo $\Lambda\Omega$, altamente degenerado, donde diferentes parámetros producen ciclos límite idénticos, la prueba tuvo dificultades para distinguir entre el sistema de referencia y las variantes degeneradas, particularmente en niveles bajos de ruido donde las dinámicas transitorias no se activaron suficientemente.
  • En el modelo FHN, que presenta menos degeneración estructural, la prueba distinguió los sistemas de manera más efectiva, aunque ocurrieron falsos positivos en niveles altos de ruido cuando los sistemas eran solo ligeramente diferentes.
• Sesgo de Reconstrucción: Un hallazgo crítico fue que la prueba AR a veces puede favorecer a un modelo reconstruido sobre el sistema original si el sistema original generó una trayectoria "atípica" (rara). El modelo reconstruido, entrenado en esta órbita específica, podría producir un conjunto de ensayos donde la órbita objetivo parezca más "típica" de lo que es dentro del conjunto más amplio del sistema original.

Significancia y Reivindicaciones
El artículo afirma ofrecer un marco universal y agnóstico al modelo para validar reconstrucciones de sistemas dinámicos estocásticos. Sus principales contribuciones son:

1. Independencia de Umbrales: La prueba AR evita la necesidad de umbrales de tolerancia de error arbitrarios y dependientes del contexto. En su lugar, establece "rangos de admisibilidad" dinámicamente basados en la variabilidad de los propios ensayos del modelo candidato.
2. Naturaleza Exploratoria: A diferencia de la inferencia estadística tradicional que depende de estrictas suposiciones probabilísticas, la prueba AR se enmarca como una herramienta de análisis exploratorio de datos. Utiliza resúmenes estadísticos robustos (IQR, mediana, prueba de signo) para guiar la evaluación de la calidad de la reconstrucción sin requerir suposiciones de ergodicidad o hipótesis específicas sobre la cardinalidad del sistema.
3. Manejo de la Estocasticidad: Al centrarse en la estructura geométrica (histogramas) y en la mezcla estadística de los datos en lugar del emparejamiento de trayectorias punto a punto, la prueba aborda la limitación fundamental de que las trayectorias estocásticas no son únicas.
4. Eficiencia de Datos: El método permite el uso de todo el conjunto de datos para el ajuste del modelo, aplicando la prueba de validación a posteriori. Esto es particularmente valioso en escenarios donde los datos son limitados, ya que no requiere la división de los datos en conjuntos separados de entrenamiento y validación.

Los autores concluyen que, si bien la prueba AR no proporciona una clasificación absoluta de "bueno/malo", ofrece una evaluación rigurosa y relativa de si la dinámica de un sistema reconstruido es consistente con las propiedades estadísticas y geométricas de los datos objetivo. Reconocen que en casos de extrema degeneración, la prueba puede no distinguir entre modelos competidores, pero identifica con éxito cuándo una reconstrucción falla en capturar la variabilidad esencial del sistema objetivo.