Resumen Técnico: Descubrimiento de Operadores Neuronales a partir de Trayectorias Heterogéneas

Planteamiento del Problema

En las ciencias físicas, los datos de trayectorias se recolectan frecuentemente de sistemas que comparten una ley gobernante común pero difieren en factores específicos del sistema no observados (por ejemplo, parámetros físicos, geometrías, condiciones de contorno). En muchos conjuntos de datos experimentales y de simulaciones heredadas, estos factores distintivos no están registrados o son imposibles de medir. En consecuencia, los datos consisten en trayectorias heterogéneas generadas por múltiples configuraciones subyacentes sin etiquetas explícitas para las variables que impulsan su variación.

El desafío central es aprender modelos predictivos que capturen tanto la dinámica compartida de una familia de sistemas como las diferencias entre instancias específicas de sistemas directamente desde estas trayectorias no etiquetadas. Los enfoques existentes enfrentan limitaciones:

• Regresión Simbólica: Restringida por librerías de primitivas y computacionalmente costosa para la dinámica espaciotemporal de alta dimensión.
• Operadores Neuronales Paramétricos (PNO): Requieren entradas de factores explícitos, los cuales no están disponibles en este entorno.
• Operadores Neuronales Autorregresivos (ANO): Se condicionan a ventanas de estados pasados, lo que conduce a representaciones de alta dimensión y no estructuradas que acumulan errores de despliegue (rollout) y fallan al identificar la variación específica del sistema.
• Modelos Condicionados por Latencia: A menudo sacrifican expresividad, escalabilidad o interpretabilidad, o dependen de adaptaciones de meta-aprendizaje costosas.

Metodología: Descubrimiento de Operadores Neuronales (NOD)

Los autores formulan el Descubrimiento de Operadores Neuronales (NOD) como el problema de aprender un operador de solución compartido y la variación específica del sistema directamente de trayectorias heterogéneas sin supervisión de parámetros. El marco propuesto, NODnet, emplea una realización factorizada que consta de dos componentes:

1. Codificador de Trayectoria ($f_\phi$): Mapea una ventana de estado pasado (trayectoria de condicionamiento) de una instancia de sistema a una representación latente de baja dimensión $c$.
2. Operador de Evolución de Estado ($g_\theta$): Un operador neuronal condicional que predice estados futuros basados en un estado inicial y la representación latente $c$.

Para asegurar que la representación latente capture los factores gobernantes en lugar de características transitorias de la trayectoria, NODnet integra tres mecanismos clave:

1. Predicción Factorizada

En lugar de predecir estados futuros directamente de una ventana de estado pasado (como en un ANO), el modelo factoriza el proceso:
$$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$$
El codificador infiere un latente $c$ de una trayectoria de condicionamiento, mientras que el decodificador predice la evolución de una trayectoria separada de la misma instancia del sistema.

2. Muestreo Desacoplado de Trayectorias (TDS)

Para evitar que la representación latente codifique información específica de las condiciones iniciales, el codificador y el decodificador se entrenan utilizando trayectorias generadas a partir de diferentes condiciones iniciales de la misma instancia del sistema.

• El codificador infiere $c$ de una trayectoria de condicionamiento $x'_{0:s}$.
• El decodificador predice la evolución de una trayectoria distinta $x_{t:t+1}$ del mismo sistema.
  Esta restricción fomenta que el codificador retenga solo los invariantes trans-trayectoria (los factores gobernantes) y suprima las características transitorias.

3. Selección de Dimensión

La dimensión latente $d$ se selecciona como el valor más pequeño suficiente para explicar las diferencias entre las instancias del sistema. Esto se logra mediante un procedimiento de dos etapas:

• Etapa 1: Identificar dimensiones candidatas donde el aumento de $d$ ya no produce mejoras significativas en la pérdida de entrenamiento más allá de la variabilidad de la semilla aleatoria.
• Etapa 2: Seleccionar la dimensión final $d^*$ como la menor dimensión candidata donde el modelo $(d+1)$ no produce estructura adicional alineada con los factores (evaluada mediante el Análisis de Componentes Principales de las medias latentes por instancia).

Contribuciones Clave

• Formulación de NOD: Una nueva formulación del problema para aprender operadores compartidos y variaciones específicas del sistema sin factores gobernantes etiquetados.
• Condicionamiento Latente Factorizado: Una arquitectura novedosa que desacopla la codificación de la trayectoria de la evolución del estado, permitiendo el descubrimiento de espacios latentes de baja dimensión e interpretables.
• Muestreo Desacoplado de Trayectorias: Una estrategia de entrenamiento que impone la extracción de invariantes a nivel de sistema al emparejar trayectorias de condicionamiento y predicción con diferentes condiciones iniciales.
• Evaluación de Dimensión Basada en Datos: Un procedimiento sistemático para determinar automáticamente la dimensionalidad intrínseca de la variación del sistema, coincidiendo con el número de factores gobernantes independientes sin conocimiento previo.

Resultados

El método fue validado en tres familias de ecuaciones diferenciales parciales (PDE) y cuatro casos de estudio adicionales en la información suplementaria:

1. Ecuación de Burgers (Viscosidad Variable):

   • Resultado: El modelo identificó correctamente una dimensión latente $d^*=1$, correspondiente al único factor variable (viscosidad $\nu$).
   • Desempeño: Logró predicciones precisas de largo horizonte y extrapoló con éxito al límite de no viscosidad ($\nu=0$), un régimen singular donde los métodos numéricos clásicos suelen tener dificultades. El espacio latente aprendido exhibió una correspondencia suave y monótona con la viscosidad.
   • Comparación: Superó a las líneas base autorregresivas (ANO) y de sistema único (SNO), particularmente en despliegues de largo horizonte donde el ANO acumuló un error de deriva significativo.

2. Estela de Flujo de Cilindro (Malla No Estructurada):

   • Resultado: Identificó $d^*=1$ a pesar de que el sistema está parametrizado por la viscosidad y la velocidad de entrada, ya que la dinámica en el régimen de número de Reynolds probado está gobernada por un único grupo adimensional ($Re$).
   • Desempeño: Demostró robustez bajo supervisión dispersa (entrenado con solo 16 trayectorias) y generalización a viscosidades y velocidades de entrada no vistas.
   • Consistencia Física: Recuperó coeficientes de arrastre y números de Strouhal correctos, mientras que las líneas base autorregresivas exhibieron deriva de frecuencia y un comportamiento de arrastre no físico.

3. Sistema de Reacción-Difusión de FitzHugh–Nagumo:

   • Resultado: Identificó correctamente $d^*=2$, coincidiendo con los dos factores gobernantes independientes ($k, \beta$).
   • Generalización: Demostró tanto la inferencia de un solo paso (inferir $c$ de una sola trayectoria) como la inferencia de cero pasos (muestrear $c$ directamente del espacio latente aprendido). El espacio latente organizó las instancias del sistema en una estructura suave y aproximadamente invertible alineada con el espacio real de parámetros, permitiendo la extrapolación más allá del envolvente de entrenamiento.
   • Geometría de Supervisión: Mostró que los decodificadores jerárquicos (supervisando múltiples horizontes temporales) produjeron representaciones latentes más estructuradas y despliegues más estables en comparación con los decodificadores autorregresivos de un solo paso.

Significado y Reivindicaciones

El artículo establece un paradigma interpretable para el aprendizaje de operadores en ausencia de supervisión explícita de factores. Los autores afirman que:

• Identificabilidad: Los espacios latentes aprendidos se alinean consistentemente con los factores gobernantes subyacentes, exhibiendo estructuras suaves y aproximadamente invertibles (difeomorfismos) con el espacio de factores real, a pesar de ser aprendidos sin etiquetas de parámetros.
• Generalización: El método permite la generalización a instancias de sistemas previamente no vistos, incluyendo la extrapolación de cero pasos a través de regímenes (por ejemplo, límites de no viscosidad) y la predicción estable de largo horizonte.
• Eficiencia: Al restringir la dimensión latente al tamaño mínimo necesario, el modelo evita la "holgura estructural" que conduce a la acumulación de errores en espacios latentes de alta dimensión.
• Complementariedad: NOD ofrece una alternativa escalable a la regresión simbólica para sistemas complejos y de alta dimensión donde las ecuaciones de forma cerrada son difíciles de recuperar, y una alternativa más estructurada a los modelos fundacionales autorregresivos para sistemas con parámetros no observados.

Los autores señalan limitaciones, incluyendo el enfoque actual en factores que varían continuamente en espacios euclidianos de baja dimensión, el uso de datos generados por simulación y la necesidad de investigar más a fondo las clases de sistemas discretos, la dinámica de bifurcación y la robustez ante el ruido experimental.