Resumen Técnico: La Predicción No es Física: Aprendizaje y Evaluación de Cantidades Conservadas en Simuladores Neuronales

Enunciado del Problema

Las redes neuronales entrenadas con datos de simulación física a menudo logran una alta precisión de predicción a corto plazo (bajo Error Cuadrático Medio de proyección), pero fallan en obedecer leyes físicas fundamentales, como la conservación de la energía. Incluso cuando los modelos generativos, como las redes de difusión, se guían mediante estructuras de conservación aprendidas durante la muestreo, frecuentemente producen trayectorias donde la energía se desvía significativamente con el tiempo. Esta desconexión plantea una pregunta crítica: ¿Pueden las redes neuronales aprender o seleccionar cantidades globalmente conservadas directamente a partir de observaciones de estado, y es un error de predicción bajo suficiente para garantizar un movimiento físicamente válido?

Los autores investigan si los modelos pueden identificar propiedades invariantes a partir de trayectorias físicas para verificar modelos, guiar la generación o identificar leyes físicas, abordando específicamente la brecha entre la precisión a nivel de trayectoria y la conservación global.

Metodología

Entornos y Datos

El estudio evalúa tres sistemas hamiltonianos clásicos con invariantes analíticos conocidos:

1. Movimiento de Proyectil: Energía separable $E = \frac{1}{2}(v_x^2 + v_y^2) + gy$.
2. Péndulo No Lineal: Hamiltoniano no separable $H = \frac{1}{2}\omega^2 - g \cos \theta$.
3. Sistema Masa-Resorte: Energía separable $E = \frac{1}{2}kx^2 + \frac{1}{2}v^2$.

Los datos se generan utilizando soluciones cerradas exactas o integración adaptativa RK45 para asegurar que la deriva de energía de la verdad fundamental sea despreciable ($10^{-5}$ a $10^{-7}$). Los experimentos incluyen trayectorias sin ruido y trayectorias con ruido gaussiano aditivo del 1%.

Modelos Evaluados

Los autores comparan cuatro enfoques para aprender invariantes:

1. Red de Energía Estructurada (SE): Una arquitectura que descompone explícitamente el escalar en términos cinéticos y potenciales, $H(s) = T_\theta(v) + V_\phi(q)$. Esto sirve como línea base con fuertes priores físicos.
2. Red de Descubrimiento de Conservación de Caja Negra (CDN): Una MLP estándar sin estructura física impuesta.
   • CDN-Conservación: Entrenada solo en consistencia temporal.
   • CDN-Alineada: Entrenada en consistencia temporal más una pérdida de alineación estandarizada débil hacia la energía analítica en $t=0$.
3. CDN Polinómica: Un modelo lineal $f(s) = w^\top \phi(s)$ donde $\phi(s)$ incluye polinomios de grado 2 y características trigonométricas.
4. Línea Base de Difusión: Un DDPM entrenado para generar cambios de estado ($\Delta s$), guiado durante la proyección por el invariante CDN y una proyección suave hacia el nivel de energía de la red SE.

Funciones de Pérdida

El objetivo principal para el aprendizaje de invariantes combina dos términos:

1. Consistencia Temporal: Minimiza la diferencia entre el invariante aprendido en pasos de tiempo consecutivos, $f(s_{t+1}) - f(s_t)$.
2. Umbral de Varianza: Evita la solución trivial donde el modelo emite una constante para todas las entradas, imponiendo varianza en el lote inicial.
3. Pérdida de Alineación (Opcional): Una pérdida estandarizada débil en $t=0$ para alinear el invariante aprendido con la energía analítica hasta escala y desplazamiento.

Contribuciones y Resultados Clave

1. La Precisión de Predicción No Implica Conservación

El modelo de difusión logró un MSE de proyección bajo (por ejemplo, $3.4 \times 10^{-4}$ para el péndulo), pero falló en conservar la energía. La desviación estándar de la energía en las trayectorias generadas fue 7.500 a 36.000 veces mayor que en las trayectorias de verdad fundamental. Esto demuestra que un error de predicción bajo y una guía suave de invariantes son insuficientes para imponer leyes de conservación globales.

2. La Necesidad de Supervisión Débil para la Selección de Invariantes

Aunque el objetivo de conservación (consistencia temporal) alienta al modelo a aprender algo constante, está subdeterminado.

• CDN-Conservación (Sin Alineación): Sin alineación con la energía analítica, el modelo falla en recuperar el Hamiltoniano verdadero. En los sistemas de péndulo y masa-resorte, el $R^2$ de Pearson colapsó a casi cero ($< 10^{-3}$).
• CDN-Alineada: Con un pequeño término de alineación ($\lambda_{align}=0.2$), la CDN de caja negra alcanzó $R^2 \ge 0.996$ en todos los sistemas, demostrando que la consistencia temporal combinada con supervisión débil puede recuperar cantidades físicamente significativas sin priores estructurales.

3. Sensibilidad a los Calendarios de Entrenamiento (CDN Polinómica)

La CDN polinómica mostró una sensibilidad significativa a la duración del entrenamiento y al volumen de datos:

• Calendario Corto: En el péndulo, convergió a una solución parcial dominada por el término de energía cinética ($\omega^2$), omitiendo el término potencial ($\cos \theta$), resultando en $R^2 = 0.78$.
• Calendario Largo: Con más épocas y datos, el modelo recuperó el Hamiltoniano completo, alcanzando $R^2 = 0.9998$.
  Esto indica que el paisaje de pérdida de conservación contiene mínimos locales pobres (Hamiltonianos parciales) que requieren un presupuesto de entrenamiento suficiente para escapar.

4. Robustez al Ruido

Bajo un ruido gaussiano aditivo del 1%, el rendimiento de la Red de Energía Estructurada se degradó uniformemente (el $R^2$ disminuyó en $\approx 0.013$). Por el contrario, la CDN de Caja Negra fue más robusta en los sistemas de proyectil y masa-resorte, superando al modelo estructurado. Los autores sugieren que forzar una descomposición $T(v) + V(q)$ en datos ruidosos requiere ajustar señales corruptas por separado, mientras que la CDN sin restricciones puede aprender una función robusta del estado completo.

5. Validación de Regresión Simbólica

Utilizando regresión dispersa STLSQ sobre los objetivos de energía analítica, los autores confirmaron que su biblioteca de características era lo suficientemente expresiva para recuperar ecuaciones simbólicas exactas para los tres sistemas. Sin embargo, señalan que esto es una verificación de flujo de trabajo y no un descubrimiento no supervisado, ya que el objetivo de regresión era la energía conocida.

Significado y Afirmaciones

El artículo argumenta que las métricas de precisión a nivel de trayectoria (como el MSE) son benchmarks insuficientes para modelos de simulación física. Un modelo puede ser altamente preciso a corto plazo mientras viola leyes fundamentales de conservación.

Los autores afirman que:

• La conservación es un eje distinto de calidad: Debe evaluarse por separado del error de predicción.
• Los priores arquitectónicos tienen compensaciones: Si bien las redes estructuradas (SE) funcionan casi perfectamente en datos limpios que coinciden con sus supuestos, pueden ser más frágiles ante el ruido que los modelos flexibles de caja negra (CDN) cuando se proporciona supervisión débil.
• La optimización importa: La capacidad de recuperar cantidades conservadas depende en gran medida de los calendarios de entrenamiento; presupuestos limitados pueden llevar a soluciones parciales que parecen válidas ($R^2$ moderado) pero que fallan en capturar la física completa.
• La guía no es una panacea: La guía suave desde invariantes aprendidos durante el muestreo de difusión no garantiza la conservación de energía en proyecciones largas, destacando la necesidad de restricciones más estrictas o mejores estrategias de muestreo.

El trabajo concluye que, aunque las redes neuronales pueden aprender invariantes, hacerlo de manera fiable requiere una consideración cuidadosa del diseño de la pérdida, la duración del entrenamiento y el equilibrio entre priores estructurales y la flexibilidad del modelo.