Learning Dynamics from Input-Output Data with Hamiltonian Gaussian Processes

Resumen Técnico: Aprendizaje de Dinámicas con Procesos Gaussianos Hamiltonianos

1. Planteamiento del Problema

El objetivo principal es aprender modelos de dinámica de sistemas físicos que sean físicamente consistentes (es decir, que respeten las leyes de conservación de energía) utilizando únicamente datos de entrada-salida (posición y fuerzas externas), sin acceso a mediciones de velocidad o momento.

• Limitaciones de trabajos previos: Las metodologías existentes de Procesos Gaussianos (GP) Hamiltonianos requieren mediciones completas del estado del sistema, incluyendo momentos o velocidades ($\dot{q}, \dot{p}$). En la práctica, obtener estas variables es difícil; aproximarlas mediante diferenciación numérica de la posición es altamente sensible al ruido de medición.
• El desafío: Desarrollar un marco de aprendizaje que:
  1. Incorpore sesgos inductivos físicos (mecánica hamiltoniana).
  2. Funcione en sistemas no conservativos (con disipación y fuerzas externas).
  3. Utilice solo datos de posición ($q$) y entrada ($u$).
  4. Proporcione cuantificación de incertidumbre (en estados latentes, hiperparámetros y coeficientes estructurales).
  5. Sea computacionalmente eficiente para evitar la complejidad cúbica de los GPs estándar.

2. Metodología Propuesta

Los autores proponen un esquema de identificación de sistemas totalmente bayesiano basado en un Proceso Gaussiano Hamiltoniano de Rango Reducido.

A. Modelado del Sistema
Se considera un sistema de espacio de estados continuo gobernado por mecánica hamiltoniana forzada y disipativa:
$$\dot{x} = (J(x) - R(x)) \nabla_x H(x) + G(x)u + w$$
Donde:

• $x = [q, p]^\top$ es el estado (coordenadas generalizadas y momentos).
• $H(x)$ es la función de Hamiltoniano (desconocida, modelada como un GP).
• $J(x)$ es la matriz de interconexión antisimétrica.
• $R(x)$ es la matriz de disipación simétrica y semidefinida positiva.
• $G(x)$ es la matriz de entrada.
• $w$ y $e$ son ruido de proceso y medición, respectivamente.

B. Proceso Gaussiano de Rango Reducido (Reduced-Rank GP)
Para superar la ineficiencia computacional de los GPs estándar (que escalan mal con el número de datos), se utiliza una aproximación de rango reducido (Solin y Särkkä, 2020):

• El Hamiltoniano $H(x)$ se aproxima mediante una expansión de eigenfunciones de dimensión finita: $H(x) \approx \sum a_k \phi_k(x)$.
• Esto convierte el modelo en lineal en sus parámetros (los coeficientes $a$), permitiendo expresiones de gradiente cerradas y una complejidad computacional independiente de la dimensión de los datos de entrenamiento ($O(M)$ en lugar de $O(T^3)$).
• Se utiliza un kernel cuadrático exponencial isotrópico.

C. Esquema de Inferencia Bayesiana (Particle Gibbs)
Dado que no se observan los momentos ($p$) ni el gradiente del Hamiltoniano directamente, se emplea un algoritmo Particle Markov Chain Monte Carlo (PMCMC), específicamente un esquema Particle Gibbs:

1. Inferencia de Estados Latentes: Se utiliza un Conditional Sequential Monte Carlo (C-SMC) para estimar la distribución de los estados ocultos ($x_t$) y los gradientes auxiliares ($h_t = \nabla H(x_t)$) dados los parámetros actuales.
2. Aprendizaje de Parámetros:
   • Parámetros del Hamiltoniano ($\theta$): Se actualizan en forma cerrada aprovechando la conjugación entre el prior Normal-Inverse Gamma y la verosimilitud lineal.
   • Hiperparámetros Estructurales ($\vartheta_S$): Se estiman coeficientes desconocidos en las matrices $J, R, G$ (ej. coeficientes de amortiguamiento) mediante pasos de Metropolis-Hastings dentro del esquema Gibbs.
   • Hiperparámetros del Kernel ($\vartheta_K$): También se estiman mediante Metropolis-Hastings.

3. Contribuciones Clave

1. Aprendizaje solo con Entrada-Salida: Es el primer trabajo que aplica GPs Hamiltonianos para aprender dinámicas no conservativas utilizando exclusivamente mediciones de posición y entradas, eliminando la necesidad de datos de velocidad/momento.
2. Inferencia Totalmente Bayesiana: Proporciona distribuciones de probabilidad completas para:
   • Estados latentes ocultos (momentos).
   • Hiperparámetros del kernel (longitud de escala, varianza).
   • Parámetros estructurales físicos (ej. coeficientes de amortiguamiento).
3. Eficiencia Computacional: Mediante el uso de GPs de rango reducido, el método logra una complejidad computacional baja y permite el aprendizaje de gradientes cerrados, facilitando la escalabilidad en comparación con los GPs exactos.
4. Modelado No Conservativo: El marco permite capturar explícitamente el intercambio de energía con el entorno (fuerzas externas) y la disipación (amortiguamiento), a diferencia de trabajos anteriores que asumen sistemas conservativos.

4. Resultados y Evaluación

El método se evaluó en un caso de estudio de simulación con un oscilador no armónico no lineal.

• Comparativa: Se comparó contra:
  • Un modelo GP Hamiltoniano exacto (Beckers et al., 2022) que usa datos de estado completo.
  • La misma propuesta usando datos de estado completo (como referencia superior).
• Precisión:
  • El modelo propuesto (con solo datos de entrada-salida) logró un Error Cuadrático Medio (RMSE) en el mapa de flujo y la magnitud del Hamiltoniano comparable al modelo que tenía acceso a los momentos completos.
  • La capacidad de predicción del flujo dinámico fue alta, demostrando que la restricción física compensa la falta de datos de velocidad.
• Inferencia de Parámetros:
  • El algoritmo estimó con precisión la densidad de probabilidad del coeficiente de amortiguamiento desconocido y los hiperparámetros del kernel.
  • Se observó que, aunque la estimación del amortiguamiento con datos de entrada-salida tuvo un ligero sesgo (debido a problemas de identificabilidad en el ejemplo específico), el método capturó correctamente la dinámica global y la disipación de energía.
• Consistencia Física: Las simulaciones forward de las muestras del posterior mostraron comportamientos físicamente coherentes, incluyendo la convergencia a puntos de equilibrio y la respuesta correcta a la disipación de energía cuando la entrada se anulaba.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre el aprendizaje automático informado por física y la identificación de sistemas bayesiana.

• Aplicabilidad Práctica: Elimina una barrera importante para la aplicación de control basado en modelos en sistemas reales donde los sensores de velocidad son costosos, ruidosos o inexistentes.
• Seguridad y Control: La cuantificación de incertidumbre inherente permite el diseño de controladores estocásticos más seguros y robustos, capaces de manejar la falta de conocimiento previo detallado del sistema.
• Eficiencia: Al combinar la estructura física con la eficiencia computacional de los GPs de rango reducido, hace viable el aprendizaje de dinámicas complejas en escenarios con datos limitados.

En conclusión, el artículo demuestra que es posible construir modelos de dinámica no lineales, no conservativos y con cuantificación de incertidumbre, aprendiendo exclusivamente de datos de posición y fuerza, superando las limitaciones de las metodologías actuales que dependen de mediciones de estado completo.