Resumen Técnico: Estimación Secuencial Bayesiana de Parámetros y Estados mediante un Marco Variacional

Planteamiento del Problema

El artículo aborda el desafío de la estimación conjunta en línea de parámetros desconocidos ($\theta$) y estados del sistema ($X_k$) para sistemas dinámicos, específicamente bajo condiciones de observaciones ruidosas e incompletas. Esta tarea es crítica para aplicaciones como los Gemelos Digitales (DTs), que requieren actualizaciones continuas del conocimiento del modelo para respaldar la predicción y la toma de decisiones.

La dificultad central radica en calcular la distribución posterior conjunta $p(X_k, \theta \mid Y_k)$, donde $Y_k$ representa todas las observaciones hasta el tiempo $k$. Esta distribución proporciona una cuantificación de la incertidumbre precisa al capturar las dependencias entre estados y parámetros. Sin embargo, la posterior conjunta es generalmente intratable. Los métodos existentes enfrentan limitaciones significativas:

• Filtros Gaussianos Conjuntos (ej., Joint UKF, Joint EnKF): Asumen que la posterior conjunta es Gaussiana. Esta suposición es excesivamente restrictiva para sistemas no lineales, lo que conduce a grandes errores de aproximación.
• Filtros de Partículas Conjuntos (Joint PFs): Evitan las suposiciones Gaussianas pero sufren de una severa degeneración de los pesos de las partículas cuando los parámetros estáticos se aumentan al vector de estado, requiriendo un número intratable de partículas para problemas de alta dimensión.
• SMC2: Aunque es efectivo, su costo computacional crece con el tiempo, lo que lo hace inadecuado para tareas estrictamente en línea.
• Métodos de Inferencia Variacional (VI) existentes: La mayoría están diseñados para entornos fuera de línea (offline) o aproximan la posterior conjunta como un producto de marginales independientes (mean-field), ignorando la dependencia intrínseca entre parámetros y estados.

Además, pocos métodos existentes proporcionan garantías teóricas sobre la precisión de la aproximación, lo cual es esencial para establecer la confianza en aplicaciones de seguridad crítica.

Metodología: Inferencia Variacional en Línea Basada en Factorización (FBOVI)

Los autores proponen FBOVI, un marco de inferencia variacional en línea flexible que aproxima la posterior conjunta $p(X_k, \theta \mid Y_k)$ con una distribución $q_k(X_k, \theta)$.

Marco Central

En lugar de aproximar directamente la posterior conjunta real, FBOVI introduce "objetivos en línea" y factoriza la aproximación como:
$$q_k(X_k, \theta) = \rho_k(X_k \mid \theta) \nu_k(\theta)$$
donde:

1. $\nu_k(\theta)$ aproxima la posterior de parámetros en línea (la distribución marginal de los parámetros).
2. $\rho_k(X_k \mid \theta)$ aproxima la distribución de filtrado condicional en línea (la distribución del estado condicionada a los parámetros).

El marco opera en un procedimiento recursivo de dos etapas en cada paso de tiempo $k$:

Etapa 1: Aproximación de la Posterior de Parámetros ($\nu_k$)

• El objetivo es minimizar la divergencia de Kullback-Leibler $KL(\nu_k \parallel \nu^*_k)$, donde $\nu^*_k$ es la posterior de parámetros objetivo en línea.
• Esto se logra maximizando un Límite Inferior de Evidencia (ELBO).
• La integral requerida para el ELBO se calcula de forma distinta según el tipo de sistema:
  • Sistemas Lineales: Se derivan expresiones de forma cerrada utilizando la lógica del filtro de Kalman.
  • Sistemas No Lineales: La distribución predictiva se aproxima mediante una Gaussiana (vía Transformada Unscented o Cuadratura Gaussiana), permitiendo evaluar la integral. Alternativamente, se puede utilizar el muestreo de Monte Carlo.

Etapa 2: Aproximación de la Distribución de Estado Condicional ($\rho_k$)

• Utilizando la $\nu_k(\theta)$ calculada, el marco minimiza la divergencia KL esperada $E_{\theta \sim \nu_k}[KL(\rho_k(\cdot \mid \theta) \parallel \rho^*_k(\cdot \mid \theta))]$.
• $\rho_k(X_k \mid \theta)$ se modela como una Gaussiana condicional: $N(X_k; m_k(\theta), C_k(\theta))$.
• Representación por Redes Neuronales: Para asegurar la eficiencia computacional y evitar el crecimiento de costos en el tiempo, la función de media $m_k(\theta)$ y la función de covarianza $C_k(\theta)$ se representan mediante redes neuronales con arquitecturas fijas. Estas redes son entrenadas para aproximar la media y la covarianza objetivo derivadas de un filtro Gaussiano (KF, UKF o EnKF) aplicado al objetivo en línea.
• Integración de EnKF: Para sistemas de alta dimensión, el marco incorpora el Filtro de Kalman de Conjuntos (EnKF). Dado que las partículas de estado no se propagan hacia adelante (solo las representaciones funcionales $m_k, C_k$), se utiliza un novedoso procedimiento de remuestreo en cada paso para generar datos de entrenamiento para las redes neuronales.

Garantías Teóricas

El artículo establece el Teorema 1, que proporciona un límite superior en el error (medido por la distancia de Variación Total o de Hellinger) entre la posterior conjunta real y la aproximación FBOVI. El límite depende de las divergencias KL entre las aproximaciones y sus respectivos objetivos en línea. Para sistemas lineales, el Teorema 2 proporciona un límite de error más específico y estimable.

Contribuciones Clave

1. Marco Variacional Flexible: Un novedoso marco de VI en línea que factoriza la posterior conjunta para preservar las dependencias entre parámetros y estados, evitando las suposiciones Gaussianas restrictivas de los filtros conjuntos y los problemas de degeneración de los filtros de partículas conjuntos.
2. Límites de Error Teóricos: Derivación de límites superiores en el error de aproximación (Teorema 1 y Teorema 2), proporcionando una base teórica para la efectividad del método y guiando el diseño algorítmico.
3. Escalabilidad y Modularidad: El marco soporta varios métodos de filtrado Gaussiano (KF, UKF, EnKF) dentro de la Etapa 2. Al usar redes neuronales para representar los momentos condicionales, logra costos computacionales constantes por paso y escala a sistemas de alta dimensión.
4. Validación Exhaustiva: Experimentos numéricos extensos que demuestran el rendimiento en diversos escenarios, incluyendo modelos parcialmente desconocidos, error de especificación del modelo, dinámica caótica y discretizaciones de EDP de alta dimensión.

Resultados Experimentales

El método fue evaluado frente a Joint PF, Joint UKF y Joint EnKF en tres experimentos distintos:

1. Péndulo Simple Lineal (Modelos Parcialmente Desconocidos):

   • FBOVI logró un rendimiento de estimación y predicción comparable o superior al de Joint PF y Joint UKF.
   • Rastreó con éxito las posteriores reales incluso cuando la prior inicial era inexacta, mientras que Joint UKF divergió.
   • Manejó eficazmente modelos dinámicos y de observación parcialmente desconocidos.

2. Sistema Caótico Lorenz '96 (10 dimensiones):

   • Modelo Correcto: FBOVI superó significativamente a Joint UKF en la estimación de parámetros y estados no observados, capturando características no gaussianas en la posterior conjunta que Joint UKF omitió.
   • Error de Especificación del Modelo: Bajo errores estructurales del modelo (usando Euler vs. RK4), FBOVI se mantuvo robusto, proporcionando estimaciones de estado y predicciones razonables, aunque la precisión degradó ligeramente cerca de los picos y valles de la trayectoria.
   • Ruido Elevado: El método se mantuvo robusto incluso con mediciones altamente ruidosas ($\gamma=10$), aunque la precisión de la estimación cerca de los extremos disminuyó.

3. Ecuación de Convección-Difusión No Lineal (51 dimensiones):

   • FBOVI, integrado con EnKF, rastreó con éxito la solución de referencia y proporcionó predicciones precisas.
   • Superó al Joint EnKF, particularmente en las etapas iniciales donde la posterior real es altamente no gaussiana. La suposición Gaussiana del Joint EnKF limitó su capacidad predictiva en este entorno de alta dimensión y no linealidad.

Significado y Reclamaciones

El artículo afirma que FBOVI ofrece una solución fiable, escalable y adaptable para la estimación de parámetros y estados en línea. Su importancia radica en:

• Cerrar la brecha entre la precisión de los métodos de partículas y la eficiencia de los filtros gaussianos sin sufrir de degeneración de pesos o suposiciones gaussianas restrictivas.
• Proporcionar garantías teóricas para la precisión de la aproximación, lo cual es crucial para establecer la confianza en los Gemelos Digitales y en la toma de decisiones basada en el riesgo.
• Permitir la inferencia de alta dimensión mediante el aprovechamiento de redes neuronales y EnKF, haciéndolo adecuado para sistemas físicos complejos descritos por EDP.

Los autores concluyen que el marco es una herramienta poderosa para las técnicas emergentes basadas en datos, particularmente en escenarios que requieren actualizaciones continuas bajo incertidumbre, ruido y discrepancias de modelo.