📊 statistics

Recursive Entropic Variational Inference for Nonlinear State-Space Models

Este artículo introduce una clase de algoritmos recursivos de propagación hacia adelante y hacia atrás para la estimación de estados en modelos de espacio de estados no lineales y no gaussianos, derivados de una formulación lagrangiana variacional que utiliza actualizaciones de región de confianza entrópica, aproximaciones de Gauss-Markov y regresión lineal estadística generalizada para lograr una complejidad computacional favorable.

Autores originales: Hany Abdulsamad, Ángel F. García-Fernández, Simo Särkkä

Publicado 2026-07-07

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hany Abdulsamad, Ángel F. García-Fernández, Simo Särkkä

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Navegando un viaje en la niebla

Imagine que está intentando rastrear a un excursionista perdido en un bosque denso y con niebla. Tiene un mapa (su conocimiento previo sobre dónde podría estar) y ocasionalmente escucha un grito o ve el destello de una chaqueta (sus observaciones ruidosas). Sin embargo, el bosque es complicado: el terreno se retuerce y gira de forma impredecible (no lineal) y el clima cambia de formas que no puede predecir perfectamente (no gaussiano).

Su objetivo es averiguar exactamente dónde estaba el excursionista en cada momento del tiempo, no solo dónde está ahora. Esto se llama suavizado (smoothing).

El problema es que las matemáticas necesarias para calcular la respuesta perfecta suelen ser imposibles de resolver directamente. Es como intentar resolver un laberinto mientras las paredes se muele de movimiento. Por ello, los científicos utilizan "aproximaciones": conjetras que son lo suficientemente buenas como para ser útiles.

Este artículo propone una forma nueva y más inteligente de realizar esas conjetras.

La idea central: El senderismo de "Región de Confianza"

Los autores tratan el problema de encontrar la ruta del excursionista como un problema de optimización dinámica. En lugar de saltar directamente a una respuesta final, imaginan dar una serie de pasos pequeños y cuidadosos.

Aquí está la analogía que utilizan: El senderismo de la Región de Confianza.

La conjetra actual: Usted comienza con una idea aproximada de dónde está el excursionista (su "distribución posterior" actual).
La restricción (La cuerda): Usted está atado a su conjetra actual por una cuerda de una longitud específica. Esta es la restricción de divergencia KL (o "región de confianza"). Significa que se le permite cambiar su conjetra, pero solo hasta cierto punto. No puede saltar salvajemente a una ubicación completamente diferente; debe permanecer dentro de una "zona segura" alrededor de su creencia actual.
La atracción entrópica: Dentro de esta zona segura, usted quiere moverse hacia la respuesta real (la ruta real del excursionista). El artículo utiliza un concepto matemático llamado entropía para medir cuánta "información" o "sorpresa" implica el movimiento desde su conjetra antigua hacia la nueva.
El parámetro de amortiguación (El tamaño del paso): Esta es la parte más ingeniosa. El artículo introduce un control de "amortiguación" (llamado $\beta$ $β$ ).
- Si la cuerda está tensa (alta amortiguación), usted da pasos diminutos y cautelosos.
- Si la cuerda está floja (baja amortiguación), puede dar saltos más grandes.
- El algoritmo determina automáticamente el tamaño de paso perfecto para cada movimiento para asegurar que usted no sobrepase el objetivo ni se quede atrapado en un bucle.

Las tres formas de recorrer el camino

El artículo muestra que puede organizar este "senderismo" de tres maneras diferentes, dependiendo de cómo se observe la línea de tiempo. A esto lo llaman Factorizaciones:

Markov hacia adelante (El senderismo de "Mirar hacia atrás"):
- Imagine que comienza en el inicio de la caminata y avanza en el tiempo.
- Primero mira hacia atrás desde el final del sendero para reunir todas las pistas sobre de dónde podría haber venido el excursionista.
- Luego camina hacia adelante nuevamente, actualizando su mapa paso a paso utilizando esas pistas de retroceso.
- Analogía: Como leer una novela de misterio desde la última página hacia la primera para entender la trama, y luego leerla normalmente con ese nuevo conocimiento.
Markov inverso (El senderismo de "Mirar hacia adelante"):
- Esto es lo opuesto. Usted comienza al final del sendero y trabaja hacia atrás hasta el inicio.
- Reúne pistas sobre el futuro primero, luego camina hacia atrás para actualizar su comprensión del pasado.
- Analogía: Como un detective que comienza en la escena del crimen y rebobina el tiempo para averiguar cómo llegó allí el sospechoso.
Híbrido (El senderismo de "Dos vías"):
- Esto combina ambos. Envía un explorador hacia adelante y un explorador hacia atrás simultáneamente.
- Se encuentran en el medio, compartiendo sus pistas. El mapa final es una mezcla de lo que vio el explorador de adelante y lo que vio el explorador de atrás.
- Analogía: Como dos personas caminando una hacia la otra en un puente, encontrándose en el medio para comparar notas sobre la vista desde ambos lados.

Manejando el bosque "desordenado" (No linealidad)

En un mundo perfecto, el bosque sería plano y recto (Lineal-Gaussiano). En ese caso, las matemáticas son fáciles y se obtiene la respuesta exacta (como el famoso suavizador Rauch–Tung–Striebel).

Pero los bosques reales son desordenados. Los árboles están torcidos y el viento sopla de lado.

El Problema: Cuando el bosque es desordenado, las matemáticas se vuelven demasiado difíciles de resolver exactamente.
La Solución: El artículo utiliza dos "trucos" para aproximar el bosque desordenado con una versión más simple y recta solo para el paso actual:
1. Regresión Lineal Estadística Generalizada (GSLR): Esto es como dibujar una línea recta a través de una curva. Aproxima la trayectoria compleja y retorcida con una línea recta que se ajusta a los puntos de datos actuales.
2. Expansión de Fourier–Hermite: Este es un truco más sofisticado. En lugar de solo dibujar una línea recta, utiliza una serie de formas curvas (como ondas) para ajustar la trayectoria retorcida con mucha más precisión. El artículo muestra que este segundo método es mejor para manejar giros y vueltas extremos.

Por qué esto es importante

Los autores afirman que su método es basado en principios. Muchos métodos existentes son "ad hoc", lo que significa que han sido remendados con reglas empíricas que funcionan a veces, pero que no están matemáticamente garantizadas para ser estables.

Su método está construido sobre una base matemática sólida (Inferencia Variacional y Optimización Próxima). Debido a esto:

Es Estable: La "cuerda" (región de confianza) evita que el algoritmo se vuelva loco y dé saltos enormes e incorrectos.
Es Eficiente: Aunque es complejo, las matemáticas están estructuradas para que puedan resolverse rápidamente, paso a paso, sin necesidad de recalcular toda la historia cada vez.
Es Flexible: Funciona tanto para trayectorias simples y rectas como para los bosques más retorcidos y no gaussianos.

Los resultados (Lo que el artículo encontró)

Los autores probaron sus algoritmos de "senderismo" en tres escenarios:

Un Bosque Perfecto (Lineal-Gaussiano): Demostraron que si el bosque es simple, su método encuentra exactamente la misma respuesta que el método clásico y perfecto. Esto demuestra que su matemática es correcta.
Un Bosque Volátil (Volatilidad Estocástica): Simularon un escenario donde el "viento" (volatilidad) cambia salvajemente. Encontraron que la aproximación de "línea recta" (GSLR) falló al rastrear al excursionista porque no pudo ver el efecto del viento. Sin embargo, la aproximación de "forma curva" (Fourier–Hermite) rastreó al excursionista perfectamente.
Un Sensor Cúbico (Problema del Sensor Cúbico): Probaron un escenario donde las pistas están distorsionadas por un cubo (una forma no lineal muy extraña). Su método convergió suavemente a la respuesta correcta, mientras que los métodos antiguos "sin amortiguación" se quedaron atrapados en un bucle, oscilando de un lado a otro sin llegar a establecerse.

Resumen

En resumen, este artículo nos brinda un nuevo y robusto conjunto de herramientas para rastrear cosas en un mundo caótico e impredecible. En lugar de conjetar salvajamente, toma pasos pequeños y matemáticamente garantizados, comprobando constantemente su propia confianza para asegurar que no pierda el camino. Ofrece tres "rutas" diferentes (Hacia adelante, Inversa, Híbrida) para resolver el mismo problema, asegurando que, sin importar cómo estén estructurados los datos, haya una forma fiable de encontrar la verdad.

Resumen Técnico: Inferencia Variacional Entrópica Recursiva para Modelos de Espacio de Estados No Lineales

Planteamiento del Problema

El artículo aborda el desafío de la estimación precisa de estados en modelos de espacio de estados (SSM, por sus siglas en inglés) no lineales y no gaussianos. Si bien la inferencia bayesiana proporciona un marco basado en principios para tales problemas, las soluciones recursivas exactas (como el suavizador de Rauch–Tung–Striebel) son generalmente inalcanzables para sistemas no conjugados y no lineales. Los métodos aproximados existentes, como el método de Monte Carlo secuencial, sufren de una alta complejidad computacional y una baja escalabilidad en espacios de alta dimensión. Por el contrario, muchos enfoques existentes de inferencia variacional (VI) y propagación de la expectativa (EP) para SSM extienden estos marcos de manera ad hoc, integrando a menudo principios variacionales en la plantilla de Rauch–Tung–Striebel en lugar de derivarlos de un problema de optimización dinámica riguroso. Esto limita su capacidad para aprovechar plenamente los enfoques sistemáticos de la estimación de estados.

Metodología

Los autores proponen un marco unificado que plantea la inferencia bayesiana aproximada en SSM como un problema de optimización dinámica iterativo sobre el espacio de las distribuciones candidatas. La metodología central se basa en la Optimización Variacional Proximal Entrópica.

1. Formulación Lagrangiana Variacional

El problema de inferencia se formula como una secuencia de actualizaciones de región de confianza entrópica. En lugar de maximizar directamente la cota inferior de evidencia (ELBO), el método resuelve un problema de optimización restringido donde cada actualización está sujeta a una restricción de divergencia de Kullback–Leibler (KL) respecto a la iteración anterior. Esto introduce un mecanismo de "amortiguación" controlado por un multiplicador de Lagrange (o parámetro de tamaño de paso $\beta$ ).

Optimización Dinámica: El problema se descompone utilizando factorizaciones de Markov hacia adelante y hacia atrás de la distribución posterior variacional.
Distribuciones Inclinadas (Tilted Distributions): La solución al problema de optimización restringida produce distribuciones "inclinadas", que son interpolaciones geométricas entre la posterior exacta y la iteración anterior. El parámetro de interpolación $\beta$ se determina minimizando un objetivo dual relacionado con la divergencia de Rényi.

2. Algoritmos Recursivos mediante Aproximaciones de Gauss–Markov

Para hacer que las recursiones abstractas sean tratables, los autores restringen la familia variacional a aproximaciones de Gauss–Markov. Esto conduce a tres algoritmos recursivos distintos:

Suavizador Variacional Entrópico hacia Adelante (FEVS): Utiliza una factorización de Markov hacia adelante, realizando una recursión hacia atrás para acumular los potenciales de medición futuros, seguida de una propagación hacia adelante de las marginales.
Suavizador Entrópico Variacional hacia Atrás (REVS): Utiliza una factorización de Markov hacia atrás, realizando una recursión hacia adelante para los potenciales de medición pasados, seguida de una propagación hacia atrás.
Suavizador Entrópico Variacional Híbrido (HEVS): Combina ambas recursiones direccionales, permitiendo que las marginales intermedias reciban información de ambas direcciones temporales simultáneamente.

3. Realización Práctica

Dado que los potenciales exactos en modelos no lineales son intratables, el marco emplea dos estrategias para aproximar las densidades logarítmicas de los modelos de dinámica y de medición:

Regresión Lineal Estadística Generalizada (GSLR): Construye modelos sustitutos afines-gaussianos mediante el ajuste de momentos condicionales.
Emparejamiento de Momentos de Fourier–Hermite: Utiliza expansiones de series de Fourier–Hermite de segundo orden para capturar información de curvatura de orden superior sin asumir ruido gaussiano aditivo.

Estas aproximaciones permiten que las funciones de potencial y los normalizadores logarítmicos se representen como formas cuadráticas, permitiendo actualizaciones recursivas en forma cerrada para los parámetros de media y covarianza.

4. Tamaño de Paso Adaptativo

Un componente crítico del método es la selección adaptativa del parámetro de amortiguación $\beta$ . El artículo propone el uso de un método de bisección sobre el multiplicador de Lagrange para satisfacer la restricción de la región de confianza KL ( $\varepsilon$ ). Esto asegura que las actualizaciones permanezcan dentro de una región donde las aproximaciones locales son válidas, proporcionando un mecanismo fundamentado para el control del tamaño de paso que evita la divergencia en regímenes altamente no lineales.

Contribuciones Clave

Formulación de Optimización Dinámica: El artículo introduce un marco variacional fundamentado que plantea la inferencia como una secuencia de actualizaciones de región de confianza entrópica, yendo más allá de las extensiones ad hoc de los suavizadores existentes.
Algoritmos Recursivos Unificados: Deriva una familia de esquemas de recursión hacia adelante y hacia atrás (FEVS, REVS, HEVS) cuya estructura está determinada enteramente por la factorización de la posterior variacional.
Tamaño de Paso Adaptativo: Los autores demuestran que el tamaño de paso corresponde a un multiplicador de Lagrange determinado por un objetivo de divergencia de Rényi dual, permitiendo la aplicación automática de la región de confianza.
Generalización de los Suavizadores Clásicos: El enfoque generaliza los suavizadores lineales-gaussianos clásicos (como el RTS) y los conecta con las técnicas modernas de inferencia aproximada.
Aproximaciones Flexibles: El marco soporta realizaciones prácticas utilizando GSLR y expansiones de Fourier–Hermite, facilitando la inferencia eficiente en modelos no lineales y no gaussianos.

Resultados

El artículo proporciona evaluaciones numéricas en tres pruebas de referencia:

Modelos Lineales-Gaussianos: Se muestra que los algoritmos convergen a la solución exacta de Rauch–Tung–Striebel (RTS), validando la corrección de las recursiones. El parámetro de amortiguación $\beta$ controla la velocidad de convergencia, donde radios de región de confianza más grandes permiten una convergencia más rápida.
Volatilidad Estocástica (No Lineal/No Gaussiano): En un modelo donde la observación depende de la varianza del estado, la variante Fourier–Hermite (FH) supera significativamente a la variante Regresión Lineal Estadística Generalizada (GSLR). El enfoque GSLR falla al capturar la información en la varianza (colapsando hacia la distribución previa), mientras que la variante FH rastrea con éxito la log-volatilidad latente.
Problema del Sensor Cúbico: En un escenario con una no linealidad de medición cúbica, los suavizadores entrópicos propuestos (HEVS) exhiben una convergencia estable de la cota inferior de evidencia (ELBO). En contraste, un suavizador de base de linealización de la posterior iterada (IPLS) sin amortiguación falla en la convergencia, oscilando entre soluciones.

Significado y Reivindicaciones

El artículo afirma proporcionar un puente fundamentado entre la inferencia variacional, la optimización proximal y la inferencia bayesiana recursiva. Al enmarcar la inferencia como un problema de optimización dinámica con regularización entrópica, el método ofrece:

Estabilidad: La restricción de la región de confianza basada en KL regulariza las actualizaciones, reduciendo la sensibilidad a los errores de aproximación local y evitando la divergencia en entornos no lineales.
Escalabilidad: Los algoritmos resultantes poseen una complejidad de tiempo lineal con respecto al horizonte temporal $T$ , lo que los hace adecuados para secuencias largas.
Fundamentación Teórica: A diferencia de las extensiones heurísticas del suavizador RTS, las recursiones propuestas surgen como condiciones de optimalidad de un problema variacional bien planteado, ofreciendo un camino más claro para el análisis de convergencia y la extensión a familias variacionales más ricas.

Los autores posicionan este trabajo como una generalización de los métodos existentes de linealización de la posterior y de propagación de la expectativa, resolviendo problemas relacionados con el control del tamaño de paso y el manejo de ruido no aditivo mediante la introducción de restricciones proximales entrópicas y el emparejamiento de momentos de orden superior.