Resumen Técnico: Codificación Predictiva Generalizada en Línea

Enunciado del Problema

El artículo aborda el desafío de la estimación triple en línea en entornos dinámicos. En el contexto de la computación inspirada en el cerebro, esto implica realizar simultáneamente tres tareas en tiempo real a medida que llegan los datos sensoriales:

1. Inferencia de estado oculto en línea: Estimación de los estados dinámicos latentes del mundo.
2. Aprendizaje de parámetros en línea: Inferencia de los parámetros desconocidos del modelo generativo (MG).
3. Estimación de incertidumbre en línea: Estimación de la precisión (inversa de la varianza) del ruido de estado y de observación.

La dificultad principal radica en la naturaleza en línea del problema: a diferencia de los esquemas fuera de línea que pueden revisar toda la serie temporal para converger hacia una solución, un sistema en línea debe procesar cada dato exactamente una vez. No puede refinar iterativamente los estados internos o los parámetros antes de que llegue la siguiente observación. Esto requiere esquemas computacionales capaces de realizar actualizaciones rápidas y precisas bajo restricciones temporales estrictas, particularmente cuando la forma funcional del verdadero proceso generativo (PG) difiere del modelo utilizado para la inferencia.

Metodología

Marco Teórico

El método propuesto, Maximización de Expectativa Dinámica en Línea (ODEM), se fundamenta en el Principio de Energía Libre (PEL) y la Inferencia Variacional (IV). Enmarca la percepción como la minimización de la Energía Libre Variacional (EFV), que sirve como cota superior de la evidencia negativa del log-modelo. La EFV se descompone en un término de precisión (ajuste a los datos) y un término de complejidad (penalización de la divergencia de las creencias previas), adheriéndose a la navaja de Occam.

Para hacer la EFV tratable para dinámicas de tiempo continuo, los autores emplean la aproximación de Laplace, aproximando la distribución posterior con una Gaussiana. Esto reduce la EFV a una suma de errores de predicción ponderados por la precisión.

Coordenadas Generalizadas del Movimiento (CGM)

Un componente central de ODEM es el uso de Coordenadas Generalizadas del Movimiento (CGM). En lugar de modelar solo la posición de los estados ocultos ($x_t$), el modelo infiere un vector de derivadas temporales de orden superior (velocidad, aceleración, sacudida, etc.): $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$.

• Esto permite al modelo capturar la dinámica suave del sistema sin requerir densidades de transición de forma cerrada o simulaciones de Monte Carlo (a diferencia de los filtros de Kalman o de partículas).
• El modelo asume que las fluctuaciones aleatorias en el PG poseen un grado de suavidad, relajando la suposición estándar del proceso de Wiener.
• Las observaciones generalizadas ($\tilde{y}_t$) se construyen aproximando las derivadas de orden superior de la entrada sensorial mediante diferencias finitas.

Separación de Escalas Temporales

ODEM implementa una separación crucial de escalas temporales, inspirada en la Sinergética de Haken, para gestionar las tres tareas de estimación:

1. Paso D rápido (Inferencia de Estado): Ocurre en cada observación. Actualiza continuamente los estados ocultos utilizando la minimización basada en gradientes de la EFV, regularizada por la curvatura de la superficie de la EFV (esquema de Ozaki). Esto rastrea estados externos de movimiento rápido.
2. Paso E lento (Aprendizaje de Parámetros): Ocurre con menos frecuencia (cada interEM observaciones). Actualiza los parámetros del modelo ($\theta$) utilizando gradientes acumulados sobre una ventana de datos. Esto refleja la escala temporal más lenta de la plasticidad sináptica o de los contextos cambiantes.
3. Paso M lento (Estimación de Incertidumbre/Precisión): Ocurre en la misma escala temporal lenta que el paso E. Actualiza los hiperparámetros de precisión ($\lambda$) para el ruido de estado y de observación. Esto se interpreta como un mecanismo atencional, modulando la ponderación de los errores de predicción.

Algoritmo

El algoritmo ODEM itera a través de las observaciones $y_t$:

1. Generalizar la observación a $\tilde{y}_t$.
2. Realizar el paso D: Actualizar la media de la posterior del estado ($\tilde{\mu}_x$) utilizando una regla de actualización basada en el Jacobiano.
3. Acumular gradientes para parámetros y precisiones.
4. En intervalos definidos por interEM, realizar el paso E y el paso M: Actualizar las medias y covarianzas de las posteriores de parámetro ($\theta$) y precisión ($\lambda$) utilizando tasas de aprendizaje de Robbins-Monro, y luego reiniciar los acumuladores de gradientes.

Contribuciones Clave

1. Algoritmo ODEM: La introducción de una variante en línea del algoritmo de Maximización de Expectativa Dinámica (DEM), diseñado específicamente para la estimación triple en sistemas no lineales, potencialmente caóticos.
2. Implementación de Codificación Predictiva Generalizada: Una implementación en Python/PyTorch de ODEM que utiliza CGM para modelar dinámicas sin densidades de transición de forma cerrada.
3. Robustez ante la Discrepancia de Modelo: Demostración de que ODEM puede rastrear con éxito estados latentes incluso cuando la forma funcional del MG difiere fundamentalmente del PG (por ejemplo, utilizando un modelo de Lorenz para inferir un proceso Generalizado de Lotka-Volterra), siempre que se utilicen órdenes superiores de movimiento.

Resultados Experimentales

Los autores validaron ODEM utilizando un proceso generativo (PG) Generalizado de Lotka-Volterra (GLV) con ruido suave y correlacionado. Probaron dos MG:

• Escenario-Igual: Un MG-GLV (que coincide con el PG).
• Escenario-Diferente: Un MG-Lorenz (forma funcional desajustada).

Hallazgos Clave:

• Impacto del Orden de CGM: Aumentar el orden de movimiento ($k_x$) de 2 a 3 mejoró significativamente el rendimiento de rastreo, particularmente en el caso Escenario-Diferente. Con $k_x=2$, el MG-Lorenz luchó por rastrear el PG-GLV; con $k_x=3$, el rastreo mejoró sustancialmente. En el caso Escenario-Igual, el MG-GLV funcionó bien con ambos órdenes, lo que sugiere que las CGM son más críticas cuando las suposiciones estructurales no coinciden.
• Convergencia: Las estimaciones posteriores para los parámetros ($\mu_\theta$) y precisiones ($\mu_\lambda$) se estabilizaron con el tiempo. La incertidumbre (intervalos creíbles) alrededor de las estimaciones de parámetros se redujo más rápido con órdenes superiores de movimiento.
• Acción Libre (AL): Los valores de AL (un proxy para la evidencia del modelo) fueron menores para el Escenario-Igual (MG-GLV) que para el Escenario-Diferente (MG-Lorenz). Si bien los órdenes superiores de movimiento mejoraron la precisión, también aumentaron la complejidad, resultando en valores de AL generales similares entre los órdenes.
• Sensibilidad a la Relación de Precisión: El rendimiento fue altamente sensible a la relación de precisión previa $C$ (la relación entre la precisión esperada del ruido de observación y la precisión del ruido de estado), destacando la importancia de ajustar la confianza relativa en los datos sensoriales frente a la dinámica interna.

Significado y Afirmaciones

El artículo afirma que ODEM ofrece una solución inspirada biológicamente a la inferencia en línea, el aprendizaje y la estimación de incertidumbre. Al separar las escalas temporales, imita la capacidad del cerebro para realizar una estimación de estado rápida (dinámicas neuronales rápidas) mientras adapta simultáneamente parámetros más lentos (plasticidad sináptica) y la atención (neuromodulación).

Los autores afirman que ODEM proporciona un marco escalable para estudiar la inferencia adaptativa tanto en agentes biológicos como artificiales. Crucialmente, demuestran que la inferencia en Coordenadas Generalizadas del Movimiento permite a un modelo rastrear dinámicas complejas y no lineales incluso cuando las suposiciones estructurales del modelo difieren del verdadero proceso generativo, siempre que el modelo pueda capturar la suavidad de las dinámicas a través de derivadas de orden superior. El trabajo une la codificación predictiva, la inferencia variacional y el modelado de sistemas dinámicos en línea, ofreciendo un método que no requiere optimización por lotes ni suavizado retrospectivo.