State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

Resumen Técnico: El ruido de observación dependiente del estado reintroduce el valor epistémico en la inferencia activa lineal-gaussiana

Planteamiento del problema
La literatura reciente (específicamente Koudahl, Kouw y de Vries [1]) estableció que en los modelos de espacio de estados lineales-gaussianos bajo inferencia activa, el impulso epistémico —el incentivo para actuar con el fin de obtener información— está ausente "bajo cualquier circunstancia". En estos modelos estándar, el término epistémico de la Energía Libre Esperada (EFE) es constante independientemente de la política elegida. En consecuencia, el agente se comporta de manera indistinguible de un filtro de Kalman acoplado a un controlador de divergencia de Kullback–Leibler (KL): busca resultados preferidos pero no tiene una motivación intrínseca para reducir la incertidumbre. Las rutas conocidas para restaurar este impulso implican un control multiplicativo (donde las acciones alteran la dinámica de transición) o la reexpresión del objetivo mediante grafos de factores con restricciones. Sin embargo, el "lado de la observación" de este límite —específicamente, si la modificación del modelo de observación por sí sola podría restaurar el valor epistémico— permanecía inexplorado.

Metodología y Modelo
El artículo investiga una desviación mínima del régimen lineal-gaussiano estándar: ruido de observación dependiente del estado. Los autores proponen un modelo generativo donde:

1. Dinámica: El estado evoluciona linealmente con control aditivo ($x_{k+1} = Ax_k + Bu_k + w_k$).
2. Observaciones: El mapa de observación es lineal ($o_k = Cx_k + v_k$), pero la covarianza del ruido de observación $R$ es una función del estado, $R(x_k)$.
3. Regla de Inferencia: El agente emplea un filtro gaussiano de primer orden donde la covarianza del ruido se evalúa en la media predicha, $R_k = R(\mu_k^-)$.

El mecanismo central reside en el hecho de que, mientras el control aditivo desplaza la media del estado, no desplaza la covarianza del estado en los modelos estándar. Sin embargo, si $R$ depende del estado, una acción $u_k$ desplaza la media predicha $\mu_k^-$, lo que a su vez cambia el valor de $R$ utilizado en la actualización. Este acoplamiento hace que la covarianza posterior (y, por ende, la ganancia de Kalman) dependa de la acción tomada.

Los autores definen dos conceptos de "aplanamiento" (reduciendo al agente a un filtro lineal-gaussiano fijo):

• Reducción Lineal-Gaussiana Fija: Una secuencia de covarianzas de ruido independiente de la política que reproduce las creencias del agente para todas las secuencias de observación.
• Reducción de Planificación: Una secuencia independiente de la política que reproduce las covariancias de planificación de bucle abierto del agente.

Contribuciones Clave

1. Teorema de No Reducibilidad: El artículo demuestra que el acoplamiento del ruido dependiente del estado $R(x)$ a un medio latente controlable impide que el agente admita cualquier reducción lineal-gaussiana fija. Ninguna secuencia preespecificada de covarianzas de ruido puede reproducir las creencias del agente porque el valor de ruido requerido en cualquier paso está unívocamente "anclado" por la media predicha dependiente de la política.
2. Restauración del Valor Epistémico: Bajo condiciones de rango y no degeneración (específicamente, que $R$ no sea constante en el conjunto alcanzable de medias predichas y que esta variación sea visible para el funcional epistémico), el valor epistémico por paso ya no es constante entre las políticas. El agente puede distinguir entre políticas basándose en la ganancia de información que estas prometen.
3. Puente hacia el Control Dual: El resultado se enmarca como una instancia constructiva mínima del efecto dual de Bar-Shalom–Tse. El artículo demuestra que el ruido de observación dependiente del estado es una fuente distinta del efecto dual (donde el control influye en la covarianza del error condicional), separada de los mapas de observación no lineales o de las dinámicas multiplicativas usualmente asociadas con él. Esto establece una equivalencia: reintroducir el valor epistémico en este entorno gaussiano es matemáticamente idéntico a introducir un efecto dual de segundo orden.
4. Testigo Ejecutable (cpomdp): Los autores proporcionan una biblioteca de código abierto, cpomdp, que implementa la clase de modelo. La biblioteca incluye una verificación estructural que lanza un error IncompatibleLinearizationError si un usuario intenta "aplanar" un modelo con ruido dependiente del estado y acoplamientos de desplazamiento de media. Esto sirve como un testigo de tiempo de ejecución del teorema, rechazando la generación de un filtro de Kalman fijo incorrecto.

Resultados

• Teóricos: El Teorema 1 establece que, bajo supuestos de definición positiva, rango completo de observación y no constancia alcanzable de $R(x)$, la covarianza posterior y la ganancia de Kalman se vuelven dependientes de la política. En consecuencia, el término epistémico de la EFE varía con la política, permitiendo que la curiosidad reaparezca.
• Caso Escalar: Para observaciones escalares, la condición para un valor epistémico no constante es incondicional; cualquier dependencia del estado en $R(x)$ que sea alcanzable por el control es suficiente.
• Contraejemplo (Ejemplo 1): Los autores identifican un caso de "filo de navaja" en dimensiones superiores donde la covarianza posterior varía con la política (existe efecto dual), pero el valor epistémico (un determinante escalar) permanece constante porque las políticas mueven la covarianza a lo largo de un conjunto de nivel del determinante. Esto resalta que el movimiento de la covarianza es necesario pero no suficiente para el valor epistémico; el movimiento debe ser "visible" para el funcional del determinante.
• Empíricos/Simulación: Utilizando una tarea de laberinto (T-maze) continua, los autores demuestran que un agente con ruido dependiente del estado (Agente B) exhibe un comportamiento diferente al de un agente colapsado con ruido fijo (Agente A). El Agente B se mueve activamente hacia una ubicación donde su sensor es más fiable (la "señal" o cue) para resolver la incertidumbre, mientras que el Agente A se compromete con una creencia previa sin buscar información. El valor epistémico para el Agente B varía con la acción, mientras que permanece plano para el Agente A.

Significancia y Reivindicaciones
El artículo sostiene que proporciona una caracterización precisa, desde el lado de la observación, de la curiosidad en agentes gaussianos. Su principal significancia radica en identificar que la curiosidad en el mundo lineal-gaussiano es una propiedad de la heterocedasticidad alcanzable, no una modificación de la función objetivo o de la dinámica.

• "Actuar es Atender": El artículo formaliza la intuición de que actuar para mejorar la fiabilidad del sensor (por ejemplo, acercarse para leer un cartel) es el mecanismo que restaura el impulso epistémico.
• Desviación Mínima: Demuestra que el "colapso" de la inferencia activa al control de KL es frágil; se rompe con la mínima adición de ruido de observación dependiente del estado, sin requerir control multiplicativo o restricciones de objetivos complejos.
• Modestia: Los autores son explícitos sobre las limitaciones. El teorema se aplica a modelos de dimensión finita y de cadena única (aunque la demostración utiliza árboles acoplados). La afirmación sobre el valor epistémico requiere la condición más fuerte (H3') de que la variación del ruido sea visible para el determinante, lo cual es automático para observaciones escalares, pero no está garantizado para todos los casos de alta dimensión. Además, la regla de inferencia es una aproximación de primer orden (evaluando $R$ en la media), y el artículo no cuantifica la distancia a la posterior no gaussiana exacta.

En resumen, el artículo argumenta que el "término epistémico" en la inferencia activa no está inherentemente roto en los modelos lineales-gaussianos, sino que es vuelto inerte por la suposición de un ruido de observación constante. Al permitir que la covarianza del ruido dependa del estado, el agente recupera la capacidad de influir en la calidad de sus estimaciones futuras, reintroduciendo así el efecto dual y el impulso de la curiosidad.