State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

Résumé Technique : Le bruit d'observation dépendant de l'état réintroduit la valeur épistémique dans l'inférence active linéaire-gaussienne

Énoncé du problème
La littérature récente (spécifiquement Koudahl, Kouw et de Vries [1]) a établi que dans les modèles d'espace d'états linéaires-gaussiens sous inférence active, la pulsion épistémique — l'incitation à agir pour acquérir de l'information — est absente « en toute circonstance ». Dans ces modèles standards, le terme épistémique de l'Énergie Libre Attendue (EFE) devient constant quel que soit la politique choisie. Par conséquent, l'agent se comporte de manière indiscernable d'un filtre de Kalman couplé à un contrôleur KL : il recherche des résultats préférés mais n'a aucune motivation intrinsèque pour réduire l'incertitude. Les voies connues pour restaurer cette pulsion impliquent un contrôle multiplicatif (où les actions modifient la dynamique de transition) ou une réexpression de l'objectif via des graphes de facteurs contraints. Cependant, le « côté observation » de cette limite — spécifiquement, si la modification du modèle d'observation seule pourrait restaurer la valeur épistémique — restait inexploré.

Méthodologie et Modèle
L'article étudie un départ minimal du régime linéaire-gaussien standard : le bruit d'observation dépendant de l'état. Les auteurs proposent un modèle génératif où :

1. Dynamique : L'état évolue linéairement avec un contrôle additif ($x_{k+1} = Ax_k + Bu_k + w_k$).
2. Observations : La carte d'observation est linéaire ($o_k = Cx_k + v_k$), mais la covariance du bruit d'observation $R$ est une fonction de l'état, $R(x_k)$.
3. Règle d'inférence : L'agent utilise un filtre gaussien de premier ordre où la covariance du bruit est évaluée au niveau de la moyenne prédite, $R_k = R(\mu_k^-)$.

Le mécanisme central repose sur le fait que, bien qu'un contrôle additif déplace la moyenne de l'état, il ne déplace pas la covariance de l'état dans les modèles standards. Cependant, si $R$ dépend de l'état, l'action $u_k$ déplace la moyenne prédite $\mu_k^-$, ce qui modifie à son tour la valeur de $R$ utilisée pour la mise à jour. Ce couplage rend la covariance postérieure (et donc le gain de Kalman) dépendante de l'action entreprise.

Les auteurs définissent deux concepts d'« aplatissement » (réduisant l'agent à un filtre linéaire-gaussien fixe) :

• Réduction Linéaire-Gaussienne Fixe : Une séquence de covariances de bruit indépendante de la politique qui reproduit les croyances de l'agent pour toutes les séquences d'observations.
• Réduction de Planification : Une séquence indépendante de la politique qui reproduit les covariances de planification en boucle ouverte de l'agent.

Contributions Clés

1. Théorème de Non-Réductibilité : L'article prouve qu'en couplant un bruit dépendant de l'état $R(x)$ à une moyenne latente contrôlable, l'agent empêche l'admission de toute réduction linéaire-gaussienne fixe. Aucune séquence de covariances de bruit pré-spécifiée ne peut reproduire les croyances de l'agent car la valeur de bruit requise à chaque étape est de manière unique « ancrée » par la moyenne prédite dépendante de la politique.
2. Restauration de la Valeur Épistémique : Sous des conditions de rang et de non-dégénérescence modérées (spécifiquement que $R$ est non constante sur l'ensemble atteignable des moyennes prédites et que cette variation est visible par le fonctionnel épistémique), la valeur épistémique par étape n'est plus constante selon les politiques. L'agent peut distinguer les politiques en fonction de l'apport d'information qu'elles promettent.
3. Pont vers le Contrôle Dual : Le résultat est présenté comme une instance constructive minimale de l'effet dual de Bar-Shalom–Tse. L'article démontre que le bruit d'observation dépendant de l'état est une source distincte de l'effet dual (où le contrôle influence la covariance d'erreur conditionnelle), séparée des cartes d'observation non linéaires ou des dynamiques multiplicatives habituellement associées à celui-ci. Cela établit une équivalence : réintroduire la valeur épistémique dans ce cadre gaussien est mathématiquement identique à introduire un effet dual de second ordre.
4. Témoin Exécutable ($cpomdp$) : Les auteurs fournissent une bibliothèque open-source, cpomdp, qui implémente la classe de modèle. La bibliothèque inclut une vérification structurelle qui lève une erreur IncompatibleLinearizationError si un utilisateur tente de « aplatir » un modèle possédant un bruit dépendant de l'état et des couplages de déplacement de moyenne. Cela sert de témoin d'exécution au théorème, refusant de générer un filtre de Kalman fixe incorrect.

Résultats

• Théoriques : Le Théorème 1 établit que sous les hypothèses de définition positive, de rang d'observation complet et de non-constance atteignable de $R$, la covariance postérieure et le gain de Kalman deviennent dépendants de la politique. Par conséquent, le terme épistémique de l'EFE varie avec la politique, permettant à la curiosité de réémerger.
• Cas Scalaire : Pour les observations scalaires, la condition pour une valeur épistémique non constante est inconditionnelle ; toute dépendance de l'état dans $R(x)$ qui est atteignable par le contrôle est suffisante.
• Contre-exemple (Exemple 1) : Les auteurs identifient un cas « sur le fil du rasoir » dans des dimensions supérieures, où la covariance postérieure varie avec la politique (l'effet dual existe), mais la valeur épistémique (un déterminant scalaire) reste constante parce que les politiques déplacent la covariance le long d'une courbe de niveau de la fonction déterminant. Cela souligne que le mouvement de la covariance est nécessaire mais non suffisant pour la valeur épistémique ; le mouvement doit être « visible » pour le fonctionnel épistémique.
• Empiriques/Simulation : En utilisant une tâche de labyrinthe en T continu, les auteurs démontrent qu'un agent avec un bruit dépendant de l'état (Agent B) présente un comportement différent de celui d'un agent effondré avec un bruit fixe (Agent A). L'Agent B se déplace activement vers un emplacement où le capteur est le plus fiable (l'indice) pour résoudre l'incertitude, tandis que l'Agent A s'en tient à une croyance a priori sans chercher d'information. La valeur épistémique pour l'Agent B varie avec l'action, alors qu'elle reste plate pour l'Agent A.

Signification et Revendications
L'article soutient qu'il fournit une caractérisation précise, du côté de l'observation, de la curiosité chez les agents gausiens. Sa principale signification réside dans l'identification du fait que la curiosité dans le monde linéaire-gaussien est une propriété de l'hétéroscédasticité atteignable, et non une modification de la fonction objectif ou de la dynamique.

• « Agir, c'est Attendre » : L'article formalise l'intuition selon laquelle agir pour améliorer la fiabilité du capteur (par exemple, se rapprocher pour lire un panneau) est le mécanisme qui restaure la pulsion épistémique.
• Départ Minimal : Il montre que l'effondrement de l'inférence active en un contrôle KL est fragile ; il se brise avec l'ajout minimal d'un bruit dépendant de l'état, sans nécessiter de contrôle multiplicatif ou de contraintes d'objectif complexes.
• Modestie : Les auteurs sont explicites quant aux limites. Le théorème s'applique à des modèles de chaîne unique à dimensions finies (bien que la démonstration utilise des arbres couplés). Leur affirmation concernant la valeur épistémique nécessite la condition plus forte (H3') que la variation du bruit soit visible pour le déterminant ; ce qui est automatique pour les observations scalaires, mais n'est pas garanti pour tous les cas de haute dimension. De plus, la règle d'inférence est une approximation de premier ordre (évaluant $R$ à la moyenne), et l'article ne quantifie pas la distance par rapport à la distribution non gaussienne exacte.

En résumé, l'article soutient que le « terme épistémique » dans l'inférence active n'est pas intrinsèquement brisé dans les modèles linéaires-gausiens, mais qu'il est rendu inerte par l'hypothèse d'un bruit d'observation constant. En permettant à la covariance du bruit de dépendre de l'état, l'agent retrouve la capacité d'influencer la qualité de ses estimations futures, réintroduisant ainsi l'effet dual et la pulsion de curiosité.