Résumé Technique : Codage Prédictif Généralisé en Ligne

Énoncé du Problème

L'article aborde le défi de l'estimation triple en ligne dans des environnements dynamiques. Dans le contexte du calcul inspiré du cerveau, cela implique d'accomplir simultanément trois tâches en temps réel à mesure que les données sensorielles arrivent :

1. Inférence d'état caché en ligne : Estimation des états dynamiques latents du monde.
2. Apprentissage de paramètres en ligne : Inférence des paramètres inconnus du modèle génératif (MG).
3. Estimation d'incertitude en ligne : Estimation de la précision (inverse de la variance) du bruit d'état et du bruit d'observation.

La difficulté principale réside dans la nature en ligne du problème : contrairement aux schémas hors ligne qui peuvent réexaminer l'ensemble de la série temporelle pour converger vers une solution, un système en ligne doit traiter chaque donnée exactement une fois. Il ne peut pas affiner itérativement les états internes ou les paramètres avant l'arrivée de la prochaine observation. Cela nécessite des schémas computationnels capables de mises à jour rapides et précises sous des contraintes temporelles strictes, en particulier lorsque la forme fonctionnelle du véritable processus génératif (PG) diffère du modèle utilisé pour l'inférence.

Méthodologie

Cadre Théorique

La méthode proposée, la Maximisation Espérance Dynamique en Ligne (ODEM), est ancrée dans le Principe de l'Énergie Libre (PEF) et l'Inférence Variationnelle (IV). Elle cadre la perception comme la minimisation de l'Énergie Libre Variationnelle (EFV), qui sert de borne supérieure à la négation du logarithme de la vraisemblance du modèle. L'EFV est décomposée en un terme de précision (ajustement aux données) et un terme de complexité (pénalisant la divergence par rapport aux croyances a priori), adhérant au rasoir d'Occam.

Pour rendre l'EFV traitable pour les dynamiques en temps continu, les auteurs emploient l'approximation de Laplace, approximations la distribution a posteriori par une Gaussienne. Cela réduit l'EFV à une somme d'erreurs de prédiction pondérées par la précision.

Coordonnées Généralisées du Mouvement (CGM)

Un composant central de l'ODEM est l'utilisation des Coordonnées Généralisées du Mouvement (CGM). Au lieu de modéliser uniquement la position des états cachés ($x_t$), le modèle infère un vecteur de dérivées temporelles d'ordre supérieur (vitesse, accélération, jerk, etc.) : $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$.

• Cela permet au modèle de capturer les dynamiques lisses du système sans nécessiter de densités de transition sous forme close ou de simulations de Monte Carlo (contrairement aux filtres de Kalman ou aux filtres particulaires).
• Le modèle suppose que les fluctuations aléatoires dans le PG possèdent un certain degré de lissitude, assouplissant l'hypothèse standard du processus de Wiener.
• Les observations généralisées ($\tilde{y}_t$) sont construites en approximatant les dérivées d'ordre supérieur de l'entrée sensorielle via des différences finies.

Séparation des Échelles Temporelles

L'ODEM met en œuvre une séparation cruciale des échelles temporelles, inspirée de la Synergetique de Haken, pour gérer les trois tâches d'estimation :

1. Étape D rapide (Inférence d'état) : Se produit à chaque observation. Elle met à jour continuellement les états cachés en utilisant une minimisation basée sur le gradient de l'EFV, régularisée par la courbure de la surface de l'EFV (schéma d'Ozaki). Cela suit les états externes en mouvement rapide.
2. Étape E lente (Apprentissage de paramètres) : Se produit moins fréquemment (toutes les interEM observations). Elle met à jour les paramètres du modèle ($\theta$) en utilisant les gradients accumulés sur une fenêtre de données. Cela reflète l'échelle de temps plus lente de la plasticité synaptique ou des changements de contexte.
3. Étape M lente (Estimation d'incertitude/précision) : Se produit à la même échelle de temps lente que l'étape E. Elle met à jour les hyperparamètres de précision ($\lambda$) pour le bruit d'état et le bruit d'observation. Cela est interprété comme un mécanisme attentionnel, modulant le poids des erreurs de prédiction.

Algorithme

L'algorithme ODEM itère à travers les observations $y_t$ :

1. Généraliser l'observation en $\tilde{y}_t$.
2. Effectuer l'étape D : Mettre à jour la moyenne de l'a posteriori de l'état ($\tilde{\mu}_x$) en utilisant une règle de mise à jour basée sur la Jacobienne.
3. Accumuler les gradients pour les paramètres et les précisions.
4. À des intervalles définis par interEM, effectuer l'étape E et l'étape M : Mettre à jour les moyennes et les covariances des a posteriori des paramètres ($\theta$) et de la précision ($\lambda$) en utilisant des taux d'apprentissage de Robbins-Monro, puis réinitialiser les accumulateurs de gradients.

Contributions Clés

1. Algorithme ODEM : L'introduction d'une variante en ligne de l'algorithme de Maximisation Espérance Dynamique (DEM), spécifiquement conçu pour l'estimation triple dans des systèmes non linéaires, potentiellement chaotiques.
2. Implémentation du Codage Prédictif Généralisé : Une implémentation Python/PyTorch de l'ODEM qui utilise les CGM pour modéliser les dynamiques sans densités de transition sous forme close.
3. Robustesse au Décalage de Modèle : Démonstration que l'ODEM peut suivre avec succès les états latents même lorsque la forme fonctionnelle du MG diffère fondamentalement du PG (par exemple, utiliser un modèle de Lorenz pour inférer un processus de Lotka-Volterra généralisé), à condition que des ordres supérieurs du mouvement soient utilisés.

Résultats Expérimentaux

Les auteurs ont validé l'ODEM en utilisant un processus génératif (PG) de Lotka-Volterra Généralisé (GLV) avec un bruit corrélé et lisse. Ils ont testé deux MG :

• Scénario-Même : Un MG-GLV (correspondant au PG).
• Scénario-Différent : Un MG-Lorenz (forme fonctionnelle inadaptée).

Principales Constatations :

• Impact de l'Ordre des CGM : L'augmentation de l'ordre du mouvement ($k_x$) de 2 à 3 a considérablement amélioré les performances de suivi, en particulier dans le cas du Scénario-Différent. Avec $k_x=2$, le MG-Lorenz peinait à suivre le PG-GLV ; avec $k_x=3$, le suivi s'est considérablement amélioré. Dans le cas du Scénario-Même, le MG-GLV a bien performé avec les deux ordres, suggérant que les CGM sont les plus critiques lorsque les hypothèses structurelles sont inadaptées.
• Convergence : Les estimations a posteriori pour les paramètres ($\mu_\theta$) et les précisions ($\mu_\lambda$) se sont stabilisées au fil du temps. L'incertitude (intervalles de crédibilité) autour des estimations de paramètres a diminué plus rapidement avec des ordres de mouvement plus élevés.
• Action Libre (AL) : Les valeurs d'AL (un proxy de la vraisemblance du modèle) étaient plus faibles pour le Scénario-Même (MG-GLV) que pour le Scénario-Différent (MG-Lorenz). Bien que des ordres de mouvement plus élevés aient amélioré la précision, ils ont également augmenté la complexité, résultant en des valeurs d'AL globales similaires à travers les ordres.
• Sensibilité au Ratio de Précision : Les performances étaient hautement sensibles au ratio de précision a priori $C$ (le ratio de la précision attendue du bruit d'observation par rapport à la précision du bruit d'état), soulignant l'importance de régler la confiance relative dans les données sensorielles par rapport aux dynamiques internes.

Signification et Revendications

L'article revendique que l'ODEM offre une solution inspirée biologiquement à l'inférence en ligne, à l'apprentissage et à l'estimation d'incertitude. En séparant les échelles temporelles, elle imite la capacité du cerveau à effectuer une estimation d'état rapide (dynamiques neuronales rapides) tout en adaptant simultanément des paramètres plus lents (plasticité synaptique) et l'attention (neuromodulation).

Les auteurs affirment que l'ODEM fournit un cadre évolutif pour étudier l'inférence adaptative chez les agents biologiques et artificiels. Crucialement, ils démontrent que l'inférence dans les Coordonnées Généralisées du Mouvement permet à un modèle de suivre des dynamiques complexes et non linéaires même lorsque les hypothèses structurelles du modèle diffèrent du véritable processus génératif, à condition que le modèle puisse capturer la lissitude des dynamiques par le biais de dérivées d'ordre supérieur. Ce travail fait le pont entre le codage prédictif, l'inférence variationnelle et la modélisation des systèmes dynamiques en ligne, offrant une méthode qui ne nécessite ni optimisation par lots ni lissage rétrospectif.