Résumé technique : Mises à jour robustes de la volatilité pour le filtrage gaussien hiérarchique

1. Énoncé du problème

Le filtrage gaussien hiérarchique (HGF) est un cadre d'inférence variationnelle utilisé pour modéliser la manière dont les agents mettent à jour leurs croyances concernant des états environnementaux cachés. Dans les réseaux HGF, les nœuds parents peuvent influencer la moyenne ou la variance (volatilité) de leurs enfants. Bien que les équations de mise à jour pour les nœuds couplés à la moyenne et à la valeur soient généralement stables, les équations de mise à jour de la précision pour les parents couplés à la volatilité souffrent d'un défaut critique dans la formulation originale.

Dans des conditions spécifiques — en particulier lorsqu'une grande erreur de prédiction entraîne une incertitude postérieure totale dépassant significativement l'incertitude précédente (c'est-à-dire un rapport élevé de $\beta/\alpha$) —, l'approximation quadratique standard de l'énergie variationnelle peut produire une précision postérieure négative. La précision étant l'inverse de la variance, une valeur négative est une impossibilité logique. Cela provoque l'arrêt du filtre avec une erreur, créant efficacement des limites rigides dans l'espace des paramètres où le modèle ne peut pas fonctionner. Cette limitation restreint la gamme de modèles utilisables et complique l'estimation des paramètres, car les optimiseurs doivent éviter ces « zones de crash ».

2. Méthodologie

Les auteurs proposent une approche modifiée de l'approximation quadratique de l'énergie variationnelle pour les nœuds couplés à la volatilité. La méthodologie comprend trois étapes clés :

A. Décomposition de l'énergie variationnelle

La fonction d'énergie variationnelle canonique $J(x)$ est décomposée en trois composantes :

1. $J_1(x)$ : Un terme de log-normalisateur concave.
2. $J_2(x)$ : Un terme responsable de l'échelle de l'incertitude, qui introduit une région convexe et peut causer une précision négative.
3. $J_3(x)$ : Un terme de prior quadratique.

Les auteurs observent que la convexité problématique provient uniquement de $J_2$. Pour garantir une précision positive, ils construisent une fonction d'énergie auxiliaire concave $K(x) = J_1(x) + J_3(x)$, excluant explicitement $J_2$ lors du calcul de la précision du premier développement. Cela garantit que la dérivée seconde (et donc la précision) reste négative partout, empêchant ainsi une précision négative.

B. Approximation fermée du second mode

Dans les régimes où l'énergie variationnelle devient bimodale (en raison de la région convexe de $J_2$), un seul développement gaussien est insuffisant. Les auteurs dérivent une approximation fermée pour la localisation du second maximum local (mode) de la fonction d'énergie.

• En analysant la limite où l'incertitude précédente tend vers zéro ($\alpha \to 0$), l'équation du mode se simplifie en une forme résoluble par la fonction W de Lambert ($W_0$).
• Cela fournit une estimation analytique du second mode ($x^*$) sans nécessiter de recherche itérative de racines, ce qui est efficace sur le plan computationnel et analytiquement transparent.

C. Appariement des moments d'un mélange pondéré par softmax

Pour gérer à la fois les scénarios unimodaux et bimodaux au sein d'une seule distribution postérieure gaussienne, les auteurs combinent deux développements quadratiques :

1. Développement 1 ($L_1$) : Centré sur la prédiction a priori, utilisant la précision dérivée de la fonction concave $K$.
2. Développement 2 ($L_2$) : Centré sur le second mode dérivé de la fonction W de Lambert, utilisant l'énergie variationnelle complète $J$.

Ces deux développements sont mélangés à l'aide de poids softmax basés sur les valeurs d'énergie variationnelle à leurs moyennes respectives. La moyenne et la variance postérieures finales sont calculées par appariement des moments de ce mélange gaussien à deux composantes. Cette construction garantit que la précision postérieure résultante est strictement positive par conception, indépendamment des valeurs des paramètres.

D. Extension au HGF généralisé (gHGF)

Le cadre est étendu au HGF généralisé, qui inclut à la fois le couplage à la valeur et à la volatilité. Les auteurs démontrent que pour les parents ayant plusieurs enfants liés à la volatilité, la structure concave est préservée, et la stratégie W de Lambert peut être appliquée indépendamment pour la région de transition de chaque enfant. La postérieure finale est construite via un mélange à $(n+1)$ composantes (un développement principal plus un développement secondaire par enfant lié à la volatilité).

3. Résultats clés

Les auteurs valident les nouvelles équations (désignées sous le nom de uHGF pour HGF non borné) à travers quatre simulations comparatives :

1. Qualité de l'approximation : Sur 488 combinaisons de paramètres impliquant de grandes erreurs de prédiction, le HGF classique a échoué (crash) dans 6,4 % des cas en raison d'une précision négative. Le uHGF a réussi dans 100 % des cas. Là où les deux ont réussi, le uHGF a réduit la divergence de Kullback–Leibler (KL) entre la postérieure variationnelle approximative et vraie d'environ deux ordres de grandeur (de 1,34 à 0,023).
2. Filtrage standard : Dans des conditions standard avec des erreurs de prédiction modérées, les deux méthodes ont produit des trajectoires valides, le uHGF montrant un suivi légèrement amélioré grâce à une meilleure approximation.
3. Robustesse aux erreurs extrêmes : Dans des simulations avec une méta-volatilité élevée causant de grandes erreurs de prédiction, le HGF classique a échoué à l'étape 115. Le uHGF a complété les 320 étapes, maintenant une précision strictement positive et s'adaptant aux changements de régime.
4. Couverture de l'espace des paramètres : Une analyse systématique de 32 761 ensembles de paramètres a révélé que le HGF classique a échoué dans 22,7 % des cas (formant une grande région connectée d'échec). Le uHGF a réussi dans 100 % des cas, éliminant efficacement les limites dans l'espace des paramètres.

4. Importance et affirmations

L'article affirme que les modifications proposées résolvent le problème de la précision postérieure négative, rendant les réseaux HGF robustes sur l'ensemble de l'espace des paramètres. L'importance de ce travail inclut :

• Élimination des limites algorithmiques : En garantissant une précision positive pour toutes les combinaisons de paramètres, les nouvelles équations éliminent le besoin de vérifications de limites coûteuses lors de l'estimation des paramètres. Cela permet aux optimiseurs basés sur le gradient et aux méthodes d'échantillonnage d'explorer l'ensemble de l'espace des paramètres sans rencontrer de vraisemblances indéfinies ou d'artefacts de « crash ».
• Suivi fidèle : La méthode suit fidèlement la postérieure variationnelle même dans des régimes extrêmes (grandes erreurs de prédiction) où l'approximation quadratique originale échoue, fournissant un résumé plus précis des états de croyance.
• Efficacité computationnelle : L'utilisation de la fonction W de Lambert fournit une solution fermée pour le second mode, évitant le coût computationnel de l'optimisation numérique itérative pour la recherche de racines.
• Généralisabilité : L'approche s'étend naturellement au HGF généralisé, prenant en charge des architectures complexes avec un couplage mixte valeur et volatilité et plusieurs enfants par parent.

Les auteurs notent que si la méthode améliore la robustesse, elle conserve la limitation fondamentale du HGF original : l'approximation de la postérieure par une seule gaussienne. Dans les cas de forte bimodalité persistante, la gaussienne appariée aux moments peut être un résumé moins informatif que la distribution complète, bien qu'une telle bimodalité soit généralement transitoire en pratique.

Les équations modifiées sont implémentées dans le package Julia UnboundedHGF.jl et ont été intégrées dans les bibliothèques standards HierarchicalGaussianFiltering.jl, pyhgf et la boîte à outils MATLAB HGF.