Not all uncertainty is alike: volatility, stochasticity, and exploration

Résumé technique : Toutes les incertitudes ne se valent pas : volatilité, stochasticité et exploration

Énoncé du problème
La prise de décision adaptative, tant dans l'intelligence biologique que dans l'intelligence artificielle, nécessite de trouver un équilibre entre l'exploitation des résultats connus et l'exploration d'alternatives incertaines. Bien que les travaux antérieurs postulent généralement qu'une incertitude accrue entraîne une exploration accrue (par exemple, via la borne de confiance supérieure ou l'échantillonnage de Thompson), cette perspective traite toutes les sources d'incertitude comme équivalentes. Cet article s'intéresse aux environnements où l'incertitude provient de deux sources distinctes : la volatilité (états de récompense latents qui dérivent dans le temps) et la stochasticité (observations bruitées de ces états). Ces deux sources augmentent l'incertitude a posteriori, pourtant les algorithmes standards échouent à les distinguer, prescrivant davantage d'exploration dans les deux cas. Le problème central est que cette prescription uniforme est sous-optimale : la volatilité crée des opportunités de gain d'information, tandis que la stochasticité dégrade la qualité de l'information.

Méthodologie
Les auteurs abordent ce problème à travers deux lentilles théoriques principales :

1. Extension du cadre de l'indice de Gittins :
   Les auteurs étendent le cadre classique de l'indice de Gittins, traditionnellement appliqué aux bandits gaussiens indépendants et identiquement distribués (iid), aux bandits à espace d'état gaussien dotés de dynamiques latentes. Dans ce contexte, chaque bras possède un état de récompense latent $x_t$ évoluant comme une marche aléatoire gaussienne avec une variance d'innovation $v$ (volatilité) et est observé à travers un bruit de variance $s$ (stochasticité).

   • Ils formalisent la prime d'exploration comme la valeur de l'information dérivée du « problème de la retraite » (un agent choisissant entre actionner un bras ou prendre sa retraite pour un salaire fixe).
   • Ils démontrent que la prime d'exploration optimale est croissante de manière monotone avec la volatilité ($v$) et décroissante de manière monotone avec la stochasticité ($s$). Cela est établi par des arguments de couplage : un canal d'observation plus bruyant restreint l'ensemble des règles d'arrêt disponibles (réduisant la valeur), tandis qu'une volatilité plus élevée augmente la dispersion des moyennes a posteriori futures, renforçant la valeur de l'option d'actionner (augmentant la valeur).

2. Déduction de CAUSE (Contrôle comme Inférence) :
   Reconnaissant que l'indice de Gittins est optimal uniquement pour les bandits « au repos » (où les bras non sélectionnés n'évoluent pas) et est intraitable pour les environnements « agités », les auteurs déduisent une politique pratique sous forme close en utilisant le cadre du contrôle comme inférence.

   • Ils formulent la sélection d'actions comme une inférence a posteriori dans un modèle graphique probabiliste, conditionnée à l'optimalité future.
   • En employant une hypothèse de fonction sigmoïde pour le message rétrograde et en utilisant des approximations probit pour les convolutions gaussien-sigmoïde, ils déduisent CAUSE (Cause-Aware Uncertainty-Sensitive Exploration).
   • CAUSE se décompose en un terme d'exploitation (moyenne actuelle) et une prime d'exploration qui dépend explicitement de $v$ et $s$, héritant des monotonicités opposées établies par l'analyse de l'indice de Gittins.

Contributions clés

1. Asymétrie théorique : L'article démontre formellement que les primes d'exploration optimales augmentent avec la volatilité mais diminuent avec la stochasticité. Cela remet en question l'hypothèse standard selon laquelle « plus d'incertitude équivaut à plus d'exploration ».
2. Indice CAUSE : La dérivation de CAUSE, la première politique d'indice sous forme close connue pour les bandits agités avec des dynamiques gaussiennes à état continu. Elle est déduite via le contrôle comme inférence et ne repose pas sur les approximations typiques de l'indice de Whittle ou de la programmation dynamique sur les MDP d'états de croyance.
3. Vision unifiée de l'apprentissage et de l'exploration : Les auteurs démontrent que les effets opposés de la volatilité et de la stochasticité sur l'exploration parallèlent leurs effets connus sur les taux d'apprentissage. Ces deux phénomènes découlent des mêmes propriétés normatives du modèle génératif : la volatilité rend les nouvelles observations pertinentes, tandis que la stochasticité les rend peu fiables.
4. Analyse des lésions et inférence pathologique : L'article modélise des agents « lésés » qui échouent à inférer correctement une source de bruit. Il prédit que de tels échecs produisent des schémas comportementaux inversés (plutôt que simplement altérés). Par exemple, un agent insensible à la stochasticité explorera excessivement dans des environnements à fort bruit (confondant le bruit avec une dérive), tandis qu'un agent insensible à la volatilité sous-exploitera dans des environnements changeants.

Résultats expérimentaux
Les auteurs évaluent CAUSE par rapport à l'échantillonnage de Thompson, UCB, l'échantillonnage prédictif et une base de référence numérique Gittins-par-bras à travers divers régimes :

• Bandits agités hétérogènes : Dans les régimes mixtes, dominés par la stochasticité et dominés par la volatilité, CAUSE atteint le regret cumulatif le plus bas. Notamment, dans le régime dominé par la stochasticité, CAUSE et la base de référence Gittins-par-bras pondèrent correctement à la baisse l'exploration des bras à fort bruit, tandis que UCB et l'échantillonnage de Thompson subissent un regret significativement plus élevé en traitant la variance a posteriori comme une quantité unique.
• Structure de la prime : La prime sous forme close de CAUSE suit étroitement la forme de la prime optimale de Gittins sur plusieurs ordres de grandeur de stochasticité, tandis que UCB reste insensible à la stochasticité.
• Validation de la limite au repos : Dans la limite où la volatilité est nulle ($v=0$), la performance de CAUSE est statistiquement indiscernable de l'indice de Gittins optimal calculé numériquement, validant la précision des approximations du contrôle comme inférence.
• Analyse des lésions : Les simulations confirment que les agents avec des priors de bruit mal calibrés exhibent les comportements d'exploration inversés prédits (par exemple, les agents aveugles à la stochasticité explorent excessivement à mesure que la vraie stochasticité augmente).

Portée et affirmations
L'article prétend fournir un compte rendu normatif unifié de la manière dont différentes sources d'incertitude devraient piloter l'exploration. Sa signification principale réside dans :

• Correction d'un défaut fondamental : Il démontre que les stratégies d'exploration standards sont structurellement sous-optimales dans des environnements aux structures de bruit hétérogènes car elles confondent volatilité et stochasticité.
• Psychiatrie computationnelle : Le cadre offre une cible comportementale concrète pour l'étude de conditions psychiatriques (par exemple, anxiété, psychose, dépression). Il suggère que les comportements pathologiques peuvent ne pas être simplement une exploration « altérée » mais une exploration « inversée », où la direction de l'erreur dépend du canal d'inférence du bruit (volatilité vs stochasticité) qui est mal calibré.
• Avancée méthodologique : Il établit le contrôle comme inférence comme une voie viable pour déduire des indices sous forme close et traitables pour les problèmes de bandits agités, un domaine où les politiques optimales sont généralement intraitables.

Les auteurs restent modestes quant à la portée, notant que l'indice CAUSE sous forme close repose sur la conjugaison gaussienne et des approximations spécifiques (probit/sigmoïde), et que si les prédictions directionnelles peuvent se généraliser, la forme exacte ne se transfère pas mécaniquement aux dynamiques non gaussiennes ou aux changements de point.