Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty

Cet article propose un cadre normatif novateur permettant de distinguer la volatilité de la stochasticité à partir de résultats binaires, validé par des données comportementales humaines montrant que les individus ajustent leurs taux d'apprentissage en fonction de ces paramètres de bruit.

L'essentiel

🌊 Le grand défi : Distinguer la tempête de la vague

Imaginez que vous êtes un navigateur sur un océan inconnu. Votre but est de trouver une île cachée (la "vérité" ou l'état caché). Mais vous ne pouvez pas voir l'île directement ; vous ne voyez que les vagues qui frappent votre bateau (les "résultats" ou les observations).

Le problème, c'est que l'eau est agitée pour deux raisons très différentes :

1. La Volatilité (Le changement de cap) : L'île elle-même a bougé ! Elle s'est déplacée vers la gauche ou la droite. Si c'est le cas, vous devez changer de direction immédiatement et apprendre vite.
2. La Stochasticité (Le bruit de l'eau) : L'île est restée immobile, mais une grosse vague (ou une erreur de mesure) a fait croire que l'eau était ailleurs. Si c'est le cas, vous ne devez pas paniquer ; vous devez ignorer cette vague et continuer comme avant.

Le dilemme : Quand vous voyez une vague bizarre, comment savoir si l'île a bougé ou si c'est juste une vague ? Si vous vous trompez, vous apprenez mal : soit vous changez de direction pour rien, soit vous restez bloqué alors que le monde a changé.

🛠️ L'ancienne méthode (et pourquoi elle échouait)

Jusqu'à présent, les scientifiques utilisaient des outils conçus pour des océans lisses et continus (comme des courbes de température). Pour les appliquer à des résultats "binaires" (Gagné/Perdu, Oui/Non), ils devaient utiliser des "bricolages" mathématiques.

C'était comme essayer de mesurer la température d'un feu avec un thermomètre à glace : ça marche à peu près, mais ça crée des erreurs bizarres. Par exemple, ces anciens modèles pensaient que n'importe quelle surprise (même une simple erreur de hasard) signifiait que le monde avait changé, ce qui poussait les gens à apprendre trop vite et de manière inefficace.

🆕 La nouvelle solution : Le "Filtre HMM-Particules"

Les auteurs de cette étude (Xiaotong Fang et Payam Piray) ont dit : "Stop aux bricolages ! Créons un outil fait sur mesure pour les résultats binaires."

Ils ont développé un nouveau modèle mathématique qu'on pourrait appeler "Le Détective des Vagues". Voici comment il fonctionne avec une analogie simple :

1. Le Modèle de Base (Le HMM)

Imaginez que vous avez un détective qui observe les vagues. Ce détective sait que l'île peut bouger (volatilité) et que les vagues peuvent mentir (stochasticité).

• Si l'île bouge souvent, le détective dit : "Attention, tout change vite ! Je vais apprendre très vite."
• Si les vagues sont très bruyantes mais que l'île est stable, le détective dit : "C'est juste du bruit. Je vais prendre mon temps et ignorer les erreurs."

Ce modèle est parfait si le détective connaît déjà à l'avance à quel point l'île bouge et à quel point l'eau est bruyante. Mais dans la vraie vie, on ne connaît pas ces chiffres !

2. L'Innovation (Le Filtre à Particules - PF)

C'est ici que la magie opère. Comme on ne connaît pas les règles du jeu, le modèle utilise une technique appelée "Filtre à Particules".

Imaginez que le détective ne travaille pas seul. Il a une armée de 1000 petits clones (les particules) dans sa tête.

• Chaque clone fait une hypothèse différente : "Et si l'île bougeait beaucoup ?", "Et si l'eau était très bruyante ?", "Et si les deux étaient faibles ?".
• À chaque nouvelle vague observée, le détective regarde ses clones.
• Les clones qui avaient deviné juste reçoivent un point. Ceux qui se trompent sont éliminés.
• Avec le temps, l'armée se concentre sur les clones qui ont la bonne réponse.

Grâce à cette méthode, le modèle apprend en même temps à deviner les règles du jeu (la volatilité et le bruit) et à trouver l'île. Il arrive à séparer le "changement réel" du "bruit accidentel".

🧪 L'expérience humaine : Les humains sont-ils de bons détectives ?

Pour vérifier si les humains fonctionnent comme ce modèle, les chercheurs ont créé un jeu en ligne appelé "La Mission du Lion de Mer".

• Le jeu : Vous devez deviner de quel côté de la plage un lion de mer va chercher des trésors.
• Les pièges :
  • Parfois, le lion change de côté très souvent (Haute Volatilité).
  • Parfois, les vagues emmènent le trésor du mauvais côté par hasard (Haute Stochasticité).
• Le résultat : Les humains se sont révélés être d'excellents détectives !
  • Quand le lion changeait souvent, les joueurs apprenaient vite et changeaient d'avis rapidement.
  • Quand les vagues étaient bruyantes, les joueurs devenaient plus prudents et apprenaient lentement, en attendant de voir plus de preuves.

Ils ont même mesuré le temps de réaction : quand il était difficile de savoir si c'était un changement ou du bruit (quand les "clones" dans la tête du joueur étaient tous d'accord pour dire "je ne sais pas"), les joueurs prenaient plus de temps pour répondre. Cela prouve que leur cerveau fait le même calcul complexe que le modèle mathématique.

💡 Pourquoi est-ce important ?

Cette découverte est cruciale pour comprendre comment nous apprenons, mais aussi pour la santé mentale.

• Dans la dépression : Une personne dépressive pourrait mal interpréter le "bruit" (un échec dû au hasard) comme un "changement" (une preuve qu'elle est nul(le) et que tout va mal). Elle apprendrait trop vite à se blâmer.
• Dans l'anxiété : Quelqu'un pourrait penser que le monde change tout le temps (haute volatilité) alors qu'il est stable, ce qui crée une anxiété constante.

En comprenant exactement comment le cerveau sépare le "vrai changement" du "bruit", nous pouvons mieux aider les personnes qui ont du mal à faire cette distinction, en leur apprenant à ajuster leur "vitesse d'apprentissage" comme le fait notre modèle mathématique.

En résumé : Cette étude nous donne la recette exacte pour apprendre dans un monde incertain, en nous montrant comment distinguer une vraie révolution d'un simple accident de la route, et prouve que nos cerveaux sont naturellement doués pour ce travail de détective.

Résumé technique

1. Le Problème : Inférer la source du bruit dans les environnements binaires

L'apprentissage dans des environnements incertains repose sur la capacité à distinguer deux sources fondamentales de bruit :

• La volatilité : Le changement de l'état caché sous-jacent de l'environnement (ex: les règles du jeu changent).
• La stochasticité : Le bruit dans l'observation elle-même, alors que l'état caché reste stable (ex: un résultat aléatoire ou une erreur de perception).

Le défi spécifique : La plupart des modèles d'apprentissage existants (comme le filtre de Kalman hiérarchique) sont conçus pour des résultats continus. Lorsqu'ils sont appliqués à des résultats binaires (succès/échec, 0/1), ils utilisent des approximations ad hoc (comme des transformations sigmoïdes) qui introduisent des incohérences théoriques. Ces modèles échouent à dissocier correctement la volatilité de la stochasticité, conduisant souvent à une augmentation artificielle du taux d'apprentissage face à tout événement surprenant, même si celui-ci est dû uniquement au bruit d'observation (stochasticité) et non à un changement de l'environnement.

L'objectif de l'article est de développer un cadre normatif capable d'inférer simultanément la volatilité et la stochasticité à partir de feedbacks binaires, sans approximations biaisées.

2. Méthodologie

Les auteurs proposent une approche en trois étapes, combinant théorie computationnelle, simulations et validation expérimentale.

A. Modélisation Théorique : Le Modèle HMM (Hidden Markov Model)

Contrairement aux approches basées sur le filtre de Kalman (pour les variables continues), les auteurs adoptent un modèle à espace d'états conçu nativement pour les variables discrètes :

• Génération des données : Un état caché binaire $x_t$ évolue selon une probabilité de transition (volatilité $v$). L'observation binaire $o_t$ est générée à partir de $x_t$ avec une probabilité d'erreur (stochasticité $s$).
• Inférence exacte : Lorsque $v$ et $s$ sont connus, l'inférence de l'état caché est analytiquement tractable via un HMM standard, fournissant des équations de mise à jour bayésiennes exactes (sans approximation).
• Limitation : Dans la réalité, $v$ et $s$ sont inconnus et doivent être appris.

B. Le Modèle Computationnel : PF-HMM (Particle Filter - Hidden Markov Model)

Pour résoudre le problème où les paramètres de bruit sont inconnus et dynamiques, les auteurs combinent l'HMM avec un Filtre à Particules (Particle Filtering) :

• Approche Rao-Blackwellized : Le modèle maintient une population de particules, chacune représentant une hypothèse possible sur les valeurs de volatilité ($v_t$) et de stochasticité ($s_t$).
• Mécanisme :
  1. Prédiction : Les particules évoluent selon des processus de diffusion (les paramètres changent légèrement au fil du temps).
  2. Mise à jour des poids : Les particules dont les prédictions correspondent mieux à l'observation reçue reçoivent un poids plus élevé.
  3. Inférence de l'état caché : Pour chaque particule (c'est-à-dire pour chaque hypothèse de $v$ et $s$), l'inférence de l'état caché $x_t$ est effectuée via l'algorithme HMM exact.
• Résultat : Le modèle estime en temps réel non seulement l'état caché, mais aussi les niveaux de volatilité et de stochasticité, permettant d'ajuster le taux d'apprentissage de manière optimale.

C. Validation Expérimentale

• Tâche Comportementale : Deux tâches d'apprentissage par inversion probabiliste (Sea Lion et Turtle tasks) avec un design factoriel 2x2. Les participants devaient prédire un résultat binaire.
• Manipulation : Les auteurs ont systématiquement varié la vraie volatilité (fréquence de changement des règles) et la vraie stochasticité (bruit dans les récompenses) sur quatre blocs.
• Analyse : Ajustement des modèles (HMM par bloc et PF-HMM) aux données comportementales humaines (choix et temps de réponse) et comparaison avec des modèles alternatifs (Pearce-Hall, HGF binaire).

3. Contributions Clés

1. Cadre Normatif pour les Données Binaires : Première théorie normative qui traite nativement les résultats binaires via un HMM, évitant les approximations du filtre de Kalman qui biaisent l'inférence.
2. Dissociation Computationnelle : Démonstration qu'il est possible d'inférer simultanément et correctement la volatilité et la stochasticité à partir de séquences d'observations binaires uniquement.
3. Modèle PF-HMM : Introduction d'un algorithme hybride (Filtre à Particules + HMM) capable d'apprendre les paramètres de bruit dynamiquement, offrant une solution robuste aux problèmes d'inférence non linéaire.
4. Validation par "Lésion" (Ablation) : Simulation de modèles où l'un des mécanismes d'inférence est désactivé, montrant que l'absence de capacité à inférer l'un des bruits conduit à une attribution erronée de l'autre (ex: interpréter le bruit stochastique comme une volatilité élevée), ce qui pourrait modéliser des pathologies psychiatriques.

4. Résultats

Simulations

• Le modèle PF-HMM reproduit les prédictions normatives : le taux d'apprentissage optimal augmente avec la volatilité (nécessité d'oublier le passé) et diminue avec la stochasticité (nécessité d'agréger plus d'informations pour filtrer le bruit).
• Les modèles "lésés" (ablatés) montrent des comportements pathologiques : un modèle sans module de stochasticité attribue tout le bruit à la volatilité, entraînant un taux d'apprentissage excessivement élevé, et inversement.

Données Humaines (Expérience Sea Lion et Turtle)

• Effets Principaux : Les participants humains ajustent leur taux d'apprentissage conformément aux prédictions du modèle :
  • Taux d'apprentissage plus élevé dans les blocs à haute volatilité.
  • Taux d'apprentissage plus faible dans les blocs à haute stochasticité.
• Temps de Réaction : Une analyse fine des temps de réponse révèle qu'ils sont plus lents lorsque la variabilité des vraisemblances entre les particules est faible. Cela suggère que les participants ralentissent lorsque la source du bruit est difficile à identifier (ambiguïté computationnelle).
• Comparaison de Modèles : Le PF-HMM surpasse significativement les modèles alternatifs (Pearce-Hall et HGF binaire) selon les critères bayésiens (BIC et probabilité d'excédence protégée) sur les données de l'étude actuelle et sur deux jeux de données publics existants.

5. Signification et Implications

• Théorique : L'article résout un problème fondamental en psychologie computationnelle en fournissant un cadre rigoureux pour l'apprentissage binaire, comblant le fossé entre les modèles continus (Kalman) et discrets (HMM).
• Psychiatrie et Neurosciences : La capacité à dissocier volatilité et stochasticité est cruciale pour comprendre les troubles psychiatriques. Par exemple, dans la dépression, une mauvaise attribution du bruit stochastique (un échec dû au hasard) comme une volatilité élevée (un échec dû à une faille personnelle ou un changement de l'environnement) pourrait alimenter des boucles de culpabilité et des croyances inadaptées. Les simulations de "lésion" du modèle offrent un cadre pour étudier ces dysfonctionnements.
• Généralisation : La capacité à distinguer ces sources d'incertitude est essentielle pour l'apprentissage latent, la planification et la prise de décision, au-delà de la simple prédiction de récompenses.

En conclusion, cette étude propose une avancée majeure en établissant que l'apprentissage optimal à partir de résultats binaires nécessite une inférence explicite et dissociée de la volatilité et de la stochasticité, un mécanisme que les humains semblent mettre en œuvre naturellement, mais que les modèles computationnels précédents ne parvenaient pas à capturer correctement.