Stimulus prior and reward probability differentially affect response bias in perceptual decision making

Cette étude menée sur des rats démontre que les ratios de récompense influencent plus fortement le biais de décision que les ratios de présentation des stimuli, en raison de taux d'apprentissage nettement supérieurs, tout en révélant que les modèles actuels de décision ne parviennent pas à capturer ces effets différentiels, ce qui suggère que les sujets représentent explicitement les probabilités a priori des stimuli.

L'essentiel

🧠 Le Grand Jeu des Ratons et des Choix : Qui décide vraiment ?

Imaginez que vous êtes un rat dans un laboratoire. Devant vous, il y a deux portes. Parfois, on vous joue un son grave (Porte A), parfois un son aigu (Porte B). Si vous choisissez la bonne porte, vous obtenez une goutte d'eau délicieuse. Si vous vous trompez, rien ne se passe, et vous devez attendre un peu avant de pouvoir rejouer.

Le but de l'étude était de comprendre comment votre cerveau décide de choisir une porte plutôt qu'une autre. Est-ce que vous êtes un robot qui suit des règles mathématiques strictes ? Ou est-ce que vous apprenez et vous adaptez en fonction de vos expériences ?

Les chercheurs ont testé deux choses principales pour voir ce qui influence votre décision :

1. La fréquence des sons : Est-ce que le son grave est joué beaucoup plus souvent que le son aigu ?
2. La fréquence des récompenses : Est-ce que la porte du son grave donne plus souvent de l'eau que l'autre ?

🎲 L'Analogie du "Seuil de Décision"

Pour comprendre, imaginez que votre cerveau possède un seuil de décision (comme un garde-barrière sur une route).

• Si le son est très clair, le garde-barrière s'ouvre facilement.
• Mais ce garde-barrière peut bouger ! S'il bouge vers la gauche, vous serez plus enclin à choisir la porte de gauche, même si le son est ambigu.

L'étude voulait savoir : Qu'est-ce qui fait bouger ce garde-barrière ? Est-ce le fait que le son soit plus fréquent, ou le fait qu'il soit plus récompensé ?

🏆 Résultat 1 : L'Argent (la Récompense) bat la Fréquence

Les chercheurs ont fait deux expériences séparées :

• Expérience A : Ils ont joué le son grave 4 fois plus souvent, mais la récompense était la même pour les deux.
• Expérience B : Ils ont joué les sons à parts égales, mais le son grave donnait 4 fois plus de récompenses.

Ce qu'ils ont découvert :
Les rats ont beaucoup plus changé leur comportement quand la récompense changeait que quand la fréquence du son changeait.

• L'analogie : Imaginez que vous travaillez. Si votre patron vous dit "J'utilise le stylo rouge 4 fois plus que le bleu" (fréquence), vous allez peut-être l'utiliser un peu plus. Mais si le patron dit "Si tu utilises le stylo rouge, tu gagnes 4 fois plus d'argent" (récompense), vous allez immédiatement et massivement arrêter le bleu pour ne faire que du rouge.
• Pour les rats, l'argent (l'eau) compte beaucoup plus que la simple statistique de la fréquence.

🤖 Résultat 2 : Les Modèles Informatiques Ont Échoué

Les chercheurs ont essayé de prédire le comportement des rats avec trois modèles mathématiques (des "théories" sur la façon dont le cerveau apprend).

• Le problème : Aucun des modèles n'a pu prédire ce qui se passait quand on mélangeait les deux (quand le son était fréquent MAIS que l'autre était mieux payé).
• Pourquoi ? Parce que les modèles supposaient que les rats ne faisaient que compter les récompenses. Ils ne prenaient pas en compte le fait que les rats semblent aussi se souvenir de la probabilité des sons eux-mêmes.
• L'image : C'est comme si un GPS calculait le trajet uniquement en fonction du trafic actuel, sans jamais se souvenir que, historiquement, telle route est toujours bouchée à 17h. Les rats, eux, semblent avoir une carte mentale plus complète.

💧 Résultat 3 : La Quantité d'Eau Globale Ne Change Pas Grand-chose

Dans une dernière expérience, les chercheurs ont varié la "densité" de récompense.

• Parfois, les rats gagnaient de l'eau très souvent (environ 100% des bonnes réponses).
• Parfois, ils gagnaient très rarement (25% des bonnes réponses).

Le résultat surprenant : Cela n'a pas changé la vitesse à laquelle ils apprenaient. Qu'ils soient dans un monde "riche" en eau ou "pauvre", ils apprenaient à peu près à la même vitesse.

• L'analogie : Que vous soyez dans un restaurant où vous mangez tous les jours ou dans un désert où vous mangez une fois par semaine, votre capacité à apprendre le chemin vers le restaurant ne change pas. Ce qui compte, c'est la différence entre les options, pas la quantité totale de nourriture disponible.

🚀 Conclusion Simple

Cette étude nous apprend deux choses importantes sur la prise de décision (chez les rats, et probablement chez nous) :

1. La récompense est reine : Nous sommes beaucoup plus sensibles aux changements de ce que nous gagnons (l'argent, la nourriture) que aux changements de la fréquence des événements.
2. Nous sommes plus intelligents que nos modèles : Les théories actuelles qui essaient de prédire nos choix sont trop simplistes. Elles oublient que nous gardons en tête non seulement nos gains, mais aussi la probabilité que les événements se produisent.

En résumé, quand nous prenons une décision, nous ne sommes pas de simples calculateurs de récompenses. Nous sommes des détectives qui observent à la fois ce qui arrive souvent et ce qui paie le mieux, et nous utilisons ces deux informations pour ajuster notre boussole intérieure.

Résumé technique

1. Problématique et Contexte

La théorie de la détection du signal (SDT) est le modèle standard pour analyser les décisions perceptives. Elle postule qu'un sujet compare des échantillons d'une variable de preuve à un critère de décision statique. Bien que la sensibilité ($d'$) soit bien comprise, le critère de décision n'est pas statique ; il fluctue d'essai en essai et s'adapte aux conditions expérimentales.

Le problème central abordé par cette étude est l'absence de compréhension des mécanismes régissant ces changements de critère d'essai en essai. Plus précisément, les auteurs cherchent à déterminer si les manipulations des probabilités de présentation des stimuli (SPP) et des probabilités de récompense (RP) affectent l'apprentissage du critère de la même manière. Une question secondaire concerne l'impact de la densité de récompense (taux global de récompense) sur la vitesse d'apprentissage.

2. Méthodologie

Sujets et Tâche :

• Sujets : 9 rats mâles.
• Tâche : Discrimination auditive à deux choix (deux stimuli sonores, S1 et S2, et deux réponses, R1 et R2).
• Protocole : Les rats devaient identifier le stimulus et choisir le port de nez correspondant. Les réponses correctes étaient récompensées par de l'eau selon un calendrier expérimental variable.

Expériences :
Cinq expériences ont été menées pour isoler et combiner les facteurs :

1. Expérience 1 : Variation des ratios de présentation des stimuli (SPP) avec des probabilités de récompense constantes (0,5).
2. Expérience 2 : Variation des ratios de récompense (RP) avec des probabilités de présentation des stimuli constantes (0,5).
3. Expérience 3 : Combinaison antagoniste de SPP et RP (ex: SPP 1:4 vs RP 4:1) pour tester si leurs effets s'annulent ou dominent.
4. Expérience 4 : Variation de la densité de récompense globale (probabilités de récompense égales mais différentes : 0,25 à 1,0) sans biais de ratio.
5. Expérience 5 : Interaction entre les ratios de récompense (RP) et la densité de récompense.

Modélisation et Analyse :
Les auteurs ont comparé trois modèles d'apprentissage du critère d'essai en essai :

1. Modèle KDB modifié : Basé sur Kac, Dorfman et Biderman. Le critère se déplace d'une étape fixe $\Delta$ après une récompense, avec un terme de fuite ($\gamma$) pour éviter la dérive infinie.
2. Modèle DT (Davison-Tustin) : Combine la SDT et la loi de l'appariement (Matching Law). La taille de l'étape de mise à jour dépend de la position actuelle du critère et d'un paramètre de sensibilité à la récompense ($a$).
3. Modèle RL (Apprentissage par Renforcement) : Basé sur Lak et al. (2020). Les animaux stockent des "valeurs d'action" mises à jour via une erreur de prédiction de récompense.

Les modèles ont été ajustés aux données par maximisation de la vraisemblance (NLL) et comparés via le critère d'information bayésien (BIC). Des simulations ont également été réalisées pour vérifier la capacité des modèles à générer des comportements similaires à ceux des sujets.

3. Résultats Clés

A. Différence entre SPP et RP (Expériences 1, 2 et 3) :

• Biais comportemental : Les manipulations de RP (Expérience 2) ont produit un biais de réponse plus fort et des critères d'équilibre plus extrêmes que les manipulations de SPP (Expérience 1), même pour des ratios identiques.
• Apprentissage : Les taux d'apprentissage (paramètres $\Delta$, $a$, $\alpha$) étaient plus de dix fois plus élevés lorsque les ratios de récompense étaient manipulés par rapport aux ratios de présentation des stimuli.
• Échec des modèles unifiés : Dans l'Expérience 3 (SPP et RP opposés), un observateur idéal SDT devrait maintenir un critère neutre (0). Cependant, les rats ont systématiquement biaisé leur réponse vers l'option associée à la récompense plus élevée, ignorant partiellement la fréquence du stimulus.
• Limites des modèles : Aucun des trois modèles testés n'a pu reproduire ce comportement dans l'Expérience 3. Les modèles KDB et DT prédisent un critère d'équilibre identique pour toutes les conditions (basé sur le produit $\pi \times \rho$), tandis que le modèle RL échoue à capturer l'adaptation lente observée avec les SPP variables.

B. Densité de récompense (Expériences 4 et 5) :

• Absence d'effet systématique : La variation de la densité de récompense globale (Expérience 4) n'a pas affecté de manière cohérente les critères d'équilibre ni les taux d'apprentissage.
• Interaction complexe : Dans l'Expérience 5, bien que l'ajout de taux d'apprentissage spécifiques à chaque condition ait amélioré l'ajustement des modèles (BIC plus faible), il n'y avait aucune corrélation systématique entre la densité de récompense (haute vs basse) et la magnitude du taux d'apprentissage. Cela suggère que la densité de récompense n'est pas le facteur déterminant de la vitesse d'adaptation.

4. Contributions et Signification

Contributions Principales :

1. Dissociation des facteurs : L'étude démontre de manière convaincante que les animaux ne traitent pas les probabilités de stimuli (SPP) et les probabilités de récompense (RP) de manière interchangeable. Les RP dominent le processus d'apprentissage du critère.
2. Représentation cognitive : Les résultats suggèrent que les sujets ne se contentent pas de suivre les taux de récompense réponse-contingents (comme le prévoient les modèles KDB et DT classiques). Ils semblent représenter explicitement soit les probabilités a priori des stimuli, soit l'ensemble de la distribution des stimuli.
3. Échec des modèles actuels : L'incapacité des modèles basés sur la SDT, la loi de l'appariement et l'apprentissage par renforcement standard à capturer les effets différentiels de l'Expérience 3 révèle une lacune fondamentale dans la modélisation actuelle de la prise de décision perceptive.

Signification et Perspectives :

• Théorique : Ces résultats remettent en question l'hypothèse selon laquelle le critère de décision est uniquement optimisé pour maximiser le gain global basé sur les taux de récompense. Ils indiquent que le cerveau intègre l'information sur la fréquence des stimuli d'une manière distincte de celle des récompenses.
• Modélisation future : Les futurs modèles de décision perceptive doivent intégrer une représentation explicite et dynamique des probabilités a priori des stimuli (ou de leur distribution complète) et non seulement des valeurs de récompense. Cela pourrait nécessiter des mécanismes d'apprentissage des priors via des erreurs de prédiction sensorielle, comme suggéré par des travaux récents sur l'activité dopaminergique striatale.
• Comparaison inter-espèces : L'étude note une divergence avec les résultats chez l'humain (où les SPP semblent avoir un effet plus fort), soulignant la nécessité d'investiguer si les manipulations de magnitude vs probabilité de récompense produisent des effets différents chez les humains.

En conclusion, cette recherche établit que la prise de décision perceptive est guidée par une interaction complexe où la probabilité de récompense domine la fréquence du stimulus pour l'adaptation du critère, un mécanisme que les modèles théoriques actuels ne parviennent pas encore à capturer entièrement.