Dynamic distortion of inferred reward probability shapes choice over time

Cette étude révèle que les choix temporels dépendent d'une inférence dynamique où la probabilité de récompense perçue subit une distorsion systématique et où la précision temporelle est modulée par la récompense elle-même plutôt que par le temps écoulé.

L'essentiel

🕵️‍♂️ Le Grand Jeu du "Quand Faut-il Agir ?"

Imaginez que vous êtes dans une situation où vous devez choisir entre deux portes pour attraper un trésor. Mais il y a un piège : le trésor ne reste pas au même endroit.

• Au début du jeu, la Porte Gauche est pleine de trésors, mais ils disparaissent petit à petit.
• La Porte Droite, elle, commence vide, mais se remplit de plus en plus au fur et à mesure que le temps passe.

Votre mission ? Deviner à quel moment précis vous devez sauter sur la Porte Droite pour attraper le maximum de trésors. Le problème ? Vous n'avez pas d'horloge dans votre tête. Vous devez juste estimer combien de temps s'est écoulé depuis le début du jeu.

C'est exactement ce que les chercheurs ont fait tester à des participants dans cette étude. Ils ont découvert deux choses fascinantes sur la façon dont notre cerveau gère le temps et les récompenses.

---

1. Le "Filtre de Confiance" (La Distorsion des Probabilités)

L'analogie du filtre photo :
Imaginez que votre cerveau reçoit une photo du monde réel (les vraies chances de gagner). Mais avant de prendre une décision, votre cerveau passe cette photo à travers un filtre spécial.

• Si les chances de gagner sont faibles (ex: 10 %), votre cerveau a tendance à dire : "Oh, c'est presque impossible !" (il exagère un peu le danger).
• Si les chances sont très fortes (ex: 90 %), votre cerveau dit : "C'est presque certain !" (il exagère un peu la sécurité).

Ce que la science a découvert :
Notre cerveau ne fait pas un calcul mathématique parfait (comme une calculatrice). Il applique une transformation intelligente, un peu comme un filtre photo qui accentue les contrastes.

• Au lieu de dire "J'ai 60 % de chances, donc je choisis cette option 6 fois sur 10", notre cerveau dit : "C'est clairement la meilleure option, je vais y aller !"
• Cela nous pousse à prendre des décisions plus tranchées (plus "noir ou blanc") que ce que les mathématiques pures suggéreraient. C'est une stratégie gagnante : cela évite de rester paralysé par l'indécision quand les chances sont claires.

---

2. Le "Radar à Priorité" (L'Incertitude du Temps)

L'analogie de la lampe torche :
Classiquement, on pensait que notre sens du temps fonctionnait comme une lampe torche dont la lumière devient de plus en plus floue à mesure qu'on l'éloigne de soi. Plus le temps passe, plus on est incertains de l'heure qu'il est (c'est la "loi de Weber").

Mais cette étude montre quelque chose de plus surprenant :
Notre cerveau ne se soucie pas vraiment de la durée écoulée. Il se soucie de l'importance de l'instant.

• Imaginez que vous êtes dans une forêt sombre. Si vous savez qu'à un endroit précis, il y a un ours dangereux (une grande récompense ou un grand risque), votre cerveau va allumer un projecteur ultra-puissant à cet endroit précis. Votre perception du temps devient hyper-précise là où ça compte.
• À l'inverse, si vous êtes dans une zone où il ne se passe rien (faible récompense), votre cerveau éteint la lumière et devient flou.

En résumé : Notre cerveau n'est pas une horloge mécanique qui bat le temps de manière égale. C'est un radar intelligent qui se concentre avec une précision chirurgicale sur les moments où la récompense est la plus élevée, et qui se relâche quand l'enjeu est faible.

---

🧠 La Conclusion en Une Phrase

Ce papier nous apprend que notre cerveau est un stratège pragmatique : il ne cherche pas à être mathématiquement parfait. Il déforme légèrement nos calculs de probabilités pour nous pousser à agir avec plus de conviction, et il ajuste la précision de notre horloge interne en fonction de l'importance de la récompense attendue.

C'est une preuve que notre cerveau est conçu pour survivre et gagner, pas pour résoudre des équations de physique !

Résumé technique

---

1. Problématique et Contexte

L'article aborde un problème fondamental dans la prise de décision : comment les agents sélectionnent-ils des actions lorsque la probabilité de récompense varie systématiquement en fonction du temps écoulé, en l'absence de preuves sensorielles continues entre les événements ?

• Le défi de l'inférence conjointe : Contrairement aux modèles classiques d'accumulation de preuves ou d'apprentissage par renforcement statique, ce scénario exige que l'agent infère simultanément deux variables latentes : le temps écoulé et la structure de récompense associée à ce moment précis.
• Hypothèses concurrentes sur l'incertitude temporelle :
  1. Loi de Weber (Étalonnage temporel) : L'incertitude sur l'estimation du temps augmente proportionnellement à la durée écoulée ($\sigma \propto t$), indépendamment de la récompense.
  2. Étalonnage probabiliste (Hypothèse alternative) : L'incertitude temporelle est modulée par la probabilité de récompense attendue. Les moments à haute probabilité de récompense seraient représentés avec plus de précision temporelle que les moments à faible probabilité.
• Distorsion des probabilités : La question est également de savoir comment les probabilités de récompense inférées dynamiquement sont transformées en choix d'action, par rapport aux distorsions classiques observées dans des contextes statiques (théorie des perspectives).

2. Méthodologie

Tâche Expérimentale (Set-Go)

• Protocole : 12 participants ont effectué une tâche visuelle "Set-Go". Un signal d'avertissement ("Set") était suivi d'un signal cible ("Go") après un intervalle de temps aléatoire tiré d'une distribution uniforme $t \in [0.4, 1.4]$ secondes.
• Choix et Récompense : À l'apparition du signal "Go", les participants devaient choisir entre deux boutons (Gauche ou Droite).
• Structure Dynamique : La probabilité de récompense pour le choix "Gauche" diminuait linéairement (ou selon une courbe spécifique) avec le temps, tandis que celle pour "Droite" augmentait. Les deux probabilités somme à 1 à chaque instant.
• Conditions : Quatre conditions expérimentales différentes ont été utilisées, variant la pente des courbes de probabilité et le point de croisement (où $P(Gauche) = P(Droite) = 0.5$).
• Données : 31 931 essais analysés après filtrage (fixation oculaire, temps de réponse).

Modélisation Computationnelle
Les auteurs ont comparé plusieurs modèles pour expliquer le comportement :

1. Modèle de Blurring Temporel (Weber) : Convolution gaussienne de la fonction de probabilité de récompense avec un noyau dont l'écart-type $\sigma$ augmente linéairement avec le temps ($\sigma = \varphi \cdot t$).
2. Modèle de Blurring Probabiliste : Convolution gaussienne où l'écart-type $\sigma$ est inversement proportionnel à la probabilité de récompense attendue (plus la récompense est probable, plus l'estimation temporelle est précise).
3. Opérateur Linéaire Log-Odds Dynamique (DLLO) : Pour modéliser la transformation de la probabilité objective de récompense $p(t)$ en probabilité de choix subjective $\pi(p(t))$.
   • L'équation fondamentale est : $DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1-\gamma) \cdot Lo(p_0)$
   • Où $Lo(x) = \log(\frac{x}{1-x})$ est la transformation log-odds.
   • $\gamma$ est le paramètre de pente (contrôlant la distorsion).
   • $p_0$ est le point fixe (le point d'indifférence subjectif).
   • Si $\gamma = 1$, le choix est une copie fidèle (mimétisme). Si $\gamma \to \infty$, le choix devient une fonction de marche (stratégie optimale).

3. Résultats Clés

A. Performance Comportementale

• Les participants ont appris la structure dynamique de la récompense, obtenant des taux de récompense moyens significativement supérieurs au hasard (environ 0.70–0.72 contre 0.50).
• Le comportement s'approchait de la stratégie optimale (fonction de marche), mais ne l'atteignait pas parfaitement. Les points de croisement subjectifs étaient décalés (contractés vers la moyenne temporelle) et les probabilités de choix ne suivaient pas une relation 1:1 avec les probabilités objectives.

B. Distorsion Log-Odds (DLLO)

• La relation entre la probabilité de récompense objective et la probabilité de choix subjective était sigmoïde.
• Le modèle DLLO a capturé avec une grande précision (Adj. $R^2 > 0.99$) la dynamique des choix à la fois au niveau du groupe et des individus.
• Paramètre $\gamma$ : Les valeurs estimées se situaient entre 1.71 et 2.20. Cela indique une distorsion systématique : les participants surestiment les faibles probabilités inférées et sous-estiment les fortes probabilités, poussant leur comportement vers l'optimalité sans atteindre la fonction de marche parfaite.
• Analyse de la récompense attendue : La relation entre $\gamma$ et la récompense attendue est non linéaire. De petits augmentations de $\gamma$ (de 1 à ~2) apportent des gains de récompense substantiels, tandis que les augmentations ultérieures offrent des rendements décroissants. Les participants opèrent donc dans une "zone à haut rendement" du paramètre d'espace.

C. Nature de l'Incertitude Temporelle

• Comparaison des modèles : Le modèle combinant DLLO + Blurring Probabiliste (l'incertitude dépend de la récompense) a fourni le meilleur ajustement aux données, surpassant le modèle de blurring temporel (Weber).
• Conclusion sur le temps : L'incertitude temporelle n'est pas gouvernée par la durée écoulée, mais par la probabilité de récompense attendue. Les périodes à haute récompense sont représentées avec une précision temporelle accrue, contredisant la loi de Weber dans ce contexte spécifique.

4. Contributions Principales

1. Cadre Unifié de l'Inférence : L'article formalise le choix dépendant du temps comme un problème d'inférence sous double incertitude (temps et récompense), comblant le vide entre les modèles de timing et les modèles de décision basée sur la récompense.
2. Principe de Distorsion Dynamique : Identification d'une transformation linéaire en espace log-odds (DLLO) qui régit la carte des probabilités inférées vers l'action. Ce mécanisme diffère des distorsions statiques classiques car il opère sur des représentations temporelles internes et dynamiques.
3. Modulation de la Précision Temporelle par la Récompense : Démonstration empirique que la précision de l'estimation du temps est modulée par la valeur attendue (récompense) et non par la durée elle-même. Cela suggère un mécanisme d'allocation des ressources cognitives basé sur la pertinence comportementale.
4. Optimalité Adaptative : Les résultats suggèrent que le comportement humain n'est pas strictement optimal (fonction de marche) mais occupe une région de compromis ("high-yield") où de petits écarts par rapport à l'optimalité théorique sont compensés par une robustesse computationnelle et une économie d'effort.

5. Signification et Implications

• Neurosciences Cognitives : Ces résultats suggèrent que les mécanismes neuronaux sous-jacents (potentiellement liés aux signaux d'erreur de prédiction dopaminergiques) ajustent la résolution des représentations temporelles en fonction de la valeur de la récompense.
• Théorie de la Décision : L'étude remet en question l'hypothèse de la loi de Weber comme loi universelle du timing dans les tâches de décision, proposant plutôt une dépendance contextuelle à la valeur.
• Applications : Comprendre comment les agents apprennent et agissent dans des environnements dynamiques où le temps et la valeur sont couplés est crucial pour modéliser des comportements réels complexes (interactions sociales, coordination motrice, navigation dans des environnements changeants).

En résumé, cette étude démontre que le cerveau utilise des principes computationnels sophistiqués pour naviguer dans l'incertitude temporelle et récompensée, en appliquant une distorsion systématique des probabilités et en ajustant dynamiquement la précision de son horloge interne en fonction de l'enjeu de la récompense.