Résumé technique : La valeur unique des erreurs de prédiction nulles en apprentissage par renforcement

Problématique

La théorie de l'apprentissage par renforcement (RL) postule traditionnellement que l'apprentissage est piloté par les erreurs de prédiction (EP) — l'écart entre les résultats attendus et observés. Dans les modèles standards (par exemple, Rescorla & Wagner, 1), les résultats qui correspondent parfaitement aux attentes (EP nulles) sont traités comme une absence de signal d'apprentissage, ne portant aucune valeur informationnelle au-delà de la récompense elle-même. Cependant, ce cadre laisse ouverte la question de savoir si les « prédictions parfaites » sont psychologiquement neutres ou si elles constituent des événements distincts et informatifs qui façonnent activement l'affect, la mise à jour des croyances et le traitement neural. Plus précisément, il n'est pas clair si les EP nulles déclenchent des mécanismes computationnels uniques, tels que la formation d'états de croyance latents distincts, particulièrement dans des environnements incertains ou chez des individus présentant une forte intolérance à l'incertitude.

Méthodologie

L'étude a employé une approche multimodale combinant des expériences comportementales, de la modélisation computationnelle et de l'électrophysiologie (EEG) pour étudier l'impact des EP nulles.

Design Expérimental :

• Tâche : Les participants ont réalisé une « Tâche de Générateur de Nombres » où ils devaient prédire des récompenses tirées de distributions gaussiennes avec des largeurs variables (Incertitude Faible, Moyenne, Haute).
• Manipulation : À l'insu des participants, 18,75 % des essais (15 sur 80 par bloc) étaient expérimentalement contraints de sorte que le résultat de la récompense correspondait exactement à la prédiction, créant ainsi des « erreurs de prédiction nulles ».
• Mesures :
  • Affect : Les participants rapportaient un bonheur momentané tous les trois essais.
  • Comportement : Les mises à jour des prédictions essai par essai ont été enregistrées.
  • Neural : Pour un sous-ensemble de participants ($N=40$), un enregistrement EEG verrouillé sur la récompense a été effectué pour analyser les potentiels évoqués (ERP).
• Participants : Deux expériences ont été menées, une étude en ligne ($N=97$) et une étude EEG en laboratoire ($N=40$), soit un total de $N=137$.

Modélisation Computationnelle :
Trois modèles d'apprentissage par renforcement ont été comparés via l'inférence bayésienne hiérarchique :

1. PH-standard : Un modèle de Pearce-Hall standard où les taux d'apprentissage sont proportionnels à l'amplitude de l'EP ; les EP nulles ne produisent aucune mise à jour.
2. PH-persist : Une extension où les EP nulles induisent un état de « persistance », biaisant les prédictions futures vers le résultat confirmé.
3. Modèle ZePE (Zero Prediction Error) : Un nouveau modèle proposant que les EP nulles déclenchent la formation d'un état de croyance latent distinct ($B_{zero}$) suivi en parallèle avec l'état de croyance standard ($B_{std}$). La prédiction finale est un mélange pondéré de ces deux états, contrôlé par un paramètre $\omega$.

Analyse :

• Comportementale : Une régression à effets mixtes a analysé les évaluations de bonheur et les mises à jour de prédictions.
• Comparaison de Modèles : La validation croisée de type leave-one-out (LOO) et la densité prédictive logarithmique attendue (ELPD) ont été utilisées pour déterminer le meilleur modèle.
• EEG : Des régressions massives univariées (GLM) et des tests de permutation basés sur des clusters ont analysé les réponses neurales aux EP. Des analyses d'interaction psychophysique (PPI) ont testé si l'activité neurale résiduelle prédisait la mise à jour comportementale ultérieure.

Résultats Clés

1. Impact Affectif : Les EP nulles maximisent le bonheur

Contrairement à l'hypothèse selon laquelle le bonheur évolue linéairement avec les EP positives, les participants ont rapporté le bonheur momentané le plus élevé suite à des EP nulles.

• Le bonheur suivait une relation en U inversé avec l'amplitude de l'EP, culminant à zéro et déclinant pour les EP positives et négatives importantes.
• La modélisation computationnelle du bonheur a confirmé que l'ajout d'un terme spécifique pour les EP nulles améliorait significativement l'ajustement du modèle par rapport aux modèles reposant uniquement sur l'amplitude de la récompense et les EP standards. Les EP nulles étaient le prédicteur le plus fort du bonheur, surpassant le résultat de la récompense elle-même.

2. Adaptation Comportementale : Le Modèle ZePE

Le modèle ZePE a fourni le meilleur ajustement aux données comportementales dans les deux expériences, surpassant de manière significative les modèles PH-standard et PH-persist.

• État Latent Distinct : Les données soutiennent l'hypothèse selon laquelle les EP nulles induisent un état de croyance latent distinct qui guide les mises à jour ultérieures.
• Modulation par l'Incertitude : Le paramètre de poids $\omega$ (régissant l'influence de l'état de l'EP nulle) augmentait avec l'incertitude environnementale. Les participants s'appuyaient davantage sur l'état de l'EP nulle dans les blocs à haute incertitude.
• Différences Individuelles : Des scores plus élevés à l'échelle d'Intolérance à l'Incertitude (IUS) étaient corrélés à des valeurs de $\omega$ plus élevées, suggérant que les individus avers à l'incertitude accordent un poids plus important aux prédictions parfaites pour stabiliser leurs croyances.
• Schémas de Mise à Jour : Les EP nulles étaient suivies de mises à jour de prédictions absolues plus importantes dans les blocs à faible incertitude, et cet effet s'intensifiait sous une incertitude plus élevée, indiquant que les prédictions parfaites façonnent activement la dynamique de l'apprentissage plutôt que de simplement confirmer les croyances existantes.

3. Signatures Neurales : Réponses EEG distinctes

Les analyses EEG ont révélé que les EP nulles déclenchent des réponses neurales distinctes qui diffèrent des EP standards.

• Composantes ERP : Les EP nulles ont provoqué une réponse positive tardive robuste et soutenue (de type P3) sur les électrodes fronto-centrales et centro-pariétales (500–800 ms), comparable en amplitude aux EP positives importantes et significativement plus grande que les autres conditions d'EP.
• Encodage de l'État Latent : Les analyses de régression ont montré que l'activité EEG lors des essais d'EP nulles suivait les écarts par rapport à l'état de croyance latent de l'EP nulle ($B_{zero}$), tandis que les essais standards suivaient les écarts par rapport à l'état de croyance standard ($B_{std}$).
• Couplage Neural-Comportemental : L'activité EEG résiduelle (non expliquée par les modèles) prédisait la mise à jour ultérieure dans des directions opposées selon le type d'essai :
  • Essais Standards : Une activité résiduelle plus forte prédisait une mise à jour accrue (apprentissage).
  • Essais d'EP Nulle : Une activité résiduelle plus forte prédisait une mise à jour atténuée (enracinement des croyances).
  • Ce couplage était modulé par $\omega$, avec des valeurs de $\omega$ plus élevées amplifiant la dissociation.

Signification et Revendications

Les auteurs affirment que cette étude constitue la première preuve systématique que les erreurs de prédiction nulles ne sont pas des événements neutres, mais des signaux distincts et informatifs qui façonnent activement l'apprentissage humain.

• Défi à l'Orthodoxie : Les résultats remettent en question l'hypothèse standard du RL selon laquelle l'apprentissage se produit exclusivement par des écarts. Au contraire, le « essai-et-coup » (prédiction parfaite) est un mécanisme d'apprentissage complémentaire.
• Récompense Intrinsèque : Les prédictions parfaites semblent être intrinsèquement gratifiantes, générant un affect positif indépendamment de l'amplitude de la récompense externe, probablement en raison de la résolution réussie de l'incertitude.
• Mécanisme Computationnel : L'étude propose que le cerveau maintient des états de croyance latents parallèles pour les EP standards et les EP nulles. Le poids de ces états ($\omega$) est un paramètre de contrôle flexible influencé par l'incertitude environnementale et les traits individuels (intolérance à l'incertitude).
• Spécificité Neurale : Les EP nulles engagent des circuits neuraux spécifiques (reflétés par une activité de type P3) qui servent à stabiliser les croyances plutôt qu'à les mettre à jour, agissant comme un mécanisme d'« enracinement des croyances » lorsque l'environnement est prédit avec succès.

L'article conclut que les résultats parfaitement prédits sont essentiels pour l'apprentissage, servant à stabiliser les croyances et à réduire l'incertitude, particulièrement pour les individus qui trouvent l'incertitude aversive. Cela suggère une architecture d'apprentissage plus complexe où la confirmation des attentes est aussi computationnellement significative que leur violation.