Nonparametric Bayesian Contextual Control: Integrating Automatisation and Prior Knowledge for Stable Adaptive Behaviour

Les auteurs proposent le modèle NP-BCC, qui intègre l'automatisation par répétition et les connaissances préalables structurées à l'inférence contextuelle non paramétrique pour expliquer comment les agents humains parviennent à concilier stabilité comportementale et flexibilité adaptative dans des environnements dynamiques.

L'essentiel

🧠 Le Dilemme du Cerveau : La Voiture de Course ou le Vélo ?

Imaginez votre cerveau comme le conducteur d'une voiture très sophistiquée. Votre cerveau a deux super-pouvoirs qu'il doit gérer en même temps :

1. La Stabilité : Conduire sur une route familière sans avoir à réfléchir à chaque virage (c'est l'automatisme).
2. La Flexibilité : Pouvoir changer de direction instantanément si la route est bloquée ou si vous devez aller vers un nouveau lieu (c'est l'adaptation).

Le problème, c'est que ces deux pouvoirs sont souvent ennemis. Si vous êtes trop rigide (trop stable), vous ne pouvez pas vous adapter aux changements. Si vous êtes trop flexible, vous ne savez jamais où vous allez et vous perdez du temps.

Les chercheurs de l'Université de Dresde (en Allemagne) se sont demandé : Comment le cerveau humain arrive-t-il à être à la fois un expert routier et un explorateur agile ?

🛠️ La Solution : Le Modèle "NP-BCC"

Pour répondre à cette question, ils ont créé un modèle informatique (un "cerveau virtuel") appelé NP-BCC. Ce modèle est une recette de cuisine qui mélange trois ingrédients principaux pour réussir à conduire dans n'importe quelle situation :

1. La "Maison des Contextes" (L'Inventaire Infini)

Imaginez que votre cerveau est une grande maison avec des pièces. Chaque pièce représente un "contexte" (une situation spécifique).

• Dans la cuisine, on utilise des fourchettes.
• Dans le salon, on utilise des télécommandes.
• Dans le garage, on utilise des clés de voiture.

Le modèle NP-BCC est spécial car il peut ajouter de nouvelles pièces à la maison à l'infini si la maison actuelle ne suffit plus. C'est ce qu'on appelle l'apprentissage "non-paramétrique". Si vous arrivez dans une nouvelle ville avec des règles de circulation bizarres, le cerveau ne panique pas : il construit instantanément une nouvelle "pièce" mentale pour y ranger ces nouvelles règles.

2. L'Automatisme : Le "Pilote Automatique"

C'est le deuxième ingrédient. Une fois que vous avez conduit dans la cuisine (la pièce "Cuisine") plusieurs fois, votre cerveau dit : "Ah, ici, on utilise toujours la fourchette !"
Il crée un pilote automatique.

• L'avantage : Vous n'avez plus besoin de réfléchir, vous gagnez du temps et vous êtes précis.
• Le piège : Si vous changez de pièce (vous passez du salon à la cuisine) mais que votre cerveau reste bloqué sur le pilote automatique du salon, vous allez faire une erreur (essayer d'utiliser une télécommande pour manger).
• La découverte du papier : Le modèle montre que ce pilote automatique aide aussi à stabiliser la compréhension de la pièce. Plus vous faites les mêmes gestes, plus vous êtes sûr d'être dans la bonne pièce.

3. Les "Modèles" (Les Schémas) : La Boussole Intérieure

C'est le troisième ingrédient, le plus astucieux.
Quand vous entrez dans une pièce inconnue, un cerveau naïf regarde tout de zéro : "Qu'est-ce qu'il y a sur la table ?"
Mais un cerveau humain intelligent utilise des modèles (ou "schémas"). Il dit : "Attends, c'est une cuisine. Donc, il y a probablement un évier, un frigo et des couverts."

• Le modèle NP-BCC utilise des modèles préfabriqués. Quand il rencontre une nouvelle situation, il ne commence pas de zéro. Il charge un "modèle cuisine" ou un "modèle garage" pour deviner à quoi cela ressemble avant même d'avoir tout vu.
• Cela permet d'apprendre énormément plus vite. C'est comme si vous aviez un manuel d'instructions pour chaque type de situation avant même d'y être entré.

🎮 L'Expérience : Le Jeu des Machines à Sous

Pour tester leur idée, les chercheurs ont fait jouer leur "cerveau virtuel" à un jeu de hasard (comme des machines à sous) où les règles changeaient toutes les 100 parties.

• Sans aide : Le cerveau virtuel était perdu. Il apprenait lentement, se trompait souvent de pièce, et ne savait pas si les règles avaient changé.
• Avec l'Automatisme : Il devenait plus stable, mais parfois trop rigide (il ne voyait pas quand les règles changeaient).
• Avec les Modèles (Schémas) : C'était la révélation ! En utilisant des "devinettes intelligentes" basées sur le passé, le cerveau virtuel a appris les nouvelles règles trois fois plus vite et a évité de se tromper de pièce.

💡 Ce que cela nous apprend pour la vie réelle

Ce papier est important pour plusieurs raisons :

1. L'équilibre parfait : Il montre que la stabilité (les habitudes) et la flexibilité (l'apprentissage) ne sont pas ennemies. Les habitudes nous aident à comprendre où nous sommes, et les modèles nous aident à apprendre vite quand nous sommes perdus.
2. Comprendre les troubles mentaux : Les chercheurs suggèrent que dans des maladies comme la toxicomanie, ce système est cassé. Le "pilote automatique" (l'habitude de consommer) devient si fort qu'il empêche le cerveau de voir que l'environnement a changé (par exemple, que la drogue ne fait plus plaisir ou est dangereuse). Le cerveau reste bloqué dans l'ancienne "pièce" mentale.
3. L'intelligence artificielle : Pour créer des robots ou des IA qui agissent comme des humains, il ne suffit pas de les faire apprendre par essais et erreurs. Il faut leur donner des "modèles" (des connaissances de base) et leur apprendre à utiliser des habitudes pour se stabiliser.

En résumé

Imaginez que votre cerveau est un architecte.

• Il construit des pièces (contextes) pour chaque situation.
• Il installe des pilotes automatiques dans les pièces qu'il connaît bien pour aller vite.
• Et surtout, il possède une bibliothèque de plans (schémas) qui lui permet de deviner à quoi ressemble une nouvelle pièce avant même d'y entrer.

C'est cette combinaison qui permet aux humains d'être à la fois des experts routiniers et des explorateurs brillants.

Résumé technique

1. Problématique

L'être humain possède une capacité remarquable à agir avec précision dans des situations familières tout en restant flexible face à des circonstances nouvelles. Cependant, le mécanisme cognitif permettant de maintenir l'équilibre entre la stabilité (persistance des comportements appris) et la flexibilité (adaptation rapide aux changements) reste mal compris.

Les modèles d'inférence contextuelle existants (comme le modèle COIN ou le modèle BCC paramétrique) permettent d'expliquer comment les agents infèrent des contextes latents pour adapter leur comportement. Toutefois, ils présentent des limites :

• Ils supposent souvent un nombre fixe de contextes (modèles paramétriques) ou ne parviennent pas à apprendre la structure de transition des contextes de manière non supervisée.
• Dans des environnements complexes, les agents purement rationnels (basés uniquement sur l'inférence bayésienne normative) peinent à acquérir rapidement des représentations de tâches nouvelles et deviennent instables, conduisant à un apprentissage erroné ou à une confusion entre contextes.
• Ils ne intègrent pas explicitement deux mécanismes cognitifs humains clés : l'automatisation (répétition de comportements réussis) et l'utilisation de schémas (connaissances a priori structurées) pour guider l'apprentissage.

L'objectif de cet article est de proposer un cadre computationnel unifié capable de modéliser l'apprentissage de structures contextuelles non paramétriques tout en intégrant ces mécanismes biologiquement plausibles pour améliorer la stabilité et l'efficacité de l'apprentissage.

2. Méthodologie

Les auteurs proposent le modèle NP-BCC (Nonparametric Bayesian Contextual Control), une extension du modèle BCC (Bayesian Contextual Control).

A. Fondements Théoriques

• Inférence Contextuelle Non Paramétrique : Le modèle utilise un Processus de Dirichlet Hiérarchique (HDP-HMM). Contrairement aux modèles paramétriques, l'HDP permet à l'agent d'inférer non seulement quel contexte est actif, mais aussi d'ouvrir dynamiquement de nouveaux contextes (apprentissage de structure) lorsque les contextes existants ne suffisent plus à expliquer les observations. Le nombre de contextes n'est pas fixé à l'avance.
• Inférence Active (Active Inference) : Le modèle repose sur le principe de l'inférence active, où l'agent minimise l'énergie libre variationnelle (surprise) pour planifier des actions et inférer des états cachés.

B. Intégration de deux mécanismes cognitifs

Pour surmonter les limites des agents "naïfs", le NP-BCC intègre deux composantes :

1. Automatisation basée sur la répétition :
   • L'agent apprend un a priori contextuel sur les politiques (actions). Plus une politique est répétée dans un contexte donné, plus la probabilité a priori de la réexécuter augmente.
   • Cela crée un biais comportemental qui stabilise l'inférence : l'exécution d'une action automatisée fournit elle-même une preuve supplémentaire sur le contexte actuel, renforçant la certitude contextuelle.
2. Connaissances a priori de type "Schéma" (Template Contexts) :
   • Lorsqu'un nouveau contexte est détecté (via une surprise élevée), au lieu de l'initialiser avec des contingences uniformes (ignorance totale), le modèle charge un "template".
   • Un template est une hypothèse structurée (ex: dans un jeu de bandits à plusieurs bras, un seul bras est optimal). Cela permet à l'agent de démarrer l'apprentissage d'un nouveau contexte avec une hypothèse de travail forte, accélérant ainsi la convergence.

C. Environnement de Simulation

Les simulations ont été menées sur des tâches de bandits à plusieurs bras (Multi-Armed Bandit - MAB) non stationnaires, avec un nombre croissant de bras (M=2, M=3, M=4). Les contingences de récompense changent de manière abrupte et non signalée. La performance est mesurée par la capacité de l'agent à inférer le contexte correct, à maintenir une haute certitude contextuelle et à maximiser les récompenses.

3. Contributions Clés

1. Modélisation Unifiée : Développement du premier modèle intégrant l'inférence contextuelle non paramétrique (HDP), l'automatisation comportementale et l'apprentissage par schémas dans un cadre d'inférence active.
2. Stabilisation de l'Inférence : Démonstration que l'automatisation ne sert pas seulement à l'exploitation, mais agit comme un signal d'inférence interne qui stabilise la croyance sur le contexte actif, réduisant l'incertitude.
3. Accélération de l'Apprentissage : Preuve que l'utilisation de templates (schémas) permet d'acquérir la structure de tâches complexes beaucoup plus rapidement que l'apprentissage par essai-erreur pur, en particulier dans des environnements à haute dimension (M=4).
4. Analyse du Compromis Stabilité-Flexibilité : Identification d'un point optimal d'automatisation. Une automatisation trop faible conduit à une instabilité, tandis qu'une automatisation trop forte empêche la détection des changements de contexte (rigidité pathologique).

4. Résultats Principaux

• Apprentissage de Structure Naïf : Dans des tâches simples (M=2), un agent sans automatisation ni schémas apprend correctement. Cependant, dès que la complexité augmente (M=4), l'agent naïf devient instable, ouvre des contextes erronés et mélange les contingences, nécessitant un temps d'entraînement prohibitif pour converger.
• Effet Stabilisateur de l'Automatisation :
  • L'introduction d'une automatisation modérée (paramètre $h$ optimal) améliore significativement la certitude contextuelle et la précision comportementale.
  • L'agent automatise les actions correctes, ce qui réduit la surprise perçue et permet de distinguer plus rapidement les contextes.
  • Une courbe en "U" a été observée : une automatisation excessive conduit à une haute certitude dans un contexte incorrect (rigidité), empêchant la détection des changements.
• Accélération par les Schémas (Templates) :
  • Les agents utilisant des templates pour initialiser les nouveaux contextes apprennent la structure de la tâche M=4 en environ 25 essais, contre ~100 essais pour les agents naïfs.
  • Les templates réduisent drastiquement le taux d'erreur d'apprentissage (99% de réussite contre 94% pour les agents naïfs) et empêchent le "mélange de contextes" (confusion entre les règles de différents contextes).
• Dynamique d'Inférence : Le modèle reproduit fidèlement la dynamique humaine : incertitude élevée et exploration immédiate après un changement de contexte, suivie d'une stabilisation rapide une fois le contexte identifié.

5. Signification et Implications

• Théorie Cognitive : Le travail fournit une preuve de concept computationnelle montrant comment l'automatisation et les schémas ne sont pas de simples heuristiques, mais des mécanismes essentiels pour réguler le compromis stabilité-flexibilité. Il suggère que l'action elle-même (via l'automatisation) devient une source d'information pour l'inférence contextuelle.
• Neurosciences : Le modèle propose des substrats neuronaux potentiels. Les régions corticales préfrontales (OFC, vmPFC) et l'hippocampe, impliquées à la fois dans l'inférence contextuelle et la formation de schémas, pourraient sous-tendre ces mécanismes intégrés.
• Pathologies Cliniques (Troubles de l'Usage de Substances) : Les auteurs proposent une interprétation computationnelle des troubles de l'usage de substances (SUD). Une automatisation excessive couplée à une inférence contextuelle biaisée pourrait créer des boucles de rétroaction auto-renforçantes, où les comportements habituels biaisent l'inférence vers des contextes de consommation, rendant le changement de comportement (flexibilité) extrêmement difficile. De même, des schémas maladaptatifs pourraient accélérer la réactivation de comportements de dépendance.
• Apprentissage Machine : Le modèle offre une approche robuste pour l'apprentissage par renforcement dans des environnements non stationnaires et complexes, où la capacité à réutiliser des structures de connaissances (schémas) et à stabiliser les politiques est cruciale.

En conclusion, le modèle NP-BCC démontre que l'intégration de biais cognitifs humains (automatisation et schémas) dans un cadre d'inférence bayésienne non paramétrique est essentielle pour reproduire une adaptation comportementale à la fois stable et flexible, résolvant ainsi les limitations des modèles purement rationnels dans des environnements complexes.