Unintended Consequences: Updating Causal Models

Each language version is independently generated for its own context, not a direct translation.

🧠 Le Cerveau en Mode « Carte et Boussole »

Imaginez que vous êtes un capitaine de bateau naviguant dans une mer inconnue. Votre objectif est d'arriver à destination avec le plus de trésors possible (votre utilité). Mais vous ne connaissez pas la carte exacte de l'océan. Vous avez une théorie (un modèle) sur la façon dont les courants et les vents fonctionnent.

Cet article de Joseph Halpern, Evan Piermont et Marie-Louise Vierø pose une question fascinante : Que se passe-t-il quand votre carte est fausse, mais que vous continuez à naviguer en vous basant dessus ?

Les auteurs utilisent des mathématiques pour étudier comment nous apprenons (ou échouons à apprendre) de nos erreurs.

1. La Carte vs. La Réalité (Le Modèle Causal)

Chaque fois que vous prenez une décision (une action), vous vous attendez à un résultat basé sur votre carte mentale.

La réalité : C'est la vraie physique de l'océan (le vrai modèle causal).
Votre croyance : C'est votre carte, qui peut être incomplète ou erronée.

Si vous lancez une pierre dans l'eau et qu'elle coule, votre carte dit « l'eau est profonde ». Si elle flotte, votre carte dit « l'eau est un piège ». Le problème survient quand votre carte est fausse mais que vous ne vous en rendez pas compte.

2. Les Deux Scénarios : Le Gouverneur et la Tribu

Pour illustrer cela, les auteurs racontent deux histoires drôles mais profondes :

🐍 L'Histoire du Gouverneur (Quand la réalité vous force à changer)

Un gouverneur colonial veut réduire le nombre de cobras. Son idée brillante ? « Payez une prime pour chaque tête de cobra ! »

Sa carte mentale : « Moins de cobras = plus de têtes rapportées. »
Ce qui se passe : Les locaux se mettent à élever des cobras pour toucher la prime. Puis, par négligence, ils s'échappent. Résultat : Il y a plus de cobras que jamais.
La leçon : Le gouverneur voit le chaos. Son observation (plus de cobras) contredit totalement sa carte. Il est forcé de jeter sa vieille carte et d'en dessiner une nouvelle. Il apprend de son erreur.

☀️ L'Histoire de la Tribu Aition (Quand vous restez coincé dans une illusion)

Une tribu croit que si elle ne prie pas le dieu Apotelesma chaque matin, le soleil ne se lèvera pas.

Leur carte mentale : « Prière = Soleil qui se lève. »
Ce qui se passe : Ils prient. Le soleil se lève (comme d'habitude, car le soleil se lève tout seul !).
La leçon : Chaque jour, ils voient le soleil se lever et se disent : « Aha ! Notre carte est parfaite ! »
Le piège : Ils ne font jamais l'expérience de ne pas prier. Comme ils ne testent jamais l'autre option, leur fausse croyance devient un état permanent. Ils sont piégés dans une boucle de rétroaction positive : leur action confirme leur erreur, donc ils ne changent jamais d'avis.

3. L'Équilibre de la Folie (Le « Steady State »)

Les chercheurs appellent cela un « état stationnaire » (steady state). C'est un moment où :

Vous choisissez l'action qui semble la meilleure selon votre carte actuelle.
Le résultat que vous observez est exactement ce que votre carte prévoyait (même si la carte est fausse).
Comme tout correspond, vous ne changez rien. Vous continuez à faire la même erreur éternellement.

C'est comme si vous conduisiez en regardant dans le rétroviseur : vous voyez la route que vous avez déjà parcourue, vous pensez que c'est la bonne direction, et vous continuez à rouler dans le mur sans jamais comprendre pourquoi.

4. L'Exploration vs. L'Exploitation

Dans un monde idéal, un agent intelligent devrait parfois faire des choses « stupides » juste pour tester sa carte (exploration).

Exemple : « Je vais arrêter de prier un jour juste pour voir si le soleil se lève quand même. »
Mais si votre carte vous dit que « Prier = Soleil », vous n'aurez jamais l'idée de tester l'autre option, car vous pensez que cela vous coûterait trop cher (le soleil ne se lèverait pas !).

L'article montre que si votre modèle initial est trop rigide, vous ne chercherez jamais la vérité. Vous resterez coincé dans votre « équilibre de folie ».

5. La Conscience de l'Ignorance (Le « Je ne sais pas que je ne sais pas »)

La dernière partie de l'article est la plus subtile. Elle imagine un agent qui sait qu'il pourrait avoir tort, mais qui ne sait pas comment il pourrait avoir tort.

C'est comme si vous saviez qu'il existe des monstres sous votre lit, mais que vous ne savez pas à quoi ils ressemblent ni comment ils agissent.
L'agent se dit : « Peut-être que ma carte est fausse, et si je fais une action bizarre, je pourrais découvrir quelque chose de nouveau. »
Cela ajoute une valeur à l'exploration : même si l'action semble mauvaise aujourd'hui, elle pourrait vous sauver demain en vous révélant une vérité cachée.

En Résumé

Cet article nous dit que nos croyances façonnent notre réalité, mais que notre réalité ne nous force pas toujours à changer nos croyances.

Parfois, la réalité nous donne un coup de pied (comme le Gouverneur) et nous force à apprendre.
Parfois, la réalité nous flatte (comme la Tribu) et nous maintient dans une illusion confortable.

La leçon pour nous tous ? Parfois, il faut oser faire une action qui semble « illogique » ou « risquée » juste pour vérifier si notre carte du monde est toujours à jour. Sinon, nous risquons de répéter les mêmes erreurs à l'infini, convaincus que nous avons raison.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article « Unintended Consequences: Updating Causal Models » de Joseph Y. Halpern, Evan Piermont et Marie-Louise Vierø.

1. Problématique

L'article s'intéresse à la manière dont les agents forment et mettent à jour leurs croyances causales face à des données nouvelles, et comment ces croyances influencent leurs choix d'action. Le problème central est le suivant : un agent peut posséder un modèle causal incorrect (ou incomplet) du monde. Lorsque cet agent agit, il génère des données de rétroaction. La question est de savoir si ces données permettent à l'agent de corriger ses erreurs et de converger vers la vérité, ou si l'agent peut rester piégé dans un état de « délire perpétuel » où ses croyances erronées sont constamment validées par les conséquences de ses propres actions.

Les auteurs distinguent deux scénarios :

Révision des croyances : L'agent observe des résultats inexplicables par son modèle actuel, ce qui force une mise à jour radicale de ses croyances (ex: le gouverneur de l'Inde coloniale).
Stagnation dans l'erreur : L'agent observe des résultats qui s'accordent parfaitement avec son modèle erroné, l'empêchant de remettre en cause sa vision du monde, même si celle-ci est fausse (ex: la tribu Aition croyant que ses prières font lever le soleil).

2. Méthodologie et Cadre Formel

Les auteurs utilisent le cadre des modèles d'équations structurelles (Structural Causal Models - SCM) de Pearl pour formaliser la causalité. Le modèle intègre trois composantes principales :

A. Environnement et Modèles Causaux

L'environnement est décrit par des variables exogènes ( $U$ ) et endogènes ( $V$ ).
Un modèle causal $M$ est défini par un ensemble d'équations structurelles déterminant les valeurs des variables endogènes.
L'agent ne connaît pas le vrai modèle $M^\star$ , mais entretient une croyance probabiliste sur un ensemble de modèles possibles $\mathcal{M}$ .
L'environnement est dynamique : à chaque période, un contexte $\vec{u}$ (valeurs des variables exogènes) est tiré selon une distribution $\pi$ .

B. Système de Probabilités Conditionnelles (CPS) et Mise à Jour

Pour gérer l'incertitude, y compris face à des événements de probabilité nulle (des observations que l'agent pensait impossibles), les auteurs utilisent un Système de Probabilités Conditionnelles (CPS) inspiré des travaux de Popper et de Finetti.

Le CPS $\mu$ permet à l'agent de définir des croyances conditionnelles sur n'importe quel sous-ensemble de modèles, même ceux ayant une probabilité a priori nulle.
Mécanisme de mise à jour : Lorsqu'une observation $o$ est faite (résultat d'une intervention $\vec{X} \leftarrow \vec{x}$ ), l'agent élimine les modèles incompatibles avec $o$ . Si l'observation est inexplicable par le support de ses croyances actuelles (probabilité 0), le CPS permet de réviser les croyances en conditionnant sur cet événement, menant potentiellement à l'adoption d'un nouveau modèle.

C. Agence et Utilité

L'agent choisit des actions définies comme des interventions sur des variables endogènes suivies d'une observation.

L'agent maximise une fonction de valeur $VAL(a, \mu)$ $V A L (a, μ)$ qui combine :
1. L'utilité immédiate de l'action.
2. La valeur informationnelle de l'action (capacité à affiner les croyances pour de meilleures décisions futures), pondérée par un facteur d'actualisation $\delta$ .
L'agent est rationnel : il choisit l'action qui maximise cette valeur espérée compte tenu de ses croyances actuelles.

3. Contributions Clés

A. Définition de l'État Stationnaire (Steady State)

Les auteurs définissent formellement un état stationnaire comme un couple $(\mu, a)$ où :

L'action $a$ est optimale étant donné les croyances $\mu$ .
L'observation générée par l'action $a$ dans le vrai modèle $M^\star$ ne modifie pas les croyances inconditionnelles de l'agent ( $\bar{\mu}$ ).
Dans cet état, l'agent ne remet jamais en cause son modèle, car ses actions produisent toujours des données compatibles avec ses croyances, même si ces croyances sont fausses.

B. Analyse de la Convergence

Environnements déterministes : Si le contexte est fixe, les auteurs montrent que l'agent converge toujours vers un état stationnaire. Si ses croyances sont fausses, il finira par éliminer les modèles incorrects jusqu'à ce que ses croyances soient cohérentes avec la réalité ou qu'il trouve un modèle qui explique tout.
Environnements stochastiques : La convergence n'est pas garantie. Les auteurs démontrent qu'il est possible que les actions optimales de l'agent oscillent indéfiniment entre différentes options sans jamais stabiliser les croyances, ou qu'elles convergent vers un état stationnaire erroné où l'agent reste dans l'illusion.

C. Inconscience Introspective (Introspective Unawareness)

Une contribution majeure est l'extension du modèle pour inclure un agent qui est conscient de son inconscience.

L'agent sait qu'il pourrait ignorer des modèles pertinents (modèles hors du support de ses croyances).
Ils introduisent une valeur subjective $v^*$ pour l'apprentissage d'événements imprévisibles et une probabilité $\xi$ que l'action génère une surprise.
Cela modifie la fonction de valeur : l'agent peut choisir une action sous-optimale à court terme si elle offre une chance de découvrir un paradigme nouveau, même s'il ne peut pas prédire à quoi ressemblera ce nouveau paradigme.

4. Résultats Principaux et Exemples

Exemple 1 (Le Gouverneur et les cobras) : L'agent a un modèle incomplet (il ignore que les locaux élèvent des cobras). Son action (récompenser les têtes de cobras) génère une observation (augmentation des cobras) inexplicable par son modèle. Cela force une révision complète des croyances, conduisant à un nouvel état stationnaire correct (suppression de la prime). Ici, l'erreur est corrigée par la rétroaction.
Exemple 2 (La tribu Aition) : L'agent croit que ses prières font lever le soleil. Son action (prier) génère toujours une observation (le soleil se lève) compatible avec son modèle. Il n'y a jamais de donnée "inexplicable". L'agent reste dans un état stationnaire erroné indéfiniment.
Exemple 3 (Oscillation) : Dans un environnement stochastique, un agent peut osciller indéfiniment entre deux actions sans jamais converger vers un état stationnaire, car chaque action génère des données qui rendent l'autre modèle plus probable, créant un cycle sans fin de révisions.

5. Signification et Implications

Théorie de la Décision : L'article fournit une fondation décisionnelle pour les modèles de causalité subjective. Il montre que la rationalité (maximisation de l'utilité espérée) ne garantit pas la convergence vers la vérité si l'espace des modèles est mal spécifié.
Économie Comportementale et Psychologie : Le modèle formalise pourquoi des croyances erronées (superstitions, biais cognitifs) peuvent persister indéfiniment. Si les actions basées sur ces croyances produisent des résultats qui semblent les confirmer (biais de confirmation dynamique), l'agent ne les remettra jamais en cause.
Apprentissage et Inconscience : L'extension sur l'inconscience introspective offre un cadre pour comprendre comment les agents peuvent être ouverts à la découverte de nouvelles réalités sans avoir besoin de les conceptualiser à l'avance. Cela explique pourquoi l'exploration peut être rationnelle même en l'absence de modèle explicite pour les résultats inattendus.
Limites de l'Apprentissage : L'article met en lumière que dans des environnements complexes et stochastiques, l'apprentissage par essai-erreur peut échouer à identifier la structure causale réelle, conduisant à des équilibres sous-optimaux persistants.

En résumé, ce papier propose un cadre rigoureux pour analyser la dynamique entre l'action, l'observation et la croyance causale, démontrant que la rationalité individuelle ne suffit pas à garantir une compréhension correcte du monde, et que la persistance de l'erreur dépend de la structure même des interactions entre l'agent et son environnement.