Why Conclusions Diverge from the Same Observations: Formalizing World-Model Non-Identifiability via an Inference

Ce papier formalise le phénomène de conclusions divergentes à partir d'observations identiques comme un problème structurel de non-identifiabilité des modèles du monde découlant de profils d'inférence et de biais d'apprentissage différents, plutôt que comme un défaut de rationalité ou de bonne foi.

L'essentiel

Imaginez deux personnes assises à une table, regardant exactement le même tas de documents, de graphiques et de rapports de presse. Pourtant, l'une conclut : « Nous devons arrêter ce projet immédiatement », tandis que l'autre déclare : « Nous devrions redoubler d'efforts et accélérer. »

Dans le monde réel, nous réagissons souvent à cela en disant : « L'un d'eux est fou », « Ils mentent » ou « Ils ne comprennent tout simplement pas ». Nous supposons que le problème réside dans un défaut de caractère.

Ce document soutient que nous regardons la mauvaise chose. Il suggère que le désaccord ne porte pas sur qui regarde, mais sur comment ils regardent. L'auteur, Toru Takahashi, propose que lorsque des personnes partagent les mêmes faits mais parviennent à des conclusions différentes, ce n'est pas un défaut de leur cerveau, mais une inévitable nécessité mathématique appelée non-identifiabilité.

Voici l'argument du document décomposé en concepts et analogies simples.

1. L'idée centrale : le problème « même entrée, sortie différente »

Le document commence par rejeter l'idée qu'il n'existe qu'une seule façon « correcte » de penser (ce qu'il appelle l'hypothèse de l'intelligence unique). Au lieu de cela, il suggère que la pensée est comme une machine dotée de nombreux cadran. Même si deux personnes injectent exactement les mêmes données dans leur cerveau, si elles tournent les cadrans différemment, elles obtiendront des réponses différentes.

L'auteur divise cela en deux niveaux de « dysfonctionnements » :

• Niveau 1 : Le dysfonctionnement des paramètres (niveau $\theta$). Imaginez deux chefs utilisant exactement la même recette et exactement les mêmes ingrédients. L'un décide d'ajouter une pincée de sel, de cuire pendant 5 minutes et de goûter immédiatement. L'autre n'ajoute pas de sel, cuit pendant 20 minutes et goûte lentement. Ils se retrouvent avec des plats différents, non pas parce que les ingrédients étaient mauvais, mais parce que leurs paramètres étaient différents.
• Niveau 2 : Le dysfonctionnement de la mémoire (niveau $W$). Maintenant, imaginez que ces chefs cuisinent tous les jours. Le premier ne cuisine que des plats salés et rapides. Le second ne cuisine que des plats lents et fades. Avec le temps, leur mémoire de ce qu'est la « bonne nourriture » change. Ils ont construit des modèles internes différents du monde. Maintenant, même si vous leur donnez le même nouvel ingrédient, ils l'interpréteront différemment car leurs expériences passées ont façonné leur cerveau pour s'attendre à des choses différentes.

2. Les quatre cadrans de la pensée

Pour expliquer pourquoi les gens pensent différemment, l'auteur introduit un « Profil de Pensée » avec quatre cadrans réglables. Imaginez-les comme les paramètres d'un appareil photo ou d'un jeu vidéo :

1. Référence (R) : En quoi faites-vous confiance ?
   • Faites-vous confiance aux chiffres bruts, aux journaux de bord et aux textes juridiques (choses que vous pouvez montrer à un ami en disant : « Regarde, c'est juste ici ») ? Ou faites-vous confiance aux intuitions, aux risques non exprimés et à l'intuition (choses difficiles à expliquer) ?
   • Analogie : L'une conduit en regardant strictement le compteur de vitesse et le GPS. L'autre conduit en regardant la route, le vent et une « sensation » que quelque chose ne va pas.
2. Exploration (E) : Combien de possibilités gardez-vous ouvertes ?
   • Décidez-vous rapidement d'une réponse et vous y tenez-vous ? Ou gardez-vous plusieurs scénarios « et si » en cours dans votre esprit en même temps ?
   • Analogie : Un détective qui arrête immédiatement le premier suspect versus un détective qui garde une liste de dix suspects et enquête sur tous.
3. Stabilisation (S) : À quel point est-il difficile de changer d'avis ?
   • Lorsqu'une nouvelle information arrive, mettez-vous à jour votre plan instantanément ? Ou vous en tenez-vous à votre règle originale à moins que la nouvelle information ne soit écrasante ?
   • Analogie : Un thermostat qui change la température dès que la pièce semble un degré plus chaude versus un qui attend que la pièce soit gelée avant d'allumer le chauffage.
4. Horizon (D) : Jusqu'où regardez-vous dans le futur ?
   • Vous souciez-vous de ce qui se passera la semaine prochaine ? Ou dans dix ans ?
   • Analogie : Un agriculteur qui plante des cultures pour le marché du mois prochain versus un qui plante des arbres qui ne porteront pas de fruits avant 20 ans.

3. Pourquoi disputons-nous toujours sur les mêmes trois choses ?

Vous pourriez penser qu'il existe une infinité de façons de ne pas être d'accord. Mais le document soutient que, parce que nos cerveaux ont des limites (nous ne pouvons pas traiter une infinité de données, nous ne pouvons pas tout voir, et nous devons parler les uns aux autres), ces quatre cadrans ont tendance à se réduire à seulement trois arguments principaux :

1. Abstrait vs Concret :
   • Le conflit : L'une veut parler de grands principes généraux (Abstrait). L'autre veut parler de détails spécifiques et désordonnés (Concret).
   • La cause : Nos cerveaux doivent compresser l'information pour l'intégrer. Parfois, nous compressons trop (perdant les détails), et parfois, nous retenons trop de détails (perdant la vue d'ensemble).
2. Externe vs Interne :
   • Le conflit : L'une dit : « Montrez-moi les données ! » (Externe). L'autre dit : « Vous ne comprenez tout simplement pas le risque que je ressens ! » (Interne).
   • La cause : Il est difficile de partager vos sentiments internes. Il est facile de partager une feuille de calcul. Les gens se disputent pour savoir si les « sentiments » comptent comme des preuves valides.
3. Ordre vs Liberté :
   • Le conflit : L'une veut des règles strictes et de la cohérence (Ordre). L'autre veut de la flexibilité et de nouvelles idées (Liberté).
   • La cause : Nous devons équilibrer la stabilité (ne pas changer d'avis chaque seconde) et l'adaptabilité (changer d'avis lorsque nous apprenons quelque chose de nouveau).

4. Un exemple concret : la régulation de l'IA

Le document utilise le débat sur la régulation de l'intelligence artificielle pour montrer comment cela fonctionne.

• Les faits partagés : Tout le monde voit les mêmes rapports sur les accidents liés à l'IA, les statistiques de croissance économique et les références techniques.
• Le groupe « Précaution » :
  • Référence : Ils se concentrent sur des peurs difficiles à externaliser (par exemple : « Et si nous perdions le contrôle ? »).
  • Exploration : Ils maintiennent vivants dans leur esprit les « scénarios catastrophes ».
  • Stabilisation : Ils veulent des règles strictes et immuables.
  • Horizon : Ils regardent 50 ans dans le futur.
  • Conclusion : « Interdisez-le ou réglementez-le strictement. »
• Le groupe « Promotion » :
  • Référence : Ils se concentrent sur des données externalisables (par exemple : « Regardez ces chiffres économiques »).
  • Exploration : Ils se concentrent sur les scénarios les plus probables et positifs.
  • Stabilisation : Ils veulent des règles flexibles qui peuvent évoluer avec la technologie.
  • Horizon : Ils regardent les 2 à 5 prochaines années.
  • Conclusion : « Laissez-le grandir ; nous pourrons régler les problèmes plus tard. »

Le document dit : Aucun des deux camps n'est « fou ». Ils utilisent simplement des paramètres différents sur leur machine de pensée.

5. La solution : Arrêter de blâmer, commencer à régler

La principale conclusion du document est que nous devrions arrêter de qualifier les gens d'« irrationnels » ou de « mauvaise foi » lorsqu'ils ne sont pas d'accord. Au lieu de cela, nous devrions traiter le désaccord comme un problème technique.

Si deux personnes ne sont pas d'accord, nous ne devrions pas demander : « Qui est stupide ? » Nous devrions demander :

• « Regardez-vous différentes parties des données ? » (Référence)
• « Retenez-vous différentes possibilités ? » (Exploration)
• « Regardez-vous différents horizons temporels ? » (Horizon)

En identifiant quel « cadran » est tourné différemment, nous pouvons concevoir de meilleures façons de parler. Nous pouvons nous mettre d'accord pour regarder le même horizon temporel, ou nous mettre d'accord pour partager les mêmes « intuitions » comme données. Cela transforme un combat moral en un problème d'ingénierie résoluble.

En bref : Le désaccord n'est pas le signe d'un cerveau cassé ; c'est le signe de paramètres différents sur la même machine. Si nous comprenons les paramètres, nous pouvons résoudre le désaccord.

Résumé technique

Résumé technique : Formalisation de la non-identifiabilité des modèles du monde via un profil d'inférence $\theta$

1. Énoncé du problème

L'article aborde le phénomène selon lequel des agents distincts, partageant des observations identiques (documents, statistiques, journaux d'activité ou incidents), parviennent à des conclusions divergentes. Dans le discours traditionnel, une telle divergence est souvent attribuée à des défauts cognitifs, à l'irrationalité ou à la mauvaise foi de la partie adverse. Cette attribution repose sur l'hypothèse d'une intelligence unique (SIA), qui postule que l'intelligence est centralisée dans le raisonnement logique, que les écarts par rapport à cette norme constituent des échecs, et que des agents rationnels devraient converger vers la même conclusion étant donné des entrées identiques (commutabilité).

L'article soutient que ce cadre bloque l'enquête productive. Au lieu de cela, il propose que la divergence des conclusions est une caractéristique structurelle de la non-identifiabilité dans l'estimation des modèles du monde. Dans des conditions de données finies, d'observabilité partielle et de contraintes de représentation, plusieurs modèles ou politiques d'inférence peuvent rester compatibles avec les mêmes observations. L'article vise à recadrer le désaccord non pas comme un défaut moral ou de personnalité, mais comme un problème computationnel de non-identifiabilité se produisant à deux niveaux distincts :

1. Niveau $\theta$ : Divergence résultant de différences dans les paramètres d'inférence malgré un modèle du monde ($W$) partagé.
2. Niveau $W$ : Divergence résultant du fait que les opérations d'inférence répétées biaisent l'exposition aux données et les règles de mise à jour, entraînant une divergence des modèles du monde appris eux-mêmes au fil du temps.

2. Méthodologie et cadre

2.1 Le profil d'inférence $\theta$

Pour opérationnaliser les sources de divergence, l'article introduit le profil d'inférence $\theta = (R, E, S, D)$, un vecteur à quatre dimensions représentant les degrés de liberté opérationnels dans le processus d'inférence :

• Référence ($R$) : La pondération des fondements (preuves) utilisés pour l'inférence. Cela est modélisé comme une composition pondérée de fondements partiels $\{e_i\}$. Le poids $w_i$ dépend d'un score d'externalisabilité $x_i$ (la facilité avec laquelle un fondement peut être partagé et audité) et d'un paramètre $\beta_R$. Un $\beta_R$ élevé privilégie les fondements auditable (journaux, statistiques) ; un $\beta_R$ faible permet à des fondements à fort coût de description (connaissances tacites, intuition) d'influencer la conclusion.
• Exploration ($E$) : La rétention d'hypothèses alternatives. Cela se caractérise par l'entropie $H(h|o)$ de la distribution des hypothèses. Une exploration élevée maintient plusieurs possibilités (entropie élevée), tandis qu'une exploration faible se concentre sur une seule conclusion.
• Stabilisation ($S$) : L'inhibition des mises à jour. Cela est régi par un seuil $\tau$ ou une force de régularisation $\lambda$. Une stabilisation élevée résiste au changement (ordre), tandis qu'une stabilisation faible permet une adaptation rapide aux nouvelles informations (liberté).
• Horizon ($D$) : Le centre temporel de l'évaluation, contrôlé par un facteur d'actualisation $\gamma$. Un $\gamma$ élevé met l'accent sur les conséquences à long terme ; un $\gamma$ faible met l'accent sur les résultats immédiats et locaux.

2.2 Deux niveaux de non-identifiabilité

• Non-identifiabilité de niveau $\theta$ : Même si deux agents partagent les mêmes paramètres de modèle du monde $\phi$ (et donc le même $W_\phi$), leurs conclusions $y$ peuvent différer si leurs profils d'inférence $\theta_A \neq \theta_B$. Formellement : $y = \text{Inférer}(W_\phi, o_{\le t}; \theta)$.
• Non-identifiabilité de niveau $W$ : Les opérations d'inférence sont répétées dans le temps. Le choix de $\theta$ biaise quelles données sont observées et comment le modèle est mis à jour ($\phi_{t+1} = U(\phi_t, o_t, \theta_t)$). Par conséquent, des agents avec des valeurs initiales de $\theta$ différentes peuvent développer des modèles du monde fondamentalement différents $W_A$ et $W_B$, conduisant à des attributions causales et des attentes divergentes, même lorsqu'ils sont confrontés aux mêmes nouvelles entrées.

2.3 Projection sur trois bases

L'article postule que les quatre dimensions opérationnelles de $\theta$ tendent à se projeter sur trois axes récurrents de désaccord en raison de trois contraintes fondamentales communes aux systèmes d'apprentissage :

1. Contraintes computationnelles ($C_{comp}$) : Capacité et ressources finies.
2. Contraintes observationnelles ($C_{obs}$) : Observabilité partielle et bruit.
3. Contraintes de coordination ($C_{coop}$) : Exigences de responsabilité, de reproductibilité et d'auditabilité.

Ces contraintes induisent trois compromis :

• Abstrait vs Concret : Piloté par $C_{comp}$ (théorie du taux-distorsion). Une haute abstraction compresse l'information ; une haute concrétude préserve les détails. L'Horizon ($D$) se projette ici.
• Externalisabilité vs Internalisation : Piloté par $C_{obs}$ et $C_{coop}$. Les fondements externalisables sont partageables ; les états internalisés (par exemple, l'anxiété, le risque tacite) sont coûteux à communiquer. La Référence ($R$) se projette ici.
• Ordre vs Liberté : Piloté par $C_{comp}$ et $C_{coop}$ (dilemme plasticité-stabilité). L'ordre implique une faible entropie et une reproductibilité ; la liberté implique une haute entropie et le maintien d'alternatives. L'Exploration ($E$) et la Stabilisation ($S$) se projettent conjointement ici.

2.4 Correspondance structurelle dans l'apprentissage profond

Le cadre s'appuie sur des concepts d'apprentissage de représentations profondes :

• La Référence correspond à la sélection des couches de représentation (par exemple, couches inférieures pour les caractéristiques concrètes versus couches supérieures pour les concepts abstraits dans les Transformers).
• L'Externalisabilité se rapporte à l'estimation d'états latents, où les états cachés sont non identifiables sans biais inductifs ou supervision, nécessitant des procédures d'externalisation (sondage, journalisation) pour communiquer.
• L'Ordre/Liberté correspond au compromis entre régularisation (stabilité) et exploration (diversité) dans l'apprentissage et l'inférence (par exemple, échantillonnage par température).

3. Contributions clés

1. Formalisation de la non-identifiabilité : L'article distingue la non-identifiabilité de niveau $\theta$ (paramètres d'inférence) et de niveau $W$ (apprentissage du modèle), fournissant un cadre unifié pour le désalignement à court terme et la fragmentation épistémique à long terme.
2. Le profil d'inférence $\theta$ : Il introduit une représentation compacte à quatre composantes ($R, E, S, D$) pour localiser la divergence dans des points opérationnels identifiables plutôt que dans des traits de personnalité vagues.
3. Mécanisme de projection : Il explique pourquoi des paramètres d'inférence diversifiés se réduisent à trois bases récurrentes de désaccord (Abstrait/Concret, Externalisabilité, Ordre/Liberté) via des contraintes computationnelles, observationnelles et de coordination.
4. Fondement computationnel : Il relie ces bases aux mécanismes d'apprentissage profond (hiérarchie de représentation, estimation d'états latents, régularisation), déplaçant le discours sur le désaccord des explications rhétoriques ou psychologiques vers des problèmes de conception computationnelle.

4. Résultats et illustration

L'article ne présente pas de résultats expérimentaux empiriques mais offre une étude de cas sur les débats de régulation de l'IA (spécifiquement la formation de la loi européenne sur l'IA) pour illustrer le cadre :

• Observations partagées : Les parties prenantes partagent des rapports d'incidents, des benchmarks et des prévisions économiques.
• Divergence de niveau $\theta$ :
  • Les acteurs précautionnaires privilégient des préoccupations difficiles à externaliser (faible $\beta_R$), maintiennent des scénarios du pire cas (entropie $H$ élevée), favorisent la fixation institutionnelle (seuil $\tau$ élevé) et mettent l'accent sur l'irréversibilité à long terme (facteur $\gamma$ élevé).
  • Les acteurs orientés vers la promotion privilégient des bénéfices externalisables (fort $\beta_R$), se concentrent sur les scénarios principaux (faible $H$), permettent une révision flexible (faible $\tau$) et mettent l'accent sur les coûts d'opportunité à moyen terme (facteur $\gamma$ moyen).
• Divergence de niveau $W$ : Les acteurs apprennent différentes séquences causales de l'histoire (par exemple, « l'innovation conduit à l'amélioration » contre « le manque de réglementation conduit aux accidents »), les amenant à interpréter les mêmes nouvelles preuves à travers différentes structures causales.
• Stratégie de résolution : Le cadre suggère que la résolution du désaccord nécessite la conception d'observations discriminantes ou d'interventions (par exemple, tests A/B, indicateurs mesurables de confiance) qui maximisent les différences prédictives entre les modèles, plutôt que d'attribuer le conflit à un échec moral.

5. Signification et affirmations

L'article affirme que le désaccord possède souvent une structure computationnelle identifiable. En localisant la divergence dans les opérations d'inférence et l'apprentissage des modèles du monde, le problème peut être déplacé de l'évaluation moralisée (accuser l'autre de défaut) vers une coordination concevable.

La signification réside dans :

• Changement méthodologique : Adopter l'hypothèse d'inférences multiples (MIA), qui traite la diversité des inférences comme une conséquence de la non-identifiabilité plutôt que comme un défaut à éliminer.
• Clarté opérationnelle : Fournir un vocabulaire ($R, E, S, D$) pour diagnostiquer où le processus d'inférence diffère.
• Application pratique : Offrir une voie pour résoudre les conflits en alignant les paramètres opérationnels (pour les problèmes de niveau $\theta$) ou en concevant des interventions spécifiques pour tester des modèles du monde concurrents (pour les problèmes de niveau $W$).

L'article reste modeste, notant que la projection de quatre dimensions sur trois bases est une « tendance structurelle » soutenue par la théorie plutôt qu'un théorème strict, et que le cadre est un compte rendu computationnel plutôt qu'une célébration normative de la diversité. Les travaux futurs sont identifiés comme l'extraction de profils à partir de données empiriques et la validation quantitative de la réduction à trois bases.