Towards a Theory of Pragmatic Information

Dans le monde de notre compréhension de l'univers, il existe une distinction de longue date entre la donnée brute d'un signal et le sens réel que nous en extrayons. Pendant des décennies, la science standard de l'information s'est concentrée presque exclusivement sur l'aspect technique : la précision avec laquelle un message peut être envoyé, le nombre de bits requis pour transmettre une chaîne de symboles, et la manière de prévenir les erreurs lors de cette transmission. Ce cadre, connu sous le nom de théorie de l'information, traite un message comme une séquence de symboles sans se demander si ces symboles apportent réellement quelque chose de nouveau ou d'utile au récepteur. C'est comme mesurer le poids d'une lettre sans jamais ouvrir l'enveloppe pour voir si elle contient un mot d'amour, une facture ou une feuille blanche. Bien que cette approche technique ait été incroyablement fructueuse pour la construction de réseaux de communication, elle laisse un vide lorsqu'il s'agit de l'expérience humaine de la réception d'informations. Nous disons souvent qu'un message est « informatif » uniquement s'il change notre avis ou nous aide à faire un meilleur choix, pourtant les outils mathématiques standards du domaine n'ont aucun moyen de mesurer ce changement.

Ce fossé est l'objet d'un nouveau cadre théorique proposé par Edward D. Weinberger, un chercheur de l'Université de New York. Son travail tente de combler la division entre la transmission technique de données et l'utilité pratique de ces données pour un décideur. L'idée centrale est simple mais profonde : l'information ne devient significative que lorsqu'elle modifie les croyances de la personne ou de la machine qui la reçoit, spécifiquement d'une manière qui influence une décision. Weinberger appelle cela l'« information pragmatique ». Il ne s'agit pas de la longueur du message ou de la complexité du code, mais du décalage de probabilité qui se produit dans l'esprit du récepteur. Si un message arrive et que la compréhension du monde par le récepteur reste exactement la même, alors aucune information pragmatique n'a été acquise, peu importe le nombre de mots prononcés. Inversement, si un seul mot pousse un récepteur à réviser complètement ses attentes concernant un événement futur, ce mot porte une grande quantité d'information pragmatique.

Pour définir ce concept de manière rigoureuse, l'article introduit un modèle où un décideur détient un ensemble de croyances initiales sur une situation, représenté par une distribution de probabilité. C'est la vision « a priori » du monde. Lorsqu'un message arrive, ces croyances sont mises à jour vers un nouvel ensemble de probabilités, connues sous le nom de « a posteriori ». Le montant de l'information pragmatique est ensuite calculé en mesurant la distance entre ces deux ensembles de croyances. Si le message provoque un grand décalage, la distance est grande, et l'information est précieuse. Si le message ne provoque aucun décalage, la distance est nulle, et l'information est inutile. Cette approche permet à la théorie de rendre compte du fait qu'un même message peut signifier des choses différentes pour différentes personnes. Un message qui est totalement évident pour un expert peut porter une information pragmatique nulle pour lui, tandis que ce même message pourrait être une révélation pour un novice, portant une immense quantité d'information pragmatique pour cette personne.

L'article démontre que cette définition résiste à l'examen mathématique en prouvant que l'information pragmatique est directement liée à l'efficacité du codage. En termes plus simples, la quantité d'information pragmatique qu'un message fournit est égale au nombre de bits économisés lorsque le récepteur met à jour sa compréhension du monde. Si un récepteur connaît le résultat d'un événement avec certitude, il peut décrire cet événement en utilisant le moins de bits possible. Si sa connaissance est vague, il a besoin de plus de bits pour décrire les possibilités. Lorsqu'un message clarifie la situation, il réduit le nombre de bits nécessaires pour décrire le monde. La théorie montre que la réduction du nombre de bits requis pour encoder le monde, causée par la réception d'un message, est exactement égale à l'information pragmatique acquise. Cela fournit une justification concrète et mesurable de la définition, ancrant l'idée abstraite de « sens » dans la réalité physique de la compression de données.

L'une des applications les plus frappantes de cette théorie se trouve dans le problème classique du « bandit à un bras », ou machine à sous avec un taux de paiement inconnu. Imaginez un joueur essayant de décider s'il doit continuer à jouer sur une machine. Initialement, il n'a aucune idée de savoir si la machine paie souvent ou rarement. À mesure qu'il joue, il observe les gains et les pertes, et avec chaque résultat, il met à jour son estimation de la probabilité de paiement de la machine. L'article calcule exactement quelle quantité d'information pragmatique chaque nouveau tour fournit. Le résultat est contre-intuitif pour certains : à mesure que le joueur joue davantage, la quantité de nouvelle information gagnée à chaque tour supplémentaire diminue. Les premiers tours sont hautement informatifs car ils changent radicalement la croyance du joueur. Les tours ultérieurs, après des centaines d'essais, ajoutent très peu de nouvelles connaissances car le joueur possède déjà une estimation très précise. La théorie quantifie ce rendement décroissant, montant que la valeur de l'information n'est pas constante mais dépend entièrement de ce que le récepteur sait déjà.

Le cadre aborde également la nature de la « désinformation » et du « bruit ». Dans la théorie de l'information standard, un message faux est souvent traité de la même manière qu'un message vrai s'ils sont également complexes. Cependant, dans le domaine de l'information pragmatique, la distinction est cruciale. Un message qui change les croyances d'un récepteur est toujours considéré comme portant une information pragmatique, même si ces nouvelles croyances sont erronées. La théorie sépare la quantité d'information de la valeur de cette information. Un message peut être hautement informatif dans le sens où il change un esprit, mais si ce changement conduit à une mauvaise décision, il est « pragmatiquement désinformatif ». L'article suggère que nous pouvons catégoriser les messages en trois groupes : ceux qui sont non pertinents et ne changent rien, ceux qui sont utiles et mènent à de meilleures décisions, et ceux qui sont désinformatifs et mènent à de mauvaises décisions. Cette distinction est vitale pour comprendre les scénarios du monde réel où une fausse information peut être tout aussi efficace qu'une information vraie pour modifier les comportements.

L'auteur étend ces idées au monde de la finance, offrant une perspective nouvelle sur l'Hypothèse de l'Efficience du Marché, un pilier de la théorie économique. La vue traditionnelle suggère que les prix des actifs reflètent toute l'information disponible, rendant impossible de battre systématiquement le marché. L'article reformule cette idée en suggérant qu'un marché est efficient uniquement pour les participants qui ne peuvent extraire aucune utilité pragmatique des données disponibles. Si une nouvelle du marché change les croyances d'un trader et l'aide à faire un meilleur arbitrage, cette information est pragmatiquement utile pour lui. L'hypothèse n'est donc pas que l'information est inutile pour tout le monde, mais que pour un participant donné, l'information disponible pour lui est soit non pertinente, soit déjà traitée. Cela explique pourquoi certains investisseurs, dotés d'algorithmes avancés, peuvent trouver de la valeur dans des données qui sont inutiles pour d'autres. Ce n'est pas que le marché est magiquement efficient, mais que la capacité de calcul du participant moyen limite sa capacité à transformer les données brutes en information pragmatique.

Enfin, l'article aborde les implications biologiques de cette théorie, en la connectant à l'évolution des espèces. Dans le contexte de l'évolution, le « décideur » est l'interaction entre une population d'organismes et son environnement. L'environnement envoie des « messages » sous la forme de pressions de survie, et la population met à jour ses « croyances » sur les traits avantageux. La théorie suggère que le taux d'évolution est limité par la quantité d'information pragmatique que la population peut extraire de ces messages environnementaux. Tout comme un trader humain a une limite dans la quantité de données qu'il peut traiter, une espèce biologique a une limite dans la quantité d'information qu'elle peut acquérir de manière fiable avant de commettre des erreurs. Cela mène au concept de « catastrophe d'erreur », où le taux de mutation est si élevé que l'espèce ne peut plus maintenir l'information nécessaire pour survivre. L'article pose que la capacité de calcul du récepteur — qu'il s'agisse d'un cerveau humain, d'un ordinateur ou d'un génome biologique — est la contrainte fondamentale sur la quantité de sens qui peut être extrait du monde.

En conclusion, ce travail fournit un fondement mathématique rigoureux à l'idée intuitive que l'information n'est bonne qu'à la mesure du changement qu'elle produit chez le récepteur. En définissant l'information pragmatique comme le décalage de croyance qui mène à une décision, la théorie unifie les concepts de statistiques, d'informatique et d'économie. Elle dépasse la question technique de la quantité de données envoyées pour s'attaquer à la question plus pratique de savoir si ces données comptent. Les conclusions suggèrent que la valeur de l'information n'est pas une propriété inhérente au message lui-même, mais une relation entre le message et l'esprit qui le reçoit. Cette intuition a des implications profondes sur notre compréhension de tout, du jeu de hasard et du trading boursier jusqu'au processus même de la vie et de l'évolution, nous rappelant que dans un monde de données infinies, la véritable monnaie est la capacité de donner du sens.