Theory of Subjective Entropy: Cognition as compression of information
Cet article propose la Théorie de l'Entropie Subjective, qui formalise le caractère aléatoire comme une relation entre les données et le modèle interne d'un agent, démontrant par des expériences que la mesure de compressibilité de l'algorithme de Pondération d'Arbre de Contexte prédit mieux la précision de la prédiction de séquences humaine que les modèles traditionnels basés sur la fréquence.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que votre cerveau soit un détective super intelligent essayant de résoudre un mystère, mais que le mystère ne soit qu'un flux d'événements aléatoires, comme une pièce de monnaie qui bascule encore et encore. Pendant des décennies, les scientifiques ont observé ces événements à l'aide d'un outil appelé « entropie de Shannon », qui demande essentiellement : « Cette pièce est-elle équilibrée ? » Si la pièce est équilibrée, la réponse est « oui, c'est totalement aléatoire », et le détective abandonne, supposant qu'il n'y a aucun motif à trouver. Mais et si le problème n'était pas la pièce ? Et si le problème était le carnet de notes du détective ? Ce document explore un recoin fascinant de la science appelé la Théorie de l'Information Algorithmique et l'Inférence Active. Considérez la Théorie de l'Information Algorithmique comme l'étude de la quantité de « compression » que l'on peut effectuer sur un fichier — comme compresser un dossier pour le rendre plus petit. Si vous pouvez le compresser de manière très serrée, il y a un motif. S'il reste énorme, il est véritablement aléatoire. L'Inférence Active est l'idée que nos cerveaux tentent constamment de réduire leur propre « surprise » en prédisant ce qui va se passer ensuite. Nous nous en soucions parce que cela change notre vision du monde : peut-être que l'univers n'est pas chaotique, mais que nos modèles internes ne sont simplement pas assez bons pour voir l'ordre caché.
Les auteurs, Mikael Lindmark Moesgaard et Jakob Kargo Mortensen, proposent une nouvelle idée appelée la Théorie de l'Entropie Subjective. Leur grande affirmation est que le « caractère aléatoire » n'est pas seulement une propriété de la pièce ou de la source ; c'est une relation entre la séquence d'événements et le modèle interne de la personne qui observe. Pour tester cela, ils ont mené deux expériences en ligne avec 159 participants. Les participants jouaient à un jeu où ils devaient deviner la couleur d'un carré (bleu ou orange) qui apparaissait sur leur écran. Les carrés suivaient une séquence binaire (comme des 1 et des 0) qui avait été générée pour être globalement aléatoire — ce qui signifie que si l'on regardait l'ensemble, cela ressemblait à un lancer de pièce équilibré sans motifs. Cependant, les chercheurs ont utilisé un outil mathématique spécial, l'algorithme de Pondération de l'Arbre de Contexte (CTW), pour découper ces séquences en petits morceaux. Certains morceaux étaient « sous-entropiques », ce qui signifie qu'ils possédaient des motifs cachés et compressibles que le modèle CTW pouvait détecter. D'autres morceaux étaient « super-entropiques », c'est-à-dire qu'ils étaient véritablement désordonnés et compressibles.
Voici le rebondissement : même si la séquence entière était aléatoire, les participants ne devinaient pas au hasard. L'étude a révélé que lorsque la séquence tombait dans une région « sous-entropique » (un morceau avec un motif caché), les participants étaient nettement meilleurs pour prédire la couleur suivante. En fait, plus un morceau était « compressible » (plus le modèle CTW pouvait le réduire), plus la précision des participants était élevée. L'article suggère que les humains agissent comme ces modèles CTW, essayant constamment de trouver le fichier « zip » le plus court pour les données qu'ils voient. Lorsqu'ils trouvent un motif, ils deviennent meilleurs pour deviner.
Crucialement, les auteurs ont écarté quelques explications plus simples. Ils ont montré que les participants ne se contentaient pas de compter combien de bleus ou d'oranges étaient apparus jusqu'à présent (un simple comptage de fréquence) ; ils détectaient en réalité des structures plus profondes et plus complexes. Ils ont également comparé leurs résultats à une base de référence de « pièce équilibrée » et ont constaté que, bien que la précision globale avoisinait les 50 % (le hasard), la précision locale dans les régions structurées était clairement plus élevée. L'article suggère que cela se produit parce que nos cerveaux sont mus par un principe appelé minimisation de l'énergie libre — en gros, nos cerveaux détestent la surprise, donc ils traquent activement les motifs pour compresser l'information et rendre le monde plus prévisible.
L'étude a mesuré cela avec une grande précision. À travers 89 520 essais, ils ont identifié plus de 22 000 régions « sous-entropiques » et 22 000 régions « super-entropiques ». Ils ont découvert que pour chaque bit supplémentaire de « compression » (une mesure de la façon dont le motif pouvait être réduit) dans une région sous-entropique, les chances d'une réponse correcte augmentaient. Dans les régions super-entropiques, où aucun motif n'existait, la précision des participants restait proche du hasard, et de manière intéressante, ils semblaient arrêter de chercher des motifs à mesure que les régions désordonnées s'allongeaient, suggérant qu'ils étaient assez intelligents pour savoir quand abandonner.
Alors, qu'est-ce que cela signifie ? Cela suggère que même dans un monde qui semble totalement aléatoire, nos cerveaux scannent constamment le « code postal » de la réalité. Nous ne voyons pas seulement du bruit ; nous voyons un potentiel de structure. Si une séquence possède un motif caché, même infime, nos modèles internes peuvent s'y accrocher et améliorer nos prédictions. L'article conclut que le « caractère aléatoire » est subjectif : une séquence peut être aléatoire pour un observateur simple mais pleine d'ordre pour un observateur plus intelligent. Ce cadre ne sert pas seulement à expliquer comment nous devinons des couleurs sur un écran ; il offre une nouvelle façon de penser la manière dont tous les systèmes cognitifs traitent l'information, suggérant que l'acte même de penser est l'acte de compresser l'univers en quelque chose que nous pouvons comprendre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.