🧬 biology

Theory of Subjective Entropy: Cognition as compression of information

Dit artikel stelt de Theorie van Subjectieve Entropie voor, die willekeur formaliseert als een relatie tussen data en het interne model van een agent, en demonstreert door middel van experimenten dat de maatstaf voor compressibiliteit van het Context-Tree Weighting-algoritme de menselijke nauwkeurigheid bij sequentievoorspelling beter voorspelt dan traditionele op frequentie gebaseerde modellen.

Oorspronkelijke auteurs: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je brein een superintelligente detective is die een mysterie probeert op te lossen, maar het mysterie is slechts een stroom van willekeurige gebeurtenissen, zoals een munt die keer op keer wordt opgegooid. Decennialang hebben wetenschappers naar deze gebeurtenissen gekeken met een hulpmiddel genaamd "Shannon-entropie", wat in essentie vraagt: "Is deze munt eerlijk?" Als de munt eerlijk is, is het antwoord "ja, het is volkomen willekeurig", en geeft de detective het op, uitgaande van het feit dat er geen patroon te vinden valt. Maar wat als het niet de munt is die het probleem vormt? Wat als het probleem de notitieblok van de detective is? Dit artikel duikt in een fascinerende hoek van de wetenschap genaamd Algoritmische Informatietheorie en Actieve Inferentie. Beschouw Algoritmische Informatietheorie als de studie naar hoeveel "compressie" je kunt toepassen op een bestand—zoals het zippen van een map om deze kleiner te maken. Als je het bestand strak kunt zippen, is er een patroon. Als het groot blijft, is het echt willekeurig. Actieve Inferentie is het idee dat onze hersenen constant proberen hun eigen "verrassing" te verkleinen door te voorspellen wat er vervolgens gebeurt. We geven hierom omdat het onze kijk op de wereld verandert: misschien is het universum niet chaotisch, maar zijn onze interne modellen simpelweg niet goed genoeg om de verborgen orde te zien.

De auteurs, Mikael Lindmark Moesgaard en Jakob Kargo Mortensen, stellen een nieuw idee voor genaamd de Theorie van Subjectieve Entropie. Hun grote bewering is dat "willekeur" niet alleen een eigenschap is van de munt of de bron; het is een relatie tussen de reeks gebeurtenissen en het interne model van de persoon die toekijkt. Om dit te testen, voerden ze twee online experimenten uit met 159 deelnemers. De deelnemers speelden een spel waarbij ze de kleur van een vierkant (blauw of oranje) moesten raden dat op hun scherm verscheen. De vierkanten volgden een binaire sequentie (zoals enen en nullen) die werd gegenereerd om globaal willekeurig te zijn—wat betekent dat als je naar het geheel zou kijken, het eruitzag als een eerlijke muntworp zonder patronen. De onderzoekers gebruikten echter een speciaal wiskundig hulpmiddel genaamd het Context-Tree Weighting (CTW) algoritme om deze sequenties in kleine stukjes te snijden. Sommige stukjes waren "sub-entropisch", wat betekent dat ze verborgen, comprimeerbare patronen bevatten die het CTW-model kon herkelen. Andere stukjes waren "super-entropisch", wat betekent dat ze echt rommelig en oncomprimeerbaar waren.

Hier komt de twist: ook al was de hele sequentie willekeurig, de deelnemers gokten niet willekeurig. De studie toonde aan dat wanneer de sequentie in een "sub-entropisch" gebied viel (een stukje met een verborgen patroon), de deelnemers aanzienlijk beter waren in het voorspellen van de volgende kleur. Sterker nog, hoe meer "comprimeerbaar" een stukje was (hoe meer het CTW-model het kon verkleinen), hoe hoger de nauwkeurigheid van de deelnemers. Het artikel suggereert dat mensen fungeren als deze CTW-modellen, waarbij ze constant proberen de kortste "zip-file" te vinden voor de data die ze zien. Wanneer ze een patroon vinden, worden ze beter in het voorspellen.

Cruciaal is dat de auteurs een aantal eenvoudigere verklaringen hebben uitgesloten. Ze toonden aan dat de deelnemers niet simpelweg telden hoeveel blauwen of oranjes er tot dan toe waren verschenen (een eenvoudige frequentietelling); ze detecteerden daadwerkelijk diepere, complexere structuren. Ze vergeleken hun resultaten ook met een "eerlijke munt"-baseline en stelden vast dat hoewel de algemene nauwkeurigheid rond de 50% (kans) schommelde, de lokale nauwkeurigheid in de patroonrijke regio's duidelijk hoger was. Het artikel suggereert dat dit gebeurt omdat onze hersenen worden gedreven door een principe genaamd vrije energie minimalisatie—kortom, onze hersenen haten verrassing, dus zoeken ze actief naar patronen om de informatie te comprimeren en de wereld voorspelbaarder te maken.

De studie mat dit met hoge precisie. Over 89.520 trials identificeerden ze meer dan 22.000 "sub-entropische" regio's en 22.000 "super-entropische" regio's. Ze ontdekten dat voor elke extra bit aan "compressie" (een maatstaf voor hoeveel het patroon kon worden verkleind) in een sub-entropische regio, de kans op een goed geraden antwoord toenam. In super-entropische regio's, waar geen patroon bestond, bleef de nauwkeurigheid van de deelnemers nabij de kansverdeling, en interessant genoeg leken ze ermee op te houden om patronen te zoeken naarmate de rommelige regio's langer werden, wat suggereert dat ze slim genoeg waren om te weten wanneer ze het op moesten geven.

Dus, wat betekent dit? Het suggereert dat zelfs in een wereld die totaal willekeurig lijkt, onze hersenen constant scannen naar de "postcode" van de realiteit. We zien niet alleen ruis; we zien potentieel structurele orde. Als een sequentie een verborgen patroon heeft, zelfs een klein beetje, kunnen onze interne modellen zich eraan hechten en onze voorspellingen verbeteren. Het artikel concludeert dat "willekeur" subjectief is: een sequentie kan willekeurig zijn voor een eenvoudige waarnemer, maar vol orde voor een intelligentere waarnemer. Dit kader verklaart niet alleen hoe we kleuren op een scherm raden; het biedt een nieuwe manier om over alle cognitieve systemen na te denken, waarbij wordt gesuggereerd dat de handeling van het denken zelf de handeling is van het comprimeren van het universum tot iets dat we kunnen begrijpen.

Technische Samenvatting: Theorie van Subjectieve Entropie

Probleemstelling

Klassieke informatietheorie, specifiek de Shannon-entropie, definieert willekeur op basis van de abstracte bronverdeling die een sequentie genereert. Echter, dit kader is onvoldoende om te verklaren hoe cognitieve agenten eindige sequenties waarnemen en voorspellen, met name wanneer een door een willekeurige bron (bijv. een eerlijke munt) gegenereerde sequentie lokaal comprimeerbare structuren bevat die een agent kan exploiteren. De auteurs stellen dat schijnbare willekeur niet een intrinsieke eigenschap is van de bron alleen, maar een relationele eigenschap tussen de sequentie en het interne model van de agent. Het centrale probleem dat wordt geadresseerd is het gebrek aan een formeel, berekenbaar kader om "subjectieve entropie" te kwantificeren—de mate waarin een sequentie comprimeerbaar is ten opzichte van het specifieke interne model van een agent—en om uit te leggen hoe dit zich verhoudt tot voorspellende nauwkeurigheid in de menselijke cognitie.

Methodologie

Theoretisch Kader

Het artikel verenigt Algoritmische Informatietheorie (AIT), Klassieke Informatietheorie en Actieve Inferentie.

Subjectieve Entropie: Gedefinieerd als de model-relatieve codelengte (of algoritmische complexiteit) van een eindige binaire sequentie. Een sequentie is "subjectief willekeurig" als deze oncomprimeerbaar is onder het interne model van de agent.
Compressiedrempel ( $\tau$ ): Vastgesteld op 1 bit/bit (de entropierate van een eerlijke munt). Sequenties met een gemiddelde codelengte $K < 1$ zijn sub-entropisch (comprimeerbaar); sequenties met $K \ge 1$ zijn super-entropisch (oncomprimeerbaar).
Het CTW-algoritme: De auteurs operationaliseren subjectieve entropie met behulp van het Context-Tree Weighting (CTW) algoritme. CTW dient als een berekenbare benadering van de Solomonoff-inductie, waarbij een Bayesiaanse mix wordt gevormd over alle contextbomen tot een eindige diepte $D$ . Het incorporeert Occam's Razor (het bestraffen van diepere bomen) en de Regel van Epicurus (het behouden van alle consistente modellen).
Entropische Regio's: De auteurs introduceren een nieuw analyse-eenheid: entropische regio's. Dit zijn maximale aaneengesloten sub-sequenties waar de trial-gewijze CTW log-loss ( $K_t$ ) consistent onder of boven de drempel $\tau$ blijft. Dit maakt de identificatie van lokaal comprimeerbare structuren binnen globaal willekeurige sequenties mogelijk.
Link met Actieve Inferentie: Het kader stelt dat agenten de variationele vrije energie minimaliseren. Het minimaliseren van vrije energie komt overeen met het maximaliseren van voorspellende nauwkeurigheid (accuratesse-term) terwijl de modelcomplexiteit wordt gecontroleerd. In deze context is het comprimeren van een sequentie (reduceren van $K_{CTW}$ ) gelijk aan het minimaliseren van vrije energie, wat een normatieve verklaring biedt voor waarom agenten de lokale structuur zouden moeten exploiteren.

Experimenteel Ontwerp

Er zijn twee online experimenten (A en B) uitgevoerd met een gecombineerde steekproef van 159 deelnemers (148 opgenomen in de uiteindelijke analyse) via het Prolific-platform.

Taak: Deelnemers voorspelden de kleur (blauw/1 of oranje/0) van een vierkant in een gedwongen keuze-taak voor binaire sequentievoorspelling met feedback.
Stimuli: Sequenties werden gegenereerd met een bijna maximale Shannon-entropie (globaal willekeurig), maar waren zo ontworpen dat ze een gebalanceerd aantal sub-entropische en super-entropische regio's bevatten op basis van het CTW-model.
- Experiment A gebruikte een generatieprocedure waarbij complexiteiten nabij de drempel clusterden.
- Experiment B maakte gebruik van een $\epsilon$ -band rond de drempel om een symmetrische distributie van sub- en super-entropische regio's te garanderen.
Analyse: De studie maakte gebruik van Generalized Linear Mixed-Effects Models (GLMM) met zowel Bayesiaanse als frequentistische benaderingen.
- Trial-niveau analyse: Testte of de per-trial CTW-complexiteit ( $K_t$ ) de correctheid voorspelde, waarbij werd gecontroleerd voor een eenvoudige Krichevsky-Trofimov (KT) estimator (0-orde Markov-model).
- Regio-niveau analyse: Testte of de cumulatieve comprimeerbaarheid (Oppervlakte, $A_r$ ), diepte ( $d_r$ ) en lengte ( $L_r$ ) van entropische regio's de nauwkeurigheid en de overeenstemming tussen model en mens voorspelden.

Belangrijkste Bijdragen

Formalisering van Subjectieve Entropie: Het artikel stelt een rigoureuze definitie voor van willekeur als een eigenschap van de relatie tussen een sequentie en een intern model, in plaats van de bron zelf. Het operationaliseert dit met behulp van CTW-complexiteit.
Entropische Regio's: De introductie van "entropische regio's" maakt het mogelijk om globaal willekeurige sequenties te deconstrueren in lokaal comprimeerbare (sub-entropische) en oncomprimeerbare (super-entropische) segmenten. Dit biedt een geometrische interpretie van comprimeerbaarheid ( $Oppervlakte = Lengte \times Diepte$ ).
Mechanistische Verklaring via Actieve Inferentie: De auteurs koppelen algoritmische compressie aan het Vrije Energie Principe, en beweren dat het exploiteren van sub-entropische structuur een rationele strategie is om vrije energie te minimaliseren (voorspellende fit maximaliseren).
Universele Toepasbaarheid: Het kader wordt gepresenteerd als een universele formele taal voor het kwantificeren van informatieverwerking in cognitieve systemen, toepasbaar op elke binaire sequentie ongeacht de bron, mits de sequentie in binaire termen beschreven kan worden.

Resultaten

Bevindingen op Trial-niveau

Complexiteit Voorspelt Nauwkeurigheid: Een hogere per-trial CTW-complexiteit ( $K_t$ ) voorspelde significant een lagere waarschijnlijkheid van een correct antwoord.
Voorbij Frequentie-tracking: Controlemodellen die de KT-estimator gebruiken (die enkel symboolfrequenties bijhoudt) toonden aan dat, hoewel frequentie-tracking een deel van de variantie verklaart, de CTW-specifieke winst (de extra compressie geleverd door diepere contextbomen) de voorspelling van de correctheid op trial-niveau significant verbeterde. Dit geeft aan dat mensen diepere structurele patronen gebruiken, en niet slechts eenvoudige tellingen.

Bevindingen op Regio-niveau

Sub-Entropisch Voordeel: In sub-entropische regio's voorspelden een grotere cumulatieve comprimeerbaarheid (Oppervlakte, $A_r$ ) en een grotere diepte ( $d_r$ ) significant een hogere voorspellende nauwkeurigheid. Het effect van de regiolengte was ook positief, wat suggereert dat voorspelbaarheid cumuleert over langere spanningsbogen van structuur.
Super-Entropisch Nadeel: In super-entropische regio's was de relatie anders. Langere super-entropische regio's waren geassocieerd met een afgenomen overeenstemming tussen model en mens. Dit suggereert dat naarmate agenten langer volhouden in een misleidende (super-entropische) regio, ze uiteindelijk kunnen terugkeren naar een basismodel (bijv. een gok op een eerlijke munt) of van model verschuiven, waardoor de adherentie aan de CTW-voorspellingsregel afneemt.
Geometrische Interpretatie: De interactie tussen lengte en diepte bevestigde dat de voordelen van compressie het meest uitgesproken zijn wanneer diepe structuur over langere regio's wordt volgehouden.

Modelvergelijking

De CTW-gebaseerde modellen presteerden significant beter dan zowel de eenvoudige KT-estimator als een intercept-only (kansniveau) baseline, zoals aangetoond door lagere AIC/BIC-scores en significante likelihood-ratio testen.

Betekenis en Claims

Het artikel claimt dat de Theorie van Subjectieve Entropie een meer informatieve benadering biedt voor het begrijpen van sequentievoorspelling dan de klassieke informatietheorie alleen.

Lokaal versus Globaal Willekeur: De bevindingen ondersteunen de claim dat zelfs globaal willekeurige sequenties (hoge Shannon-entropie) lokaal comprimeerbare structuren bevatten die niet subjectief willekeurig zijn voor een agent met een voldoende complex intern model.
Normatieve Basis: Door de theorie te verankeren in Actieve Inferentie, bieden de auteurs een normatieve verklaring voor waarom agenten deze lokale structuren exploiteren en doen: dit minimaliseert de vrije energie.
Methodologische Implicaties: De auteurs waarschuwen dat ongecontroleerde variaties in de subjectieve entropie over trial-sequenties heen in de experimentele psychologie tot fout-positieven kunnen leiden. Als een experiment sequenties gebruikt met verborgen sub-entropische regio's, kunnen deelnemers boven het toevalsniveau presteren, niet door de experimentele manipulatie, maar door de exploitabiliteit van de sequentiestructuur.
Universele Taal: De auteurs concluderen bescheiden en positioneren de theorie als een "bescheiden stap" naar een universele account van cognitie als de compressie van informatie. Ze stellen dat door concepten als patronen en structuur te formaliseren via binaire sequenties en algoritmische complexiteit, de cognitieve psychologie verankerd kan worden in eerste principes.

De auteurs geven expliciet aan dat het kader bedoeld is als meer dan enkel een account van sequentievoorspelling, maar als een universele formele taal voor het kwantificeren van willekeur en informatieverwerking in cognitieve systemen, mits deze processen in termen van binaire sequenties beschreven kunnen worden.