Theory of Subjective Entropy: Cognition as compression of information
Dieses Paper schlägt die Theorie der subjektiven Entropie vor, welche Zufälligkeit als eine Beziehung zwischen Daten und dem internen Modell eines Agenten formalisiert, und demonstriert durch Experimente, dass das Maß an Komprimierbarkeit des Context-Tree-Weighting-Algorithmus die Genauigkeit der menschlichen Sequenzvorhersage besser vorhersagt als traditionelle, auf Häufigkeiten basierende Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Ihr Gehirn ist ein super-intelligenter Detektiv, der versucht, ein Rätsel zu lösen, aber das Rätsel ist nur ein Strom zufälliger Ereignisse, wie etwa eine Münze, die immer wieder geworfen wird. Seit Jahrzehnten betrachten Wissenschaftler diese Ereignisse mit einem Werkzeug namens „Shannon-Entropie“, das im Grunde fragt: „Ist diese Münze fair?“ Wenn die Münze fair ist, lautet die Antwort: „Ja, sie ist völlig zufällig“, und der Detektiv gibt auf, unter der Annahme, dass es kein Muster zu finden gibt. Aber was, wenn nicht die Münze das Problem ist? Was, wenn das Problem das Notizbuch des Detektivs ist? Diese Arbeit taucht in eine faszinierende Ecke der Wissenschaft ein, die man Algorithmische Informationstheorie und Aktive Inferenz nennt. Betrachten Sie die Algorithmische Informationstheorie als die Lehre davon, wie viel „Kompression“ man auf eine Datei anwenden kann – so wie man einen Ordner zippt, um ihn kleiner zu machen. Wenn man ihn eng zusammenzippen kann, gibt es ein Muster. Wenn er riesig bleibt, ist er wirklich zufällig. Aktive Inferenz ist die Idee, dass unsere Gehirne ständig versuchen, ihre eigene „Überraschung“ zu verringern, indem sie vorhersagen, was als Nächstes passiert. Wir halten dies deshalb für wichtig, weil es unsere Sicht auf die Welt verändert: Vielleicht ist das Universum nicht chaotisch, sondern unsere internen Modelle sind nur nicht gut genug, um die verborgene Ordnung zu erkennen.
Die Autoren, Mikael Lindmark Moesgaard und Jakob Kargo Mortensen, schlagen eine neue Idee vor, die Theorie der subjektiven Entropie genannt wird. Ihre große Behauptung ist, dass „Zufälligkeit“ nicht nur eine Eigenschaft der Münze oder der Quelle ist, sondern eine Beziehung zwischen der Sequenz der Ereignisse und dem internen Modell der beobachtenden Person. Um dies zu testen, führten sie zwei Online-Experimente mit 159 Teilnehmern durch. Die Teilnehmer spielten ein Spiel, bei dem sie die Farbe eines Quadrats (blau oder orange) erraten mussten, das auf ihrem Bildschirm erschien. Die Quadrate folgten einer binären Sequenz (wie Einsen und Nullen), die so generiert wurde, dass sie global zufällig war – das heißt, wenn man die gesamte Sequenz betrachtete, sah sie wie ein fairer Münzwurf ohne Muster aus. Die Forscher verwendeten jedoch ein spezielles mathematisches Werkzeug namens Context-Tree Weighting (CTW)-Algorithmus, um diese Sequenzen in winzige Stücke zu zerlegen. Einige dieser Stücke waren „sub-entropisch“, was bedeutet, dass sie verborgene, komprimierbare Muster aufwiesen, die das CTW-Modell erkennen konnte. Andere Stücke waren „super-entropisch“, was bedeutete, dass sie wirklich chaotisch und inkompressibel waren.
Hier liegt der Clou: Obwohl die gesamte Sequenz zufällig war, rate die Teilnehmer nicht rein zufällig. Die Studie fand heraus, dass die Teilnehmer deutlich besser darin waren, die nächste Farbe vorherzusagen, wenn die Sequenz in eine „sub-entropische“ Region (ein Stück mit einem verborgenen Muster) fiel. Tatsächlich war die Genauigkeit der Teilnehmer höher, je „komprimierbarer“ ein Stück war (je stärker das CTW-Modell es schrumpfen konnte). Die Arbeit legt nahe, dass Menschen wie diese CTW-Modelle agieren, indem sie ständig versuchen, die kürzeste „Zip-Datei“ für die Daten zu finden, die sie sehen. Wenn sie ein Muster finden, werden sie besser im Raten.
Entscheidend ist, dass die Autoren einige einfachere Erklärungen ausschlossen. Sie zeigten, dass die Teilnehmer nicht einfach nur die Anzahl der Blau- oder Orange-Erscheinungen gezählt haben (eine einfache Häufigkeitszählung); sie erkannten tatsächlich tiefere, komplexere Strukturen. Sie verglichen ihre Ergebnisse auch mit einer „fairen Münz“-Baseline und fanden, dass, während die Gesamtgenauigkeit nahe bei 50 % (Zufall) lag, die lokale Genauigkeit in den gemusterten Regionen deutlich höher war. Die Arbeit legt nahe, dass dies geschieht, weil unsere Gehirne von einem Prinzip namens Minimierung der freien Energie angetrieben werden – im Grunde hassen unsere Gehirne Überraschungen, also suchen sie aktiv nach Mustern, um die Information zu komprimieren und die Welt berechenbarer zu machen.
Die Studie maß dies mit hoher Präzision. Über 89.520 Durchläufe hinweg identifizierten sie über 22.000 „sub-entropische“ Regionen und 22.000 „super-entropische“ Regionen. Sie fanden heraus, dass für jedes zusätzliche Bit an „Kompression“ (ein Maß dafür, wie sehr das Muster geschrumpft werden kann) in einer sub-entropischen Region die Chancen auf eine richtige Antwort stiegen. In super-entropischen Regionen, in denen kein Muster existierte, blieb die Genauigkeit der Teilnehmer nahe am Zufallsniveau, und interessanterweise schienen sie aufzuhören, nach Mustern zu suchen, sobald die chaotischen Regionen länger wurden, was darauf hindeutet, dass sie klug genug waren zu wissen, wann sie aufgeben sollten.
Was bedeutet das also? Es deutet darauf hin, dass selbst in einer Welt, die völlig zufällig erscheint, unsere Gehirne ständig nach der „Postleitzahl“ der Realität scannen. Wir sehen nicht nur Rauschen; wir sehen potenzielle Struktur. Wenn eine Sequenz ein verborgenes Muster besitzt, selbst ein winziges, können unsere internen Modelle daran anknüpfen und unsere Vorhersagen verbessern. Die Arbeit kommt zu dem Schluss, dass „Zufälligkeit“ subjektiv ist: Eine Sequenz kann für einen einfachen Beobachter zufällig sein, aber für einen klügeren Beobachter voller Ordnung. Dieser Rahmen erklärt nicht nur, wie wir Farben auf einem Bildschirm erraten; er bietet eine neue Art und Weise, wie alle kognitiven Systeme Informationen verarbeiten, und legt nahe, dass der Akt des Denkens selbst der Akt ist, das Universum in etwas zu komprimieren, das wir verstehen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.