Towards a Theory of Pragmatic Information

In der Welt unseres Verständnisses des Universums gibt es eine langjährige Unterscheidung zwischen den Rohdaten eines Signals und der tatsächlichen Bedeutung, die wir daraus extrahieren. Jahrzehntelang hat sich die Standardwissenschaft der Information fast ausschließlich auf die technische Seite konzentriert: wie genau eine Nachricht gesendet werden kann, wie viele Bits erforderlich sind, um eine Folge von Symbolen zu übertragen, und wie Fehler während dieser Übertragung zu verhindern sind. Dieser Rahmen, bekannt als Informationstheorie, behandelt eine Nachricht als eine Sequenz von Symbolen, ohne zu fragen, ob diese Symbole dem Empfänger tatsächlich etwas Neues oder Nützliches mitteilen. Es ist, als würde man das Gewicht eines Briefes messen, ohne jemals den Umschlag zu öffnen, um zu sehen, ob er einen Liebesbrief, eine Rechnung oder ein leeres Blatt Papier enthält. Während dieser technische Ansatz beim Aufbau von Kommunikationsnetzenkanälen unglaublich erfolgreich war, hinterlässt er eine Lücke, wenn es um die menschliche Erfahrung des Informationserhalts geht. Wir sagen oft, eine Nachricht sei „informativ“, wenn sie unsere Meinung ändert oder uns hilft, eine bessere Entscheidung zu treffen, doch die standardmäßigen mathematischen Werkzeuge des Fachbereichs haben keine Möglichkeit, diese Änderung zu messen.

Diese Lücke ist der Fokus eines neuen theoretischen Rahmens, der von Edward D. Weinberger vorgeschlagen wurde, einem Forscher an der New York University. Seine Arbeit versucht, die Kluft zwischen der technischen Übertragung von Daten und dem praktischen Nutzen dieser Daten für einen Entscheidungsträger zu überbrücken. Die Kernidee ist einfach, aber tiefgreifend: Information wird erst dann bedeutungsvoll, wenn sie die Überzeugungen der Person oder Maschine, die sie empfängt, verändert, insbesondere in einer Weise, die eine Entscheidung beeinflusst. Weinberger nennt dies „pragmatische Information“. Es geht nicht um die Länge der Nachricht oder die Komplexität des Codes, sondern um die Verschiebung der Wahrscheinlichkeit, die im Geist des Empfängers stattfindet. Wenn eine Nachricht eintrifft und das Verständnis des Empfängers über die Welt exakt gleich bleibt, dann wurde keine pragmatische Information gewonnen, ungeachtet dessen, wie viele Worte gesprochen wurden. Umgekehrt, wenn ein einziges Wort den Empfänger dazu veranlasst, seine Erwartungen über ein zukünftiges Ereignis vollständig zu revidieren, trägt dieses Wort eine hohe Menge an pragmatischer Information.

Um dieses Konzept streng zu definieren, führt die Arbeit ein Modell ein, bei dem ein Entscheidungsträger einen Satz anfänglicher Überzeugungen über eine Situation besitzt, die als Wahrscheinlichkeitsverteilung dargestellt werden. Dies ist die „A-priori“-Ansicht der Welt. Wenn eine Nachricht eintrifft, werden diese Überzeugungen zu einem neuen Satz von Wahrscheinlichkeiten aktualisiert, der als „A-posteriori“-Ansicht bekannt ist. Die Menge der pragmatischen Information wird dann berechnet, indem der Abstand zwischen diesen beiden Sätzen von Überzeugungen gemessen wird. Wenn die Nachricht eine große Verschiebung verursacht, ist der Abstand groß und die Information ist wertvoll. Wenn die Nachricht keine Verschiebung verursacht, ist der Abstand null und die Information ist nutzlos. Dieser Ansatz ermöglicht es der Theorie, die Tatsache zu berücksichtigen, dass dieselbe Nachricht unterschiedliche Dinge für verschiedene Menschen bedeuten kann. Eine Nachricht, die für einen Experten völlig offensichtlich ist, kann für ihn null pragmatische Information bedeuten, während dieselbe Nachricht für einen Laien eine Offenbarung sein kann, die eine enorme Menge an pragmatischer Information trägt.

Die Arbeit zeigt, dass diese Definition unter mathematischer Prüfung standhält, indem sie beweist, dass die pragmatische Information direkt mit der Effizienz der Kodierung verknüpft ist. Einfacher ausgedrückt: Die Menge der pragmatischen Information, die eine Nachricht liefert, entspricht der Anzahl der Bits, die eingespart werden, wenn ein Empfänger sein Verständnis der Welt aktualisiert. Wenn ein Empfänger das Ergebnis eines Ereignisses mit Gewissheit kennt, kann er dieses Ereignis mit den kleinstmöglichen Bits beschreiben. Wenn sein Wissen vage ist, benötigt er mehr Bits, um die Möglichkeiten zu beschreiben. Wenn eine Nachricht die Situation klärt, reduziert sie die Anzahl der Bits, die zur Beschreibung der Welt benötigt werden. Die Theorie zeigt, dass die Reduktion der Anzahl der Bits, die zur Kodierung der Welt erforderlich sind, durch den Erhalt einer Nachricht exakt der gewonnenen pragmatischen Information entspricht. Dies bietet eine konkrete, messbare Rechtfertigung für die Definition und begründet die abstrakte Idee von „Bedeutung“ in der physischen Realität der Datenkompression.

Eine der bemerkenswertesten Anwendungen dieser Theorie findet sich im klassischen Problem des „Einarmigen Banditen“, oder einer Spielautomaten mit einer unbekannten Auszahlungsrate. Stellen Sie sich einen Spieler vor, der entscheiden muss, ob er weiter spielt. Zu Beginn hat er keine Vorstellung davon, ob die Maschine oft oder selten auszahlt. Während er spielt, beobachtet er Gewinne und Verluste, und mit jedem Ergebnis aktualisiert er seine Schätzung der Auszahlungswahrscheinlichkeit der Maschine. Die Arbeit berechnet exakt, wie viel pragmatische Information jeder neue Spielzug liefert. Das Ergebnis ist für einige kontraintuitiv: Je mehr der Spieler spielt, desto geringer wird die Menge der neu gewonnenen Information pro zusätzlichem Spielzug. Frühe Spielzüge sind hochgradig informativ, da sie die Überzeugungen des Spielers drastisch ändern. Spätere Spielzüge, nach Hunderten von Versuchen, fügen kaum neues Wissen hinzu, da der Spieler bereits eine sehr genaue Schätzung besitzt. Die Theorie quantifiziert diesen abnehmenden Grenznutzen und zeigt, dass der Wert der Information nicht konstant ist, sondern vollständig davon abhängt, was der Empfänger bereits weiß.

Der Rahmen befasst sich auch mit der Natur von „Desinformation“ und „Rauschen“. In der Standard-Informationstheorie wird eine falsche Nachricht oft wie eine wahre behandelt, sofern sie gleichermaßen komplex ist. In der Sphäre der pragmatischen Information ist die Unterscheidung jedoch entscheidend. Eine Nachricht, die die Überzeugungen eines Empfängers ändert, gilt dennoch als Träger pragmatischer Information, selbst wenn diese neuen Überzeugungen falsch sind. Die Theorie trennt die Menge der Information von dem Wert dieser Information. Eine Nachricht kann hochgradig informativ sein im Sinne einer Änderung des Geistes, aber wenn diese Änderung zu einer schlechten Entscheidung führt, ist sie „pragmatisch desinformativ“. Die Arbeit legt nahe, dass wir Nachrichten in drei Gruppen kategorisieren können: solche, die irrelevant sind und nichts verändern; solche, die nützlich sind und zu besseren Entscheidungen führen; und solche, die desinformativ sind und zu schlechteren Entscheidungen führen. Diese Unterscheidung ist entscheidend für das Verständnis von realen Szenarien, in denen falsche Informationen genauso effektiv bei der Verhaltensänderung sein können wie wahre Informationen.

Der Autor erweitert diese Ideen auf die Finanzwelt und bietet eine frische Perspektive auf die Effizienzmarkthypothese, einen Eckpfeiler der ökonomischen Theorie. Die traditionelle Sichtweise besagt, dass die Kurse von Vermögenswerten alle verfügbaren Informationen widerspiegeln, was es unmöglich macht, den Markt konsistent zu schlagen. Die Arbeit formuliert diese Idee um, indem sie suggeriert, dass ein Markt nur für jene Teilnehmer effizient ist, die keine pragmatische Nützlichkeit aus den verfügbaren Daten extrahieren können. Wenn eine Marktneuigkeit die Überzeugungen eines Händlers ändert und ihm hilft, einen besseren Handel zu tätigen, ist diese Information für ihn pragmatisch nützlich. Die Hypothese besagt daher nicht, dass Information für alle nutzlos ist, sondern dass für einen gegebenen Teilnehmer die verfügbare Information entweder irrelevant oder bereits verarbeitet ist. Dies erklärt, warum einige Investoren, wie etwa solche mit fortgeschrittenen Algorithmen, in der Lage sind, Wert in Daten zu finden, die für andere nutzlos sind. Es ist nicht so, dass der Markt magisch effizient ist, sondern dass die Rechenkapazität des durchschnittlichen Teilnehmers seine Fähigkeit begrenzt, Rohdaten in pragmatische Information umzuwandeln.

Schließlich berührt das Paper die biologischen Implikationen dieser Theorie und verbindet sie mit der Evolution von Arten. Im Kontext der Evolution ist der „Entscheidungsträger“ die Interaktion zwischen einer Population von Organismen und ihrer Umwelt. Die Umwelt sendet „Nachrichten“ in Form von Überlebensdrücken, und die Population aktualisiert ihre „Überzeugungen“ darüber, welche Merkmale vorteilhaft sind. Die Theorie legt nahe, dass die Rate der Evolution durch die Menge der pragmatischen Information begrenzt wird, die die Population aus diesen Umweltnachrichten extrahieren kann. Genau wie ein menschlicher Händler ein Limit hat, wie viele Daten er verarbeiten kann, hat eine biologische Spezies ein Limit, wie viel Information sie zuverlässig sammeln kann, bevor Fehler auftreten. Dies führt zum Konzept der „Katastrophe der Informationsverlusts“ (Error Catastrophe), bei der die Mutationsrate so hoch ist, dass die Spezies nicht mehr in der Lage ist, die notwendige Information zum Überleben aufrechtzuerhalten. Die Arbeit postuliert, dass die Rechenkapazität des Empfängers – ob menschliches Gehirn, Computer oder biologisches Genom – die fundamentale Grenze darstellt, wie viel Bedeutung aus der Welt extrahiert werden kann.

Zusammenfassend lässt sich sagen, dass diese Arbeit ein rigoroses mathematisches Fundament für die intuitive Idee bietet, dass Information nur so gut ist wie die Veränderung, die sie beim Empfänger bewirkt. Durch die Definition der pragmatischen Information als die Verschiebung der Überzeugung, die zu einer Entscheidung führt, vereint die Theorie Konzepte aus Statistik, Informatik und Wirtschaftswissenschaften. Sie geht über die technische Frage hinaus, wie viel Daten gesendet werden, und widmet sich der praktischeren Frage, wie viel diese Daten bedeuten. Die Ergebnisse legen nahe, dass der Wert der Information keine inhärente Eigenschaft der Nachricht selbst ist, sondern eine Beziehung zwischen der Nachricht und dem Geist, der sie empfängt. Diese Einsicht hat tiefgreifende Auswirkungen auf unser Verständnis von allem – vom Glücksspiel und dem Aktienhandel bis hin zum Prozess des Lebens und der Evolution – und erinnert uns daran, dass in einer Welt unendlicher Daten die wahre Währung die Fähigkeit ist, Sinn in ihnen zu finden.