Towards a Theory of Pragmatic Information

In de wereld van hoe wij het universum begrijpen, bestaat er een langdurig onderscheid tussen de ruwe gegevens van een signaal en de werkelijke betekenis die we eruit extraheren. Decennialang heeft de standaard wetenschap van informatie zich bijna volledig gericht op de technische kant: hoe nauwkeurig een boodschap kan worden verzonden, hoeveel bits er nodig zijn om een reeks symbolen te transmettreer, en hoe fouten tijdens die transmissie te voorkomen. Dit kader, bekend als informatietheorie, behandelt een boodschap als een reeks symbolen zonder te vragen of die symbolen de ontvanger daadwerkelijk iets nieuws of nuttigs vertellen. Het is alsof je het gewicht van een brief meet zonder de envelop ooit te openen om te zien of er een liefdesbrief, een rekening of een blanco vel papier in zit. Hoewel deze technische benadering ongelooflijk succesvol is geweest voor het bouwen van communicatienetwerken, laat het een gat achter wanneer het gaat over de menselijke ervaring van het ontvangen van informatie. We zeggen vaak dat een boodschap "informatief" is als deze ons van gedachten verandert of ons helpt een betere keuze te maken, maar de standaard wiskundige instrumenten van het vakgebied hebben geen manier om die verandering te meten.

Deze kloof is de focus van een nieuw theoretisch kader voorgesteld door Edward D. Weinberger, een onderzoeker aan New York University. Zijn werk probeert de kloof te overbruggen tussen de technische transmissie van data en het praktische nut van die data voor een besluitvormer. Het kernidee is eenvoudig maar diepgaand: informatie wordt pas betekenisvol wanneer het de overtuigingen van de persoon of machine die het ontvangt, verandert, specifiek op een manier die een beslissing beïnvloedt. Weinberger noemt dit "pragmatische informatie". Het gaat niet over de lengte van de boodschap of de complexiteit van de code, maar over de verschuiving in waarschijnlijkheid die plaatsvindt in de geest van de ontvanger. Als een boodschap arriveert en het begrip van de ontvanger over de wereld exact hetzelfde blijft, dan is er geen pragmatische informatie gewonnen, ongeacht hoeveel woorden er zijn gesproken. Daarentegen, als één enkel woord een ontvanger ertoe brengt om hun verwachtingen over een toekomstige gebeurtenis volledig te herzien, draagt dat woord een grote hoeveelheid pragmatische informatie.

Om dit concept rigoureus te definiëren, introduceert het artikel een model waarbij een besluitvormer een reeks initiële overtuigingen over een situatie vasthoudt, gerepresenteerd als een waarschijnlijkheidsverdeling. Dit is de "prior" visie op de wereld. Wanneer een boodschap arriveert, worden deze overtuigingen bijgewerkt naar een nieuwe set waarschijnlijkheden, bekend als de "posterior". De hoeveelheid pragmatische informatie wordt vervolgens berekend door de afstand te meten tussen deze twee sets overtuigingen. Als de boodschap een grote verschuiving veroorzaakt, is de afstand groot en is de informatie waardevol. Als de boodschap geen verschuiving veroorzaakt, is de afstand nul en is de informatie nutteloos. Deze benadering maakt het mogelijk om rekening te houden met het feit dat dezelfde boodschap verschillende dingen kan betekenen voor verschillende mensen. Een boodschap die volkomen voor de hand liggend is voor een expert, kan voor hem nul pragmatische informatie bevatten, terwijl dezelfde boodschap een openbaring kan zijn voor een novice, wat een enorme hoeveelheid pragmatische informatie met zich meebrengt.

Het artikel demonstreert dat deze definitie standhoudt onder wiskundige controle door te bewijzen dat pragmatische informatie direct verbonden is met de efficiëntie van codering. In simpelere termen: de hoeveelheid pragmatische informatie die een boodschap biedt, is gelijk aan het aantal bits dat wordt bespaard wanneer een ontvanger zijn begrip van de wereld bijwerkt. Als een ontvanger de uitkomst van een gebeurtenis met zekerheid kent, kan hij die gebeurtenis met de minste mogelijke bits beschrijven. Als zijn kennis vaag is, heeft hij meer bits nodig om de mogelijkheden te beschrijven. Wanneer een boodschap de situatie verheldert, vermindert dit het aantal bits dat nodig is om de uitkomst te coderen. De theorie laat zien dat de vermindering in het aantal bits dat nodig is om de wereld te coderen, veroorzaakt door het ontvangen van een boodschap, exact gelijk is aan de verkregen pragmatische informatie. Dit biedt een concrete, meetbare rechtvaardiging voor de definitie, waarbij het abstracte idee van "betekenis" wordt verankerd in de fysieke realiteit van datacompressie.

Een van de meest opvallende toepassingen van deze theorie wordt gevonden in het klassieke probleem van de "one-armed bandit", of een gokkast met een onbekende uitbetalingsratio. Stel je een speler voor die probeert te beslissen of hij blijft spelen aan een machine. Aanvankelijk heeft hij geen idee of de machine vaak of zelden uitbetaalt. Terwijl hij speelt, observeert hij winsten en verliezen, en met elke uitkomst werkt hij zijn schatting van de uitbetalingskans van de machine bij. Het artikel berekent exact hoeveel pragmatische informatie elke nieuwe draai biedt. Het resultaat is contra-intuïtief voor sommigen: naarmate de speler meer en meer speelt, neemt de hoeveelheid nieuwe informatie die uit elke extra draai wordt verkregen af. Vroege draai zijn zeer informatief omdat ze de overtuiging van de speler drastisch veranderen. Latere draai, na honderden pogingen, voegen weinig nieuwe kennis toe omdat de speler al een zeer nauwkeurige schatting heeft. De theorie kwantificeert dit afnemende rendement, en laat zien dat de waarde van informatie niet constant is, maar volledig afhangt van wat de ontvanger al weet.

Het kader behandelt ook de aard van "desinformatie" en "ruis". In de standaard informatietheorie wordt een valse boodschap vaak hetzelfde behandeld als een ware boodschap als ze even complex zijn. Echter, in de sfeer van pragmatische informatie is het onderscheid cruciaal. Een boodschap die de overtuigingen van een ontvanger verandert, wordt nog steeds beschouwd als het dragen van pragmatische informatie, zelfs als die nieuwe overtuigingen onjuist zijn. De theorie scheidt de hoeveelheid informatie van de waarde van die informatie. Een boodschap kan zeer informatief zijn in de zin dat het een geest verandert, maar als die verandering leidt tot een slechte beslissing, is het "pragmatisch desinformatief". Het artikel suggereert dat we boodschappen kunnen categoriseren in drie groepen: die irrelevant zijn en niets veranderen, die nuttig zijn en leiden tot betere beslissingen, en die desinformatief zijn en leiden tot slechtere beslissingen. Dit onderscheid is essentieel voor het begrijpen van real-world scenario's waar valse informatie net zo effectief kan zijn in het veranderen van gedrag als ware informatie.

De auteur breidt deze ideeën uit naar de financiële wereld en biedt een fris perspectief op de Efficient Market Hypothesis, een hoeksteen van de economische theorie. De traditionele visie suggereert dat activaprijzen alle beschikbare informatie reflecteren, waardoor het onmogelijk is om consistent de markt te verslaan. Het artikel herformuleert dit idee door te suggereren dat een markt alleen efficiënt is voor die deelnemers die geen pragmatisch nut kunnen extraheren uit de beschikbare data. Als een stuk marktnieuws de overtuigingen van een handelaar verandert en hem helpt een betere transactie te doen, dan is die informatie pragmatisch nuttig voor hem. De hypothese is daarom niet dat informatie nutteloos is voor iedereen, maar dat voor elke specifieke deelnemer de beschikbare informatie ofwel irrelevant ofwel al verwerkt is. Dit verklaart waarom sommige investeerders, zoals die met geavanceerde algoritmen, waarde kunnen vinden in data die nutteloos is voor anderen. Het is niet dat de markt magisch efficiënt is, maar dat de computationele capaciteit van de gemiddelde deelnemer hun vermogen beperkt om ruwe data om te zetten in pragmatische informatie.

Ten slotte raakt het artikel aan de biologische implicaties van deze theorie en verbindt het dit met de evolutie van soorten. In de context van evolutie is de "besluitvormer" de interactie tussen een populatie organismen en hun omgeving. De omgeving stuurt "boodschappen" in de vorm van overlevingsdruk, en de populatie werkt haar "overtuigingen" bij over welke eigenschappen voordelig zijn. De theorie sugggeert dat de snelheid van evolutie wordt beperkt door de hoeveelheid pragmatische informatie die de populatie uit deze omgevingsboodschappen kan extraheren. Net zoals een menselijke handelaar een limiet heeft aan hoeveel data hij kan verwerken, heeft een biologische soort een limiet aan hoeveel informatie zij betrouwbaar kan vergaren voordat er fouten optreden. Dit leidt tot het concept van een "error catastrophe", waarbij de mutatiesnelheid zo hoog is dat de soort niet langer de informatie kan behouden die nodig is om te overleven. Het artikel stelt dat de computationele capaciteit van de ontvanger — of het nu een menselijk brein, een computer of een biologisch genoom is — de fundamentele beperking is op hoeveel betekenis er uit de wereld kan worden geëxtraheerd.

Concluderend biedt dit werk een rigoureuze wiskundige basis voor het intuïtieve idee dat informatie slechts zo goed is als de verandering die het teweegbrengt in de ontvanger. Door pragmatische informatie te definiëren als de verschuiving in overtuiging die leidt tot een beslissing, verenigt de theorie concepten uit de statistiek, informatica en economie. Het gaat verder dan de technische vraag hoeveel data er wordt verzonden naar de meer praktische vraag hoeveel die data ertoe doet. De bevindingen suggereren dat de waarde van informatie niet een inherente eigenschap is van de boodschap zelf, maar een relatie tussen de boodschap en de geest die deze ontvangt. Dit inzicht heeft diepgaande implicaties voor hoe we alles begrijpen, van gokken en aandelenhandel tot het proces van het leven en de evolutie zelf, en herinnert ons eraan dat in een wereld van oneindige data, de ware valuta het vermogen is om er betekenis aan te geven.