Statistical complexity from fluctuations in the information content

In de studie van complexe systemen wenden wetenschappers zich vaak tot een concept genaamd entropie om te meten hoeveel informatie een systeem bevat of hoe onzeker de toekomst ervan kan zijn. Denk aan entropie als een maatstaf voor de gemiddelde verrassing die je zou voelen als je naar de toestand van het systeem kijkt; een systeem dat volledig voorspelbaar is, heeft een lage entropie, terwijl een systeem dat volledig willekeurig is, een hoge entropie heeft. Echter, entropie alleen vertelt slechts een deel van het verhaal. Twee zeer verschillende systemen kunnen exact dezelfde gemiddelde verrassing hebben, maar toch een totaal andere interne structuur bezitten. Het ene kan een rigide, geordende machine zijn, terwijl het andere een chaotische bende is. Om complexiteit werkelijk te begrijpen, hebben onderzoekers een manier nodig om niet alleen het gemiddelde te zien, maar ook hoeveel de individuele onderdelen van een systeem variëren van dat gemiddelde. Dit is de vraag waar een team natuurkundigen uit Brazilië een antwoord op wilde vinden door een nieuwe manier voor te stellen om de verborgen structuur van alles, van magneten tot chaotische weerpatronen, te meten.

De onderzoekers, werkzaam bij universiteiten in Maringá en Rio de Janeiro, richtten zich op een specifiek wiskundig idee: de variantie van de informatie-inhoud. In eenvoudige termen: terwijl entropie de gemiddelde hoeveelheid verrassing in een systeem meet, meet hun nieuwe maatstaf, die zij statistische complexiteit noemen, hoe die verrassing fluctueert. Als je je een systeem voorstelt waarin elke mogelijke uitkomst even waarschijnlijk is, is de verrassing constant en de fluctuatie nul. Als het systeem perfect geordend is, is de verrassing ook constant, en is de fluctuatie eveneens nul. De onderzoekers ontdekten dat het meest interessante gedrag plaatsvindt in het midden, waar het systeem noch perfect geordend, noch perfect willekeurig is. In deze intermediaire toestanden varieert de hoeveelheid verrassing aanzienlijk van het ene moment naar het andere, en het is deze variatie die hun maatstaf vastlegt.

Om hun idee te testen, keken de onderzoekers eerst naar eenvoudige systemen met slechts een paar mogelijke toestanden. Ze ontdekten dat hun maatstaf correct identificeerde dat de meest complexe toestanden niet in het midden van de weg tussen orde en chaos lagen, maar eigenlijk iets meer naar de geordende kant verschoven waren. Dit is intuïtief begrijpelijk omdat een systeem dat bijna geordend is, zeer gevoelig is; een kleine verandering kan een enorme verschuiving veroorzaken in wat er vervolgens gebeurt, wat grote fluctuaties in informatie creëert. In contrast hiermee is een systeem dat al chaotisch is, minder gevoelig voor kleine veranderingen. De onderzoekers toonden aan dat naarmate het aantal mogelijke toestanden in een systeem groeit, deze piek van complexiteit duidelijk blijft, wat een helder signaal geeft van waar het systeem het meest gestructureerd is.

De studie verschoof vervolgens naar een klassiek probleem in de natuurkunde: het gedrag van magneten, gemodelleerd door iets dat het twee-dimensionale Ising-model wordt genoemd. Dit model beschrijft hoe kleine magnetische spins met elkaar uitlijnen naarmate de temperatuur verandert. Bij zeer lage temperaturen zijn de spins allemaal in perfecte orde uitgelijnd. Bij zeer hoge temperaturen wijzen ze in willekeurige richtingen. Ergens daartussenin, bij een specifieke kritische temperatuur, ondergaat het systeem een faseovergang, waarbij het verschuift van orde naar wanorde. De onderzoekers ontdekten dat hun maatstaf van complexiteit precies piekt bij deze kritische temperatuur. Dit is een belangrijke bevinding omdat het het abstracte idee van informatiecomplexiteit direct koppelt aan fysieke warmtecapaciteit en energiefluctuaties. In deze context fungeert de complexiteitsmaatstaf als een thermometer voor structurele verandering, die naar een maximum stijgt precies wanneer het systeem het meest instabiel is en een grote transformatie ondergaat.

Om te zien of dit idee ook werkte voor systemen die zich niet in thermisch evenwicht bevinden, paste het team hun maatstaf toe op chaotische kaarten, die wiskundige modellen zijn die worden gebruikt om te beschrijven hoe eenvoudige regels complex, onvoorspelbaar gedrag kunnen genereren. Ze testten deze modellen tegen andere bestaande maten van complexiteit. De resultaten toonden aan dat hun maatstaf in staat was om verschillende soorten beweging te onderscheiden op een manier waarop anderen dat niet konden. Zo vonden de onderzoekers in een specifiek chaotisch systeem, bekend als de logistische kaart, dat hun maatstaf scherp daalde wanneer het systeem zich vestigde in een regelmatig, herhalend patroon, terwijl andere maten een piek vertoonden. Dit suggereert dat hun benadering bijzonder goed is in het opsporen van momenten waarop een chaotisch systeem even voorspelbaar wordt, een nuance die andere instrumenten vaak missen. Ze testten de maatstaf ook op fractionele Gaussische ruis, een type signaal dat in de natuur voorkomt, en stelden vast dat het duidelijk signalen kon onderscheiden die gecorreleerd waren van signalen die dat niet waren.

De onderzoekers verkenden ook hoe dit concept uitgebreid kan worden naar meer algemene soorten statistiek en zelfs naar de kwantumwereld. Ze toonden aan dat de maatstaf kan worden aangepast om te werken met verschillende wiskundige kaders die systemen met langetermijnverbindingen of niet-standaard statistieken beschrijven. Bovendien demonstreerden ze dat dezelfde logica van toepassing is op kwantumsystemen, waarbij de maatstaf de fluctuaties van informatie in een kwantumtoestand beschrijft. Hoewel de maatstaf niet begrensd is door een maximumwaarde, wat betekent dat deze onbeperkt kan groeien naarmate een systeem groter wordt, betogen de auteurs dat dit een kenmerk is en geen fout. Het stelt de maatstaf in staat om de werkelijke groei van fluctuaties in grote systemen te weerspiegelen, vooral nabij kritieke punten waar fysieke eigenschappen kunnen divergeren.

Uiteindelijk betogen de onderzoekers dat het kijken naar de fluctuaties van informatie een natuurlijke en fysiek gefundeerde manier biedt om complexiteit te definiëren. Door zich te richten op de mate waarin de verrassing in een systeem varieert, in plaats van alleen op de gemiddelde verrassing, hebben de onderzoekers een instrument gecreëerd dat de informatietheorie direct verbindt met de thermodynamica en de studie van faseovergangen. Hun werk suggereert dat complexiteit niet slechts een vaag middengebied tussen orde en chaos is, maar een specifieke, meetbare toestand waarin een systeem het meest gevoelig is voor verandering. Dit perspectief biedt een nieuwe lens om alles te bekijken, van het gedrag van magneten tot de dynamiek van chaotische systemen, en biedt een verenigde manier om de structuur van de complexe wereld om ons heen te begrijpen.