Mutual information-entropy plane: a new quantifier space for time series analysis

In de studie van complexe systemen, van het flikkeren van een aandelenmarkt tot het vuren van neuronen in een brein, zoeken wetenschappers vaak naar manieren om te meten hoe onvoorspelbaar een systeem is en hoeveel het deelt met een ander. Twee krachtige instrumenten hebben onderzoekers lang geholpen dit terrein te navigeren: entropie en wederzijdse informatie. Entropie is een maatstaf voor wanorde of willekeur; een perfect voorspelbare klok heeft een lage entropie, terwijl een systeem van pure statische ruis een hoge entropie heeft. Wederzijdse informatie meet daarentegen hoeveel twee verschillende systemen ons over elkaar vertellen. Als weten wat de toestand van het ene systeem is, je de toestand van een ander met hoge nauwkeurigheid kunt raden, dan delen ze veel wederzijdse informatie. Decennialang hebben wetenschappers deze instrumenten afzonderlijk gebruikt, waarbij ze ze op kaarten plotten om onderscheid te maken tussen ordelijk, chaotisch en willekeurig gedrag. Echter, er bleef een aanzienlijke kloof bestaan: hoewel deze instrumenten de chaos van een enkel systeem of de link tussen twee systemen konden beschrijven, hadden ze moeite om zowel de interne onzekerheid van een systeem als de verbinding met een ander systeem tegelijkertijd weer te geven, noch konden ze gemakkelijk onthullen welk systeem het andere aanstuurde.

Een team onderzoekers uit Argentinië heeft nu een nieuwe manier voorgesteld om deze relaties te visualiseren, door een tweedimensionale kaart te creëren die deze concepten combineert in één intuïtief beeld. Door de standaardmaatstaf voor wanorde te koppelen aan een maatstaf voor gedeelde informatie, construeerden zij een vlak waar elk punt een volledig verhaal vertelt over een paar interagerende tijdreeksen. Deze nieuwe benadering, die zij het wederzijdse informatie-entropie-vlak noemen, stelt wetenschappers in staat om niet alleen te zien hoe chaotisch een systeem is of hoe nauw het verbonden is met een partner, maar ook om de richting van de invloed tussen hen te bepalen. De onderzoekers testten deze methode op drie verschillende soorten gedrag: regelmatige, voorspelbare beweging; chaotische, deterministische beweging die willekeurig lijkt maar strikte regels volgt; en zuivere willekeurige ruis. Ze ontdekten dat deze nieuwe kaart deze verschillende gedragingen duidelijk kon scheiden, zelfs wanneer ze dezelfde hoeveelheid informatie deelden, waarmee ze een probleem oplosten waar vorige methoden niet tegenop konden.

De kern van deze nieuwe methode ligt in de manier waarop de onderzoekers hun gegevens hebben gerangschikt. Ze namen de maatstaf voor de interne wanorde van een systeem en plaatsten deze op één as, terwijl de maatstaf voor hoeveelheid informatie die het met een partner deelde op de andere as kwam. Wanneer ze de resultaten plotten, ontstond er een duidelijk geometrisch patroon. De onderzoekers ontdekten dat de afstand van een datapunt tot een specifieke diagonale lijn op de kaart iets diepzonders onthult: de mate waarin één systeem onafhankelijk blijft van het andere. Als een punt direct op de lijn ligt, zijn de twee systemen zo nauw gekoppeld dat het kennen van de een de ander volledig verklaart. Als het punt ver onder de lijn ligt, betekent dit dat, hoewel de systemen mogelijk verbonden zijn, een aanzienlijk deel van het gedrag van het ene systeem een mysterie blijft wanneer men naar het andere kijkt. Deze verticale afstand fungeert als een directe maatstaf voor "informationele onafhankelijkheid", een concept dat voorheen moeilijk te visualiseren was.

Wat deze ontdekking bijzonder krachtig maakt, is het vermogen om directionaliteit te onthullen zonder complexe berekeningen. In veel wetenschappelijke velden vereist het bepalen of systeem A veranderingen in systeem B veroorzaakt, of vice versa, zware computationele hulpmiddelen. De onderzoekers toonden aan dat door beide systemen op deze zelfde kaart te plotten, de geometrie zelf de stroom van invloed onthult. Als systeem A systeem B aanstuurt, zal het punt dat systeem A vertegenwoordigt dichter bij de diagonale lijn liggen dan het punt van systeem B. Deze asymmetrie creëert een eenvoudige visuele pijl, die wijst van de aansturende partij naar de gestuurde partij, waardoor onderzoekers de richting van de informatiestroom kunnen zien door simpelweg naar de relatieve posities van de punten te kijken. Het is een manier om te zien wie de leider is en wie de volger in een dans van data, zonder de passen van de dans zelf te hoeven berekenen.

Om het nut van hun nieuwe kaart te bewijzen, simuleerden de onderzoekers drie klassieke scenario's. Eerst keken ze naar regelmatige, voorspelbare beweging, zoals een slinger die zwaait. Vervolgens onderzochten ze chaotische systemen, die deterministisch zijn maar willekeurig lijken, zoals de beroemde logistische kaart die gebruikt wordt om populatiegroei te modelleren. Ten slotte bestudeerden ze pure witte ruis, die volledig willekeurig is. Ze creëerden vervolgens een tweede systeem voor elk geval dat een mengeling was van het origineel en enige willekeurige ruis, gecontroleerd door een koppelingsfactor. Terwijl ze deze factor aanpasten, zagen ze hoe de punten over hun nieuwe kaart bewogen. Ze ontdekten dat hoewel de hoeveelheid gedeelde informatie gestaag toenam naarmats de systemen sterker gekoppeld raakten, de positie van de punten op de kaart duidelijk onderscheidend bleef voor elk type dynamiek. De regelmatige, chaotische en willekeurige systemen bezetten verschillende regio's van het vlak, waardoor ze duidelijk van elkaar te onderscheiden waren. Dit was een cruciale bevinding, omdat eerdere methoden vaak moeite hadden om chaotische systemen van willekeurige ruis te onderscheiden wanneer ze vergelijkbare niveaus van informatie deelden.

De onderzoekers demonstreerden ook dat deze methode werkt voor praktische toepassingen waarbij richting ertoe doet. Door de entropie van het aansturende systeem tegen de gedeelde informatie te plotten, en vervolgens de entropie van het resulterende systeem tegen dezelfde gedeelde informatie te plotten, konden ze een duidelijke splitsing zien. Het punt voor het aansturende systeem bleef dichter bij de lijn van perfecte afhankelijkheid, terwijl het punt voor het resulterende systeem verder weg driftte. Deze visuele kloof bevestigde dat de informatie in één richting stroomde, van de aansturende partij naar de ontvanger. De onderzoekers merkten op dat deze benadering een directere en geometrische manier biedt om deze relaties te begrijpen vergeleken met oudere, computationeel duurdere technieken.

De auteurs waarschuwen echter voor de beperkingen van hun nieuwe instrument. Net als elke methode die steunt op statistische patronen, is het gevoelig voor de manier waarop de gegevens worden voorbereid. De manier waarop de tijdreeksen worden opgedeeld, de grootte van de vensters die voor analyse worden gebruikt, en de hoeveelheid beschikbare data kunnen de positie van de punten op de kaart verschuiven. Voor zeer korte of ruizige datasets kan de kaart aan scherpte verliezen, waardoor het moeilijker wordt om subtiele verschillen te onderscheiden. In die gevallen suggereren de onderzoekers om de resultaten te behandelen als algemene trends in plaats van precieze metingen. Ondanks deze beperkingen biedt het nieuwe vlak een robuust kader voor het vergelijken van complexe dynamica. Het biedt een manier om tegelijkertijd de interne onzekerheid van een systeem en de relatie met een ander te karakteriseren, waardoor abstracte wiskundige concepten worden omgezet in een visueel landschap waar onderzoekers met helderheid doorheen kunnen navigeren.

Dit werk vormt een belangrijke stap voorwaarts in de analyse van complexe systemen, door een verenigd beeld te bieden van onzekerheid en verbinding. Door de maten van wanorde en gedeelde informatie te combineren in een enkele tweedimensionale ruimte, hebben de onderzoekers een instrument geleverd dat zowel intuïtief als krachtig is. Het stelt wetenschappers in staat om niet alleen te zien hoe chaotisch of willekeurig een systeem is, maar ook hoe het zich tot anderen verhoudt en in welke richting de invloed stroomt. Of het nu wordt toegepast op financiële markten, hersenactiviteit of fysieke systemen, deze nieuwe kaart belooft onderzoekers te helpen de ingewikkelde web van oorzaak en gevolg te ontwarren die onze complexe wereld definieert, door onzichtbare patronen van informatie te veranderen in een helder, visueel verhaal.