Mutual information-entropy plane: a new quantifier space for time series analysis

In der Untersuchung komplexer Systeme, vom Flackern eines Aktienmarktes bis hin zum Feuern von Neuronen in einem Gehirn, suchen Wissenschaftler oft nach Wegen, zu messen, wie unvorhersehbar ein System ist und wie viel es mit einem anderen teilt. Zwei leistungsstarke Werkzeuge haben Forschern seit langem geholfen, sich in diesem Gelände zurechtzufinden: Entropie und gegenseitige Information (Mutual Information). Entropie ist ein Maß für Unordnung oder Zufälligkeit; eine perfekt vorhersehbare Uhr hat eine niedrige Entropie, während ein System aus reinem statischem Rauschen eine hohe Entropie aufweist. Die gegenseitige Information hingegen misst, wie viel zwei verschiedene Systeme uns übereinander verraten. Wenn das Wissen über den Zustand eines Systems es ermöglicht, den Zustand eines anderen mit hoher Genauigkeit zu erraten, teilen sie viel gegenseitige Information. Jahrzehntelang haben Wissenschaftler diese Werkzeuge separat verwendet und sie auf Karten aufgetragen, um zwischen geordneten, chaotischen und zufälligen Verhaltensweisen zu unterscheiden. Es blieb jedoch eine bedeutende Lücke: Während diese Werkzeuge die Unordnung eines einzelnen Systems oder die Verbindung zwischen zwei Systemen beschreiben konnten, hatten sie Schwierigkeiten, gleichzeitig sowohl die interne Unsicherheit eines Systems als auch dessen Verbindung zu einem anderen darzustellen, noch konnten sie leicht offenlegen, welches System das andere antreibt.

Ein Forschungsteam aus Argentinien hat nun einen neuen Weg vorgeschlagen, diese Beziehungen zu visualisieren, indem es eine zweidimensionale Karte erstellt, die diese Konzepte in einem einzigen, intuitiven Bild kombiniert. Indem sie das Standardmaß für Unordnung mit einem Maß für geteilte Information kombinierten, konstruierten sie eine Ebene, auf der jeder Punkt die vollständige Geschichte eines Paares interagierender Zeitreihen erzählt. Dieser neue Ansatz, den sie die Mutual-Information-Entropie-Ebene nennen, ermöglicht es Wissenschaftlern, nicht nur zu sehen, wie chaotisch ein System ist oder wie eng es mit einem Partner verknüpft ist, sondern auch, die Richtung des Einflusses zwischen ihnen zu bestimmen. Die Forscher testeten diese Methode an drei unterschiedlichen Arten von Verhalten: regulärer, vorhersehbarer Bewegung; chaotischer, deterministischer Bewegung, die zufällig erscheint, aber strengen Regeln folgt; und reinem weißem Rauschen. Sie fanden heraus, dass diese neue Karte diese verschiedenen Verhaltensweisen klar voneinander abgrenzen konnte, selbst wenn sie die gleiche Menge an Information teilten, womit sie ein Problem lösten, das bisherige Methoden nicht bewältigen konnten.

Der Kern dieser neuen Methode liegt darin, wie die Forscher ihre Daten angeordnet haben. Sie nahmen das Maß der internen Unordnung eines Systems und platzierten es auf einer Achse, während das Maß dafür, wie viel Information es mit einem Partner teilt, auf der anderen Achse lag. Als sie die Ergebnisse auftrugen, zeichnete sich ein klares geometrisches Muster ab. Die Forscher entdeckten, dass der Abstand eines Datenpunktes von einer bestimmten diagonalen Linie auf der Karte etwas Tiefgründiges offenbart: den Grad, zu dem ein System unabhängig vom anderen bleibt. Wenn ein Punkt direkt auf der Linie liegt, sind die beiden Systeme so eng gekoppelt, dass das Wissen über das eine das andere vollständig erklärt. Wenn der Punkt weit unter der Linie liegt, bedeutet dies, dass selbst wenn die Systeme miteinander verknüpft sind, ein erheblicher Teil des Verhaltens eines Systems ein Mysterium bleibt, wenn man das andere betrachtet. Dieser vertikale Abstand fungt als direktes Maß für „informationelle Unabhängigkeit“, ein Konzept, das zuvor schwer zu visualisieren war.

Was diese Entdeckung besonders leistungsstark macht, ist ihre Fähigkeit, die Richtungsabhängigkeit ohne komplexe Berechnungen aufzuzeigen. In vielen wissenschaftlichen Bereichen erfordert die Bestimmung, ob System A Veränderungen in System B verursacht oder umgekehrt, schwere computergestützte Werkzeuge. Die Forscher zeigten, dass durch das Auftragen beider Systeme auf dieselbe Karte die Geometrie selbst den Fluss des Einflusses offenbart. Wenn System A System B antreibt, wird der Punkt, der A repräsentiert, näher an der diagonalen Linie liegen als der Punkt, der B repräsentiert. Diese Asymmetrie erzeugt einen einfachen visuellen Pfeil, der vom Treiber zum Getriebenen zeigt, was es Forschern ermöglicht, die Richtung des Informationsflusses allein durch die Betrachtung der relativen Positionen der Punkte zu sehen. Es ist eine Art zu sehen, wer in einem Tanz der Daten führt und wer folgt, ohne die Schritte des Tanzes selbst berechnen zu müssen.

Um den Nutzen ihrer neuen Karte zu beweisen, simulierten die Forscher drei klassische Szenarien. Zuerst betrachteten sie eine reguläre, vorhersehbare Bewegung, wie etwa ein schwingendes Pendel. Als Nächstes untersuchten sie chaotische Systeme, die deterministisch sind, aber zufällig erscheinen, wie die berühmte logistische Gleichung, die zur Modellierung des Populationswachstums verwendet wird. Schließlich untersuchten sie reines weißes Rauschen, das völlig zufällig ist. Sie erstellten dann für jeden Fall ein zweites System, das eine Mischung aus dem Original und etwas zufälligem Rauschen war, gesteuert durch einen Kopplungsfaktor. Während sie diesen Faktor anpassten, beobachteten sie, wie sich die Punkte auf ihrer neuen Karte bewegten. Sie fanden heraus, dass sich die Position der Punkte auf der Karte deutlich für jeden Typ von Dynamik blieb, während die Menge der geteilten Information stetig zunahm, sobald die Systeme stärker gekoppelt wurden. Die regulären, chaotischen und zufälligen Systeme besetzten unterschiedliche Regionen der Ebene, was es ermöglichte, sie klar voneinander zu unterscheiden. Dies war eine entscheidende Erkenntnis, da frühere Methoden oft Schwierigkeiten hatten, chaotische Systeme von zufälligem Rauschen zu unterscheiden, wenn diese ein ähnliches Maß an Information aufwiesen.

Die Forscher demonstrierten auch, dass diese Methode in realen Anwendungen, bei denen die Richtung entscheidend ist, funktioniert. Indem sie die Entropie des treibenden Systems gegen die geteilte Information und dann die Entropie des resultierenden Systems gegen dieselbe geteilte Information auftrugen, konnten sie eine klare Spaltung erkennen. Der Punkt für das treibende System blieb näher an der Linie der perfekten Abhängigkeit, während der Punkt für das resultierende System weiter davon wegdriftete. Diese visuelle Lücke bestätigte, dass die Information in eine Richtung floss, vom Treiber zum Empfänger. Die Forscher merkten an, dass dieser Ansatz im Vergleich zu älteren, rechenintensiveren Techniken einen direkteren und geometrischen Weg bietet, um diese Beziehungen zu verstehen.

Die Autoren weisen jedoch vorsichtig auf die Einschränkungen ihres neuen Werkzeugs hin. Wie jede Methode, die auf statistischen Mustern basiert, reagiert sie empfindlich darauf, wie die Daten aufbereitet werden. Die Art und Weise, wie die Zeitreihen aufgeschlüsselt werden, die Größe der für die Analyse verwendeten Fenster und die verfügbare Datenmenge können die Position der Punkte auf der Karte verschieben. Bei sehr kurzen oder verrauschten Datensätzen kann die Karte an Schärfe verlieren, was es schwieriger macht, subtile Unterschiede zu erkennen. In diesen Fällen schlagen die Forscher vor, die Ergebnisse eher als allgemeine Trends denn als präzise Messungen zu behandeln. Trotz dieser Einschränkungen bietet die neue Ebene einen robusten Rahmen für den Vergleich komplexer Dynamiken. Sie bietet eine Möglichkeit, die interne Unsicherheit eines Systems und dessen Beziehung zu einem anderen gleichzeitig zu charakterisieren und verwandelt abstrakte mathematische Konzepte in eine visuelle Landschaft, die Forscher mit Klarheit navigieren können.

Diese Arbeit stellt einen bedeutenden Fortschritt in der Analyse komplexer Systeme dar, indem sie eine einheitliche Sicht auf Unsicherheit und Verbindung bietet. Durch die Kombination der Maße für Unordnung und geteilter Information in einem einzigen, zweidimensionalen Raum haben die Forscher ein Werkzeug geschaffen, das sowohl intuitiv als auch leistungsstark ist. Es ermöglicht Wissenschaftlern zu sehen, nicht nur wie chaotisch oder zufällig ein System ist, sondern auch, wie es mit anderen zusammenhängt und in welche Richtung der Einfluss fließt. Ob angewendet auf Finanzmärkte, Gehirnaktivität oder physikalische Systeme – diese neue Karte verspricht, Forschern dabei zu helfen, das komplizierte Geflecht aus Ursache und Wirkung zu entwirren, das unsere komplexe Welt definiert, und unsichtbare Informationsmuster in eine klare, visuelle Geschichte zu verwandeln.