Statistical complexity from fluctuations in the information content

In der Untersuchung komplexer Systeme wenden sich Wissenschaftler oft einem Konzept zu, das als Entropie bezeichnet wird, um zu messen, wie viel Information ein System enthält oder wie ungewiss seine Zukunft sein könnte. Man kann sich Entropie als ein Maß für die durchschnittliche Überraschung vorstellen, die man empfinden würde, wenn man den Zustand eines Systems betrachten würde; ein System, das vollkommen vorhersehbar ist, hat eine niedrige Entropie, während ein System, das völlig zufällig ist, eine hohe Entropie aufweist. Die Entropie allein erzählt jedoch nur einen Teil der Geschichte. Zwei sehr unterschiedliche Systeme können genau dieselbe durchschnittliche Überraschung besitzen, aber völlig verschiedene interne Strukturen aufweisen. Das eine könnte eine starre, geordnete Maschine sein, während das andere ein chaotisches Durcheinander ist. Um Komplexität wirklich zu verstehen, benötigen Forscher eine Möglichkeit, nicht nur das Durchschnittliche zu sehen, sondern auch, wie stark die einzelnen Teile eines Systems von diesem Durchschnitt abweichen. Dies ist die Frage, die ein Team von Physikern aus Brasilien zu beantworten versuchte, indem sie einen neuen Weg vorschlugen, die verborgene Struktur von allem – von Magneten bis hin zu chaotischen Wettermustern – zu messen.

Die Forscher, die an Universitäten in Maringá und Rio de Janeiro tätig sind, konzentrierten sich auf eine spezifische mathematische Idee: die Varianz des Informationsgehalts. Vereinfacht ausgedrückt: Während die Entropie das durchschnittliche Ausmaß der Überraschung in einem System misst, misst ihr neuer Begriff, den sie statistische Komplexität nennen, wie sehr diese Überraschung fluktuiert. Wenn man sich ein System vorstellt, in dem jedes mögliche Ergebnis gleich wahrscheinlich ist, ist die Überraschung konstant und die Fluktuation ist null. Wenn das System perfekt geordnet ist, ist die Überraschung ebenfalls konstant, und die Fluktuation ist wiederum null. Die Forscher fanden heraus, dass das interessanteste Verhalten in der Mitte stattfindet, wo das System weder perfekt geordnet noch vollkommen zufällig ist. In diesen Zwischenzuständen variiert das Ausmaß der Überraschung von einem Moment zum nächsten erheblich, und genau diese Variation erfasst ihr Maß.

Um ihre Idee zu testen, untersuchten die Forscher zunächst einfache Systeme mit nur wenigen möglichen Zuständen. Sie fanden heraus, dass ihr Maß korrekt identifizierte, dass die komplexesten Zustände nicht genau in der Mitte zwischen Ordnung und Chaos lagen, sondern leicht in Richtung der geordneten Seite verschoben waren. Dies ergibt intuitiv Sinn, da ein System, das fast geordnet ist, sehr sensibel ist; eine winzige Änderung kann eine enorme Verschiebung dessen bewirken, was als Nächstes passiert, was große Fluktuationen in der Information erzeugt. Im Gegensatz dazu ist ein System, das bereits chaotisch ist, weniger empfindlich gegenüber kleinen Änderungen. Die Forscher zeigten, dass dieser Gipfel der Komplexität bestehen bleibt, wenn die Anzahl der möglichen Zustände eines Systems wächst, was ein klares Signal dafür liefert, wo das System am stärksten strukturiert ist.

Die Studie ging dann zu einem klassischen Problem der Physik über: dem Verhalten von Magneten, modelliert durch etwas, das als zweidimensionales Ising-Modell bezeichnet wird. Dieses Modell beschreibt, wie sich winzige magnetische Spins miteinander ausrichten, während sich die Temperatur ändert. Bei sehr niedrigen Temperaturen sind die Spins alle in perfekter Ordnung ausgerichtet. Bei sehr hohen Temperaturen zeigen sie in zufällige Richtungen. Irgendwo dazwischen, bei einer spezifischen kritischen Temperatur, durchläuft das System einen Phasenübergang und wechselt von Ordnung zu Unordnung. Die Forscher entdeckten, dass ihr Maß der Komplexität genau bei dieser kritischen Temperatur seinen Höhepunkt erreicht. Dies ist ein bedeutender Befund, da er die abstrakte Idee der Informationskomplexität direkt mit der physikalischen Wärmekapazität und den Energieschwankungen verknüpft. In diesem Kontext fungiert das Komplexitätsmaß wie ein Thermometer für strukturelle Veränderungen und steigt genau dann auf ein Maximum an, wenn das System am instabilsten ist und eine große Transformation durchläuft.

Um zu sehen, ob diese Idee auch für Systeme funktioniert, die sich nicht im thermischen Gleichgewicht befinden, wandte das Team ihr Maß auf chaotische Abbildungen (chaotic maps) an, welche mathematische Modelle sind, die beschreiben, wie einfache Regeln komplexes, unvorhersehbares Verhalten erzeugen können. Sie testeten diese Modelle gegen andere bestehende Komplexitätsmaße. Die Ergebnisse zeigten, dass ihr Maß in der Lage war, zwischen verschiedenen Arten von Bewegungen zu unterscheiden, was anderen nicht gelang. Beispielsweise fanden die Forscher in einem spezifischen chaotischen System, bekannt als logistische Abbildung (logistic map), dass ihr Maß scharf absinkt, wenn das System in ein regelmäßiges, sich wiederholendes Muster übergeht, während andere Maße einen Peak zeigten. Dies deutet darauf hin, dass ihr Ansatz besonders gut darin ist, zu erkennen, wann ein chaotisches System kurzzeitig vorhersehbar wird – eine Nuance, die andere Werkzeuge oft übersehen. Sie testeten das Maß auch an fraktioniertem Gaußschem Rauschen, einer in der Natur vorkommenden Signalart, und fanden, dass es Signale, die korreliert waren, klar von solchen unterscheiden konnte, die dies nicht waren.

Die Forscher untersuchten auch, wie dieses Konzept auf allgemeinere Arten von Statistiken und sogar auf die Quantenwelt ausgeweitet werden kann. Sie zeigten, dass das Maß angepasst werden kann, um mit verschiedenen mathematischen Rahmenwerken zu arbeiten, die Systeme mit Fernverbindungen oder nicht-standardmäßiger Statistik beschreiben. Darüber hinaus demonstrierten sie, dass dieselbe Logik auch für Quantensysteme gilt, bei denen das Maß die Fluktuationen der Information in einem Quantenzustand beschreibt. Obwohl das Maß nicht durch einen Maximalwert begrenzt ist, was bedeutet, dass es mit zunehmender Größe eines Systems unbegrenzt wachsen kann, argumentieren die Autoren, dass dies ein Merkament und kein Fehler ist. Es ermöglicht dem Maß, das wahre Wachstum der Fluktuationen in großen Systemen widerzuspiegeln, insbesondere nahe kritischer Punkte, an denen physikalische Eigenschaften divergieren können.

Letztendlich argumentiert die Arbeit, dass die Betrachtung der Fluktuationen der Information eine natürliche und physikalisch fundierte Art darstellt, Komplexität zu definieren. Indem sie sich darauf konzentrieren, wie sehr die Überraschung in einem System variiert, anstatt nur das durchschnittliche Maß der Überraschung zu betrachten, haben die Forscher ein Werkzeug geschaffen, das die Informationstheorie direkt mit der Thermodynamik und der Untersuchung von Phasenübergängen verbindet. Ihre Arbeit legt nahe, dass Komplexität nicht nur ein vager Mittelweg zwischen Ordnung und Chaos ist, sondern ein spezifischer, messbarer Zustand, in dem ein System am empfindlichsten gegenüber Veränderungen ist. Diese Perspektive bietet eine neue Linse, durch die man alles betrachten kann – vom Verhalten von Magneten bis hin zur Dynamik chaotischer Systeme – und bietet einen einheitlichen Weg, um die Struktur der komplexen Welt um uns herum zu verstehen.