🔢 mathematics

A scalable estimator of higher-order information in complex dynamical systems

Die Autoren stellen M-Information vor, einen skalierbaren Schätzer zur Quantifizierung höherer Informationsintegration in komplexen dynamischen Systemen, der sich durch effiziente Berechnung, Robustheit gegenüber Rauschen und breite Anwendbarkeit auf neuroimaging-Daten auszeichnet.

Ursprüngliche Autoren: Alberto Liardi, George Blackburne, Hardik Rajpal, Fernando E. Rosas, Pedro A. M. Mediano

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alberto Liardi, George Blackburne, Hardik Rajpal, Fernando E. Rosas, Pedro A. M. Mediano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wie denken komplexe Systeme zusammen?

Stell dir vor, du hast ein riesiges Orchester. Jeder Musiker (ein Neuron, ein Sensor, ein Computerknoten) spielt seine eigene Note. Wenn wir nur hören, wie laut jeder einzelne Musiker ist, verstehen wir das Stück nicht wirklich. Das wahre Wunder passiert, wenn die Musiker zusammen spielen.

Manchmal spielen sie alle die gleiche Melodie (das ist einfach). Aber manchmal entsteht eine magische Harmonie, die nur entsteht, wenn alle gleichzeitig spielen – eine Melodie, die kein einzelner Musiker allein produzieren könnte. In der Wissenschaft nennen wir das höhergradige Information (Information, die aus der Zusammenarbeit vieler Teile entsteht, nicht nur aus Paaren).

Das Problem bisher: Um diese "magische Harmonie" in riesigen Systemen (wie dem menschlichen Gehirn) zu messen, waren die alten Werkzeuge zu langsam und zu ungenau. Es war, als wollte man ein ganzes Symphonieorchester mit einem Stethoskop analysieren – unmöglich!

Die neue Lösung: Der "M-Information"-Messstab

Die Autoren dieses Papiers haben ein neues Werkzeug erfunden, das sie M-Information nennen. Stell dir das wie einen neuen, super-schnellen Scanner vor, der nicht nur hört, was die einzelnen Musiker tun, sondern genau misst, wie viel "Zauber" in ihrer gemeinsamen Performance steckt.

Hier ist, wie es funktioniert, mit ein paar einfachen Vergleichen:

1. Der Unterschied zwischen "Zusammen" und "Alleine"

Stell dir vor, du hast drei Freunde: Anna, Ben und Clara.

Niedriggradige Information (W-Information): Das ist, wenn Anna Ben etwas erzählt und Clara Ben etwas erzählt. Das sind einfache Paare.
Höhergradige Information (M-Information): Das passiert, wenn Anna, Ben und Clara zusammen einen Witz machen, der nur funktioniert, weil sie alle drei gleichzeitig anwesend sind. Wenn einer fehlt, ist der Witz nicht mehr lustig. Das ist die "M-Information". Sie misst genau diesen extra "Kick", der nur durch die Gruppe entsteht.

2. Der Trick mit dem "perfekten Schatten"

Um diesen "Kick" zu messen, nutzen die Forscher einen cleveren mathematischen Trick. Sie fragen sich: "Was wäre, wenn Anna, Ben und Clara nur so tun würden, als würden sie zusammenarbeiten, aber in Wirklichkeit nur ihre Paare (Anna-Ben, Ben-Clara, Anna-Clara) austauschen?"

Sie erstellen also eine perfekte Kopie (einen Schatten) des Systems, in dem nur die einfachen Paare existieren und der "magische Gruppen-Witz" komplett fehlt.

Dann vergleichen sie das echte System mit diesem Schatten.
Der Unterschied zwischen dem echten System und dem Schatten ist genau das, was wir suchen: Die M-Information.

3. Warum ist das neu? (Der "Skalierbare" Teil)

Früher war es wie der Versuch, alle möglichen Kombinationen von Musikern in einem 100-Millionen-Mann-Orchester manuell durchzugehen. Das dauerte ewig.
Die neuen Autoren haben einen Algorithmus entwickelt, der wie ein Super-Computer-Optimierer funktioniert. Er findet den "perfekten Schatten" extrem schnell, selbst bei riesigen Systemen. Es ist, als hätte man von einer Handrechnung auf einen modernen Taschenrechner umgestellt.

Was haben sie damit entdeckt? (Die echten Tests)

Die Forscher haben ihren neuen Scanner an echten Daten getestet:

Im Gehirn von Affen (Bewusstsein):
- Szenario: Sie maßen das Gehirn von Affen, wenn sie wach waren, schliefen oder unter Narkose lagen.
- Ergebnis: Wenn der Affe wach und bei Bewusstsein war, war die M-Information hoch. Es gab viele "magische Gruppen-Witze" im Gehirn. Wenn der Affe schlief oder narkotisiert war, verschwand dieser "Gruppen-Zauber".
- Bedeutung: Bewusstsein scheint nicht nur davon zu kommen, dass Neuronen feuern, sondern davon, wie komplex und hochgradig sie zusammenarbeiten.
Im Gehirn von Mäusen (Entscheidungen):
- Szenario: Mäuse mussten eine visuelle Aufgabe lösen (z. B. "Welches Bild ist heller?").
- Ergebnis: Wenn die Maus die Aufgabe richtig löste, war die M-Information hoch. Wenn sie falsch lag oder passiv war, war sie niedrig.
- Bedeutung: Ein erfolgreiches Gehirn organisiert sich anders. Es bildet komplexe Netzwerke, um die richtige Entscheidung zu treffen.

Warum ist das wichtig?

Stell dir vor, du versuchst zu verstehen, wie ein Unternehmen funktioniert.

Die alten Methoden sagten dir nur: "Der Chef spricht mit dem Manager, und der Manager mit dem Angestellten."
Die neue M-Information sagt dir: "Ah! Wenn der Chef, der Manager und der Angestellte alle drei in einem Raum sind, passiert etwas Magisches, das den Umsatz steigert. Das ist der eigentliche Schlüssel zum Erfolg!"

Zusammenfassend:
Die Autoren haben einen neuen, schnellen und robusten Weg gefunden, um zu messen, wie viel "Teamwork" in komplexen Systemen (wie dem Gehirn) wirklich passiert. Sie zeigen uns, dass der Schlüssel zu Bewusstsein und Intelligenz nicht in den einzelnen Teilen liegt, sondern in der Art und Weise, wie diese Teile zusammen etwas Neues erschaffen, das größer ist als die Summe ihrer Teile.

1. Problemstellung

Das Verständnis komplexer Systeme (z. B. biologische Netzwerke, soziale Dynamiken, physikalische Prozesse) erfordert die Fähigkeit zu charakterisieren, wie diese Systeme verteilte Berechnungen durchführen und Information integrieren. Ein entscheidendes Merkmal solcher Systeme ist das Auftreten kollektiver, nichtlinearer Dynamiken, die über einfache paarweise Beziehungen hinausgehen (höhere Ordnungen).

Bisherige Ansätze zur Quantifizierung dieser höheren Ordnungen (jenseits von paarweisen Abhängigkeiten) stoßen jedoch auf zwei Hauptprobleme:

Skalierbarkeit: Bestehende Methoden sind bei großen Systemen rechnerisch nicht handhabbar (oft exponentieller Aufwand).
Spezifität für Zeitreihen: Es gibt wenige Maße, die speziell für multivariate Zeitreihendaten dynamischer Systeme entwickelt wurden. Viele existierende Maße messen nur das Gleichgewicht zwischen höher- und niederordentlichen Abhängigkeiten, statt diese explizit und unabhängig voneinander zu identifizieren.

Das Ziel der Autoren ist es, ein Maß zu entwickeln, das:

Alle höheren Ordnungs-Interdependenzen zwischen multivariablen Variablen erfasst.
Effizient mit der Systemgröße skaliert.
Für dynamische Systeme geeignet ist, deren Teile sich gemeinsam über die Zeit entwickeln.
Höhere Ordnungsbeiträge explizit und unabhängig von niedrigeren Ordnungen identifiziert.

2. Methodik

Die Autoren führen eine neue Informationstheorie-Metrik namens M-Information ein, die auf dem Konzept der Union-Information (vereinigte Information) aufbaut.

Theoretische Grundlagen

Union-Information ( $W$ ): Basierend auf der Arbeit von Bertschinger et al. und Griffith & Koch wird die Union-Information $W(X; Y)$ definiert als das Minimum der gegenseitigen Information $I_Q(X; Y)$ über alle Wahrscheinlichkeitsverteilungen $Q$ , die dieselben paarweisen Randverteilungen wie die ursprüngliche Verteilung $P$ haben, aber keine höheren Ordnungs-Abhängigkeiten aufweisen.
$W(X; Y) := \min_{Q \in \Delta_P} I_Q(X; Y)$
wobei $\Delta_P$ die Menge der Verteilungen mit identischen paarweisen Marginalen ist.
M-Information: Die höhere Ordnungs-Information wird als Differenz zwischen der tatsächlichen gegenseitigen Information $I(X; Y)$ und der Union-Information $W(X; Y)$ definiert:
$M(X; Y) := I(X; Y) - W(X; Y)$
$W$ repräsentiert somit die niederordentliche (paarweise) Information, während $M$ die rein höhere Ordnungs-Information (Synergie jenseits von Paaren) quantifiziert.

Algorithmische Umsetzung (Gaußsche Systeme)

Da die Minimierung in Gleichung (2) für allgemeine Verteilungen schwierig ist, beschränken sich die Autoren auf gemeinsam gaußsche Verteilungen (Gaussian Copulas für nicht-gaußsche Daten).

Konvexe Optimierung: Es wird bewiesen, dass die Minimierung von $W$ für gaußsche Variablen ein konvexes Optimierungsproblem ist, das eine eindeutige Lösung besitzt.
Parametrisierung: Durch die Nutzung der Cholesky-Zerlegung der Kovarianzmatrix wird das Problem von einer eingeschränkten Optimierung über Kovarianzmatrizen in eine unbeschränkte Optimierung über reelle Parameter transformiert.
Skalierbarkeit: Dies ermöglicht die Anwendung effizienter gradientenbasierter Methoden (z. B. Adam-Optimierer), die mit der Systemgröße skalieren und für große Systeme (z. B. fMRI, Neuropixel-Daten) praktikabel sind.

Integration in Informationszerlegung (BROJA- $\Phi$ ID)

Die Autoren integrieren $W$ und $M$ in das Framework der Integrated Information Decomposition ( $\Phi$ ID). Sie zeigen, dass $W$ die Summe aller Informationstypen ist, die nur auf Redundanz und einzigartigen Informationen basieren (niederordentlich), während $M$ alle Terme enthält, die Synergie beinhalten (höhere Ordnungen). Dies ermöglicht eine feinkörnige Taxonomie der Informationsdynamik.

3. Wichtige Beiträge

Einführung der M-Information: Ein neues, multivariates informationstheoretisches Maß zur Quantifizierung höherer Ordnungs-Abhängigkeiten.
Effiziente Berechnung: Beweis, dass $W$ (und damit $M$ ) über konvexe Optimierung für gaußsche Verteilungen effizient berechnet werden kann, was eine robuste Skalierung auf große Systeme ermöglicht.
Validierung: Demonstration des Verhaltens an synthetischen Modellen (COPY, Transfer, XOR, VAR-Modelle, Wilson-Cowan-Modelle) und Nachweis der Robustheit gegenüber Rauschen.
Empirische Anwendung: Anwendung auf reale neurophysiologische Daten (ECoG bei Makaken und Neuropixel-LFP bei Mäusen).
Erweiterung des $\Phi$ ID-Frameworks: Bereitstellung einer Methode, um die gesamte Informationsfluss-Taxonomie in dynamischen Systemen aufzulösen.

4. Ergebnisse

Synthetische Daten

Toy-Modelle: Das Maß erkennt korrekt, dass nur das XOR-System höhere Ordnungs-Information (Synergie) enthält, während COPY und Transfer primär niederordentliche Informationen aufweisen.
VAR-Modelle: $M$ ist hoch, wenn Systemelemente stark gekoppelt sind und das Rauschen unkorreliert ist (dynamische Kooperation). $W$ ist hoch bei starker Redundanz (korreliertes Rauschen).
Wilson-Cowan-Modell: $M$ identifiziert den kritischen Regime (sustained periodic oscillations) als Bereich mit maximaler höherer Ordnungs-Information und zeigt Robustheit gegenüber Rauschen.
Vergleich: Im Vergleich zu bestehenden Maßen wie O-Information, OIR und RSI zeigen $W$ und $M$ eine höhere Sensitivität für dynamische Parameter und können zwischen nieder- und höherordentlichen Beiträgen trennen, während andere Maße oft nur das Netto-Gleichgewicht messen.

Empirische Daten (Neurowissenschaften)

Bewusstseinszustände (Makaken): Die Analyse von ECoG-Daten zeigt, dass $M$ während des Wachzustands signifikant höher ist als während des Schlafs oder unter Sedierung (Propofol). Dies korreliert mit dem Grad des Bewusstseins. Wichtig ist, dass $W$ (niederordentliche Abhängigkeiten) sich zwischen den Zuständen kaum ändert; der Unterschied wird also durch die höhere Ordnungs-Information getrieben.
Visuelle Entscheidungsfindung (Mäuse): Bei Mäusen, die eine visuelle Diskriminierungsaufgabe lösen, ist $M$ $M$ bei korrekten Entscheidungen höher als bei falschen oder passiven Versuchen.
- $M$ ist in kortikalen Regionen und zwischen Neokortex und Mittelhirn/Basalganglien bei korrekten Entscheidungen erhöht.
- Interessanterweise zeigt sich kein signifikanter Anstieg in thalamo-visuellen Interaktionen, aber eine erhöhte $M$ innerhalb des visuellen Kortex und des Thalamus, was darauf hindeutet, dass diese Regionen während der Wahrnehmung eher als Ganzes (synergetisch) fungieren.
- Mit der Zeit nimmt $M$ ab, was darauf hindeutet, dass die Aufgabe zunächst durch verteilte makroskopische Verarbeitung gelöst wird, später aber auf niederordentliche Elemente „ausgelagert" wird.

5. Bedeutung und Fazit

Die vorgestellte M-Information ist ein leistungsfähiger Schätzer für höhere Ordnungs-Information, der auf soliden mathematischen und operationellen Grundlagen beruht.

Skalierbarkeit: Durch die Umformulierung als konvexes Optimierungsproblem überwindet die Methode die Skalierbarkeitsgrenzen bestehender Ansätze und macht die Analyse hochdimensionaler komplexer Systeme (wie ganzer Gehirne) praktikabel.
Trennung von Effekten: Sie ermöglicht erstmals eine explizite Trennung von nieder- und höherordentlichen Informationen in dynamischen Systemen, was zu einem tieferen Verständnis von Phänomenen wie Bewusstsein, kritischer Dynamik und kognitiver Leistung führt.
Breite Anwendbarkeit: Die Ergebnisse belegen, dass $M$ nicht nur theoretisch fundiert ist, sondern auch biologisch relevante Phänomene in realen Daten detektieren kann.

Zusammenfassend öffnet diese Arbeit die Tür zu einer neuen Generation von Werkzeugen zur Quantifizierung kollektiver Interaktionen in hochdimensionalen komplexen Systemen, indem sie prinzipielle informationstheoretische Grundlagen mit praktischer Rechenbarkeit verbindet.