ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

Stellen Sie sich vor, Sie versuchen herauszufinden, wie viel eine geheime Nachricht zwischen zwei Personen, Alice und Bob, ausgetauscht wird, die über ein sehr verrauschtes Walkie-Talkie miteinander sprechen. In der Welt der Wissenschaft nennt man das „Informationsübertragung“. Ob es sich um Neuronen handelt, die Signale im Gehirn feuern, einen Aktienmarkt, der auf Nachrichten reagiert, oder eine Zelle, die ihre Umgebung wahrnimmt: Wissenschaftler wollen wissen: Wie schnell und wie klar kommt die Geschichte durch? Die Standardmethode, um dies zu messen, ist die sogenannte „Informationsrate“. Es ist so, als würde man zählen, wie viele einzigartige Wörter Alice pro Sekunde sagt, die Bob tatsächlich versteht, wobei das Rauschen und die Missverständnisse ignoriert werden.

Das Problem ist, dass reale Signale keine einfachen Wörter sind; sie sind komplexe, sich windende Pfade von Daten, die sich jede Millisekunde ändern. Die Berechnung der Informationsrate für diese chaotischen, hochdimensionalen Pfade ist wie der Versuch, jedes einzelne Sandkorn an einem Strand zu zählen, während ein Hurrikan tobt. Traditionelle mathematische Methoden brechen oft zusammen, weil die Daten zu kompliziert sind, und sie raten entweder zu viel oder bleiben im Rauschen stecken. Wissenschaftler haben nach einem Weg gesucht, diese „Informationsrate“ direkt aus den Daten selbst zu messen, ohne die genauen Regeln des Spiels im Voraus kennen zu müssen.

Hier kommt eine neue Methode namens ML-PWS ins Spiel, die von den Forschern Manuel Reinhardt, Gašper Tkačik und Pieter Rein ten Wolde entwickelt wurde. Betrachten Sie deren Ansatz als einen klugen zweistufigen Zaubertrick. Zuerst verwenden sie ein „generatives Modell“ – eine Art künstliche Intelligenz, die wie ein superintelligenter Schüler fungiert –, um die chaotischen Daten zu studieren und zu lernen, wie das System sich verhält. Es ist, als würde der Schüler stundenlang beobachten, wie Alice und Bob miteinander sprechen, und dann eine perfekte Simulation ihres Gesprächsstils erstellen. Aber hier ist der Clou: Nur eine Simulation zu haben, reicht nicht aus, um eine präzise Zahl zu erhalten.

Dort tritt der zweite Schritt, die Path Weight Sampling (PWS), auf die Bühne. Stellen Sie sich vor, der KI-Schüler hat eine Karte aller möglichen Gespräche erstellt. PWS ist eine rigorose mathematische Technik, die diesen Pfaden auf der Karte folgt und jeden möglichen Pfad prüft, den das Gespräch hätte nehmen können, um zu sehen, wie wahrscheinlich er ist. Durch die Kombination der gelernten „Karte“ der KI mit diesem sorgfältigen mathematischen Gang kann die Forschung die Informationsrate berechnen. In einfacher Sprache bedeutet das, dass sie mit absoluter Gewissheit sagen können: „Die Information fließt mit mindestens dieser Geschwindigkeit.“ Sie haben bewiesen, dass dies funktioniert, indem sie es an fiktiven Daten testeten, bei denen sie die exakte Antwort bereits kannten; ihre Methode traf das Ziel perfekt, während andere populäre Methoden entweder zu niedrig schätzten oder das Ergebnis falsch wiedergaben. Sie wendeten es sogar auf reale Daten von Salamander-Neuronen an und zeigten, dass dieses neue Werkzeug messen kann, wie viel Information eine Gruppe von Gehirnzellen tatsächlich teilt, wobei es enthüllte, dass Zellen, wenn sie zusammenarbeiten, sich manchmal wiederholen, was die gesamte Informationsgeschwindigkeit senkt.

Der Kern der Idee: Die Regeln lernen, um die Geheimnisse zu zählen

Die Arbeit befasst sich mit einem schwierigen Problem: Wie misst man, wie viel Information durch ein System fließt, wenn man die zugrunde liegenden Regeln nicht kennt? Normalerweise muss man zur Berechnung der „Informationsrate“ die exakte Wahrscheinlichkeit für jedes mögliche Ergebnis kennen. Wenn man ein mathematisches Modell des Systems besitzt (wie etwa einen Satz von Gleichungen, die beschreiben, wie ein Neuron feuert), kann man eine Technik namens Path Weight Sampling (PWS) verwenden, um eine exakte Antwort zu erhalten. Es ist, als hätte man das Regelbuch für ein Brettspiel; man kann die Gewinnchancen perfekt berechnen.

Aber in der realen Welt besitzen wir das Regelbuch selten. Wir haben nur die „Zeitreihendaten“ – eine Aufzeichnung dessen, was passiert ist. Wir sehen den Input (den Stimulus) und den Output (die Reaktion), aber wir kennen die verborgene Mathematik, die sie verbindet, nicht. Frühere Methoden versuchten, die Regeln durch Annäherungen zu erraten (wie die Annahme, dass alles eine einfache Glockenkurve ist) oder nutzten andere Machine-Learning-Tricks, die oft unzuverlässige Ergebnisse lieferten, indem sie die Information entweder unterschätzten oder bei zu komplexen Daten völlig versagten.

Die Autoren schlagen ML-PWS vor, eine Hybridmethode, die das Beste aus zwei Welten kombiniert.

1. Der Detektiv (Maschinelles Lernen): Zuerst speisen sie die experimentellen Zeitreihendaten in ein neuronales Netzwerk ein. Dieses Netzwerk wird darauf trainiert, ein „generatives Modell“ zu sein. Es memoriert nicht nur die Daten; es lernt die bedingte Wahrscheinlichkeit. In unserer Walkie-Talkie-Analogie lernt es: „Wenn Alice diese spezifische Phrase sagt, wie hoch ist die Wahrscheinlichkeit, dass Bob jene spezifische Phrase hört?“ Das Netzwerk lernt, den Output basierend auf der gesamten Historie des Inputs und der vorherigen Outputs vorherzusagen. Es ist, als würde die KI den „Stil“ des Gesprächs so gut lernen, dass sie das nächste Wort mit hoher Genauigkeit vorhersagen kann.
2. Der Richter (Path Weight Sampling): Sobald die KI diesen Stil gelernt hat, hören die Forscher nicht einfach auf. Sie nutzen die Vorhersagen der KI als das „Regelbuch“ für die PWS-Technik. Da die KI die bedingte Wahrscheinlichkeit (die Wahrscheinlichkeit eines Outputs gegeben einen Input) gelernt hat, kann die PWS-Methode nun über die Inputs „marginalisieren“. Das ist eine fachsprachliche Art zu sagen, dass sie die Gesamtwahrscheinlichkeit des Auftretens des Outputs berechnen können, unabhängig davon, was der Input war, indem sie alle Möglichkeiten aufsummieren, die die KI vorhergesagt hat.

Warum das eine große Sache ist: Die „Lower Bound“-Garantie

Der spannendste Teil dieser Arbeit ist die Garantie. Viele Machine-Learning-Methoden zur Messung von Information sind „Black Boxes“. Man führt sie aus, und sie liefern eine Zahl, aber man weiß nicht, ob diese Zahl zu hoch, zu niedrig oder nur glücklich ist.

Die Autoren beweisen mathematisch, dass ihre Methode eine rigoröse untere Schranke (rigorous lower bound) liefert. Das bedeutet, dass die Zahl, die sie berechnen, immer kleiner oder gleich der wahren Informationsrate ist. Sie mag etwas konservativ sein (die Wahrheit unterschätzen), aber sie wird niemals lügen und behaupten, dass mehr Information vorhanden ist, als tatsächlich da ist. Dies ist entscheidend für die Wissenschaft, da es Forschern einen sicheren, zuverlässigen Boden bietet. Wenn sie sagen: „Die Informationsrate beträgt mindestens 5 Bits pro Sekunde“, dann wissen sie mit Sicherheit, dass sie nicht null ist.

Sie testeten dies an drei verschiedenen synthetischen Systemen (fiktive Daten, die von bekannten mathematischen Modellen generiert wurden), bei denen sie die „Ground Truth“ (die wahre Antwort) kannten.

• Der Test: Sie verglichen ML-PWS mit anderen populären Methoden wie der Gaußschen Approximation (die davon ausgeht, dass alles eine einfache Kurve ist), DoE (Difference of Entropies) und variativen Schätzern wie MINE und InfoNCE.
• Das Ergebnis: In fast allen Fällen war ML-PWS am genauesten. Es blieb unglaublich nah an der Ground Truth.
  • Die Gaußsche Approximation versagte, wenn das System nicht-linear war (wenn die Beziehung zwischen Input und Output keine gerade Linie war).
  • Variative Schätzer (wie MINE und InfoNCE) stießen an eine „Decke“. Sie konnten hohe Informationsraten nicht messen, weil ihre Mathematik stecken bleibt, wenn die Daten zu komplex werden oder die Trajektorien zu lang werden. Sie gaben im Grunde auf und sagten: „Es ist höchstens so viel“, selbst wenn es tatsächlich viel höher war.
  • DoE überschätzte manchmal die Information, lieferte also eine zu hohe und damit unzuverlässige Zahl.

Reale Anwendung: Das Lauschen auf Neuronen

Um zu zeigen, dass dies nicht nur ein Experiment mit Spielzeugdaten ist, wandten die Autoren ML-PWS auf reale biologische Daten an: Aufzeichnungen von 50 retinalen Ganglienzellen im Auge eines Salamanders. Diese Zellen beobachteten einen Balken, der sich auf und ab bewegte.

• Das Setup: Sie trainierten ein neuronales Netzwerk, um die Feuermuster dieser Neuronen basierend auf der Bewegung des Balkens vorherzusagen.
• Die Erkenntnis: Sie berechneten die Informationsrate für einzelne Neuronen und für die gesamte Gruppe, die zusammenarbeitet.
• Die Überraschung: Als sie die Gruppe betrachteten, fanden sie heraus, dass die gesamte Informationsrate niedriger war als die Summe der individuellen Raten. Dies liegt daran, dass die Neuronen „redundant“ waren – sie sagten alle dasselbe. Die Gruppe fügte keine neuen Informationen hinzu; sie wiederholte sie nur.
• Kanalkapazität: Sie nutzten das Modell auch, um die Frage zu beantworten: „Welche Art von bewegendem Balken würde die meiste Information tragen?“ Durch die Optimierung des Inputs (der Bewegung des Balkens) fanden sie ein spezifisches Muster, das deutlich mehr Information tragen könnte als das im Experiment verwendete. Dies deutet darauf hin, dass das visuelle System des Salamanders viel effizienter sein könnte, wenn sich die Welt auf eine andere Weise bewegen würde.

Das Fazenzit

In dieser Arbeit geht es nicht nur darum, eine neue Art des Ratens anzubieten; es ist eine neue Art des Wissens. Indem sie einer Maschine beibringen, die Regeln eines Systems zu lernen, und dann rigorose Mathematik verwenden, um die Information basierend auf diesen gelernten Regeln zu zählen, haben die Autoren ein Werkzeug geschaffen, das sowohl leistungsstark als auch ehrlich ist. Es gibt zu, wenn es nicht alles weiß (indem es eine untere Schranke liefert), garantiert aber gleichzeitig, dass das, was es weiß, solide ist. Für jeden, der verstehen möchte, wie Information durch komplexe Systeme fließt – von Gehirnen über Aktienmärkte bis hin zu technischen Geräten – bietet diese Methode einen zuverlässigen Kompass in einem Meer aus Daten.