Entropy Production Bounds the Accuracy of Computation in Markov Networks

Lebewesen lösen ständig Probleme. Ein Bakterium registriert die Dichte seiner Nachbarn, um zu entscheiden, wann es eine Schwarmbewegung einleitet; ein Blatt passt seine interne Chemie an, um einen plötzlichen Lichtschub zu überstehen; eine Zelle erschließt die Konzentration von Nährstoffen in ihrer Umgebung, um zu wissen, wann sie wachsen kann. In jedem Fall führt ein Netzwerk aus Molekülen eine Berechnung durch, indem es ein sich änderndes Signal aus der Außenwelt in eine nützliche Aktion umwandelt. Dieser Prozess geschieht nicht instantan. Da Informationen durch diese molekularen Netzwerke mit einer endlichen Geschwindigkeit fließen, hinkt der interne Zustand des Systems der sich ändernden Umgebung immer etwas hinterher. Diese Verzögerung erzeugt Fehler und führt dazu, dass der Organismus auf eine vergangene Realität reagiert statt auf die gegenwärtige. Um diese Fehler zu korrigieren und mit einer schwankenden Welt Schritt zu halten, muss das System Energie aufwenden und Wärme an seine Umgebung abgeben.

Seit Jahrzehnten verstehen Wissenschaftler, dass Energie benötigt wird, um Ordnung aufrechtzuerhalten und Arbeit zu verrichten. Eine präzise Regel, die die Kosten dieser Energie mit der Genauigkeit der Berechnung verbindet, blieb jedoch lange Zeit schwer fassbar. Die Forscher Songela W. Chen und David T. Limmer haben nun eine fundamentale thermodynamische Grenze hergeleitet, die beschreibt, wie genau ein stochastisches Netzwerk berechnen kann. Sie zeigen, dass der Fehler, der durch diese unvermeidliche Verzögerung entsteht, strikt durch die Rate begrenzt ist, mit der das System Entropie oder Abwärme produziert, sowie durch ein spezifisches Maß dafür, wie lange das System sich an seine vergangenen Zustände erinnert. Ihre Arbeit offenbart, dass ein Netzwerk, um präzise zu rechnen, entweder eine große Menge an Energie aufwenden oder über ein langanhaltendes Gedächtnis verfügen muss, das in seinen langsamsten internen Bewegungen kodiert ist.

Die Autoren untersuchten reversible Netzwerke – Systeme, bei denen die zugrunde liegenden physikalischen Gesetze Übergänge zwischen Zuständen umkehrbar machen, eine Bedingung, die für viele biologische Prozesse im Gleichgewicht zutrifft. Sie konzentrierten sich darauf, wie diese Netzwerke einen zeitabhängigen Input verfolgen, wie etwa eine steigende Konzentration eines chemischen Signals. Der Gesamtfehler im Output des Netzwerks erwies sich als Ursprung zweier unterschiedlicher Quellen. Die erste ist ein Repräsentationsfehler, der entsteht, wenn das grundlegende Design des Netzwerks schlichtweg nicht in der Lage ist, den Input auf den gewünschten Output abzubilden, selbst wenn es sich im vollkommenen Gleichgewicht befände. Der zweite ist ein Verzögerungsfehler (Lag-Error), der auftritt, weil die Wahrscheinlichkeitsverteilung des Netzwerks Zeit benötigt, um zu relaxieren und sich an die neuen Bedingungen anzupassen. Die Forscher zeigten, dass dieser Verzögerungsfehler die kritische Komponente ist, die durch die Thermodynamik beschränkt wird.

Durch mathematische Analysen und Computersimulationen etablierte das Team, dass das Quadrat des Verzögerungsfehlers den Produkten aus der Entropieproduktionsrate und einer Zeitkonstante, die das Gedächtnis des Systems repräsentiert, nicht übersteigen darf. Diese Gedächtniszeit wird dadurch bestimmt, wie lange die Output-Variable des Netzwerks allein gelassen natürlich fluktuiert. Wenn der Output sich sehr langsam verändert, behält das System Informationen über die Vergangenheit lange bei sich und fungt somit als starkes Gedächtnis. Wenn der Output schnell fluktuiert, ist das Gedächtnis kurz. Die von den Autoren abgeleitete Ungleichung impliziert einen strikten Tradeoff: Um den Fehler beim Verfolgen eines sich ändernden Signals zu reduzieren, muss ein System entweder mehr Energie dissipieren oder sich auf Bewegungsmodi verlassen, die sehr langsam relaxieren und dadurch Informationen über längere Zeit speichern.

Um die Universalität dieses Prinzips zu testen, wandten die Forscher ihren Rahmen sowohl auf künstliche Netzwerke als auch auf Modelle realer biologischer Systeme an. Sie trainierten künstliche Netzwerke mit zehn Zuständen, um spezifische Input-Signale zu verfolgen, einschließlich Aufgaben, die kein Gedächtnis erforderten, sowie solcher, die erforderten, dass das System vergangene Inputs erinnerte, um den korrekten aktuellen Output zu generieren. In den gedächtnisabhängigen Aufgaben nutzte das Netzwerk seine eigenen langsamen Relaxationsdynamiken, um Informationen zu speichern, wobei es die Verzögerung effektiv als eine computergestützte Ressource einsetzte. In diesen Fällen blieb der Fehler unterhalb der vorhergesagten thermodynamischen Grenze, und die Grenze wurde am engsten, wenn die Energiedissipation auf die spezifischen langsamen Moden ausgerichtet war, die die relevanten Informationen trugen.

Die Studie untersuchte anschließend vier verschiedene Modelle der biologischen Informationsverarbeitung: einen ligandengesteuerten Ionenkanal, der als Reaktion auf ein chemisches Signal öffnet, einen genetischen Schalter, bekannt als Lac-Repressor, der die Genexpression steuert, ein bakterielles Quorum-Sensing-System, das das Gruppenverhalten koordiniert, und einen Photoprotektionsmechanismus in Pflanzen, der überschüssige Lichtenergie dissipiert. In jedem Fall simulierten die Forscher das System als Reaktion auf zufällige, zeitlich variierende Inputs, die reale Umweltschwankungen nachahmten. Sie berechneten den tatsächlichen Tracking-Fehler und verglichen ihn mit dem theoretischen Limit, das sich aus der Entropieproduktion und der Gedächtniszeit des Systems ergab. In allen Modellen, ungeachtet ihrer Komplexität oder biologischen Funktion, überschritt der Verzögerungsfehler die thermodynamische Grenze nie.

Die Ergebnisse verdeutlichen, dass nicht alle Energieaufwendungen gleichermaßen nützlich für die Berechnung sind. Systeme, die Energie in Richtungen dissipieren, die nicht mit dem zu berechnenden Output zusammenhängen, verbessern ihre Genauigkeit nicht. Nur die Dissipation, die auf die langsamen, output-relevanten Moden des Netzwerks projiziert wird, trägt effektiv zur Reduzierung des Fehlers bei. Dieser Befund legt nahe, dass biologische Netzwerke dazu evolviert sind, ihren Energieverbrauch in spezifische Pfade zu kanalisieren, die ihre Fähigkeit verbessern, sich an die Vergangenheit zu erinnern und auf sie zu reagieren. Die Arbeit bietet einen quantitativen Rahmen für das Verständnis der energetischen Kosten biologischer Berechnungen und zeigt, dass Genauigkeit nicht kostenlos ist, sondern entweder durch das kontinuierliche Verbrennen von Brennstoff oder die Aufrechterhaltung eines langlebigen Gedächtnisses erkauft wird.

Die Forscher bestätigten, dass ihre theoretische Grenze auch dann gilt, wenn die Systeme weit weg vom Gleichgewicht getrieben werden, wenngleich die Beziehung am präzisesten ist, wenn das System nahe an seinem stationären Zustand bleibt. In Simulationen des bakteriellen Quorum-Sensing-Modells und des pflanzlichen Photoprotektionssystems blieb die quadratische Approximation der Grenze ein zuverlässiger Prädiktor für den Fehler, selbst wenn die Input-Signale abrupt änderten. Die Studie kommt zu dem Schluss, dass die Fähigkeit eines stochastischen Netzwerks, eine genaue dynamische Berechnung durchzuführen, fundamental durch das Zusammenspiel zwischen der Menge der Dissipation und der Dauer des Gedächtnisses begrenzt ist. Dieses Prinzip bietet eine neue Perspektive für das Verständnis des Designs lebender Systeme und der potenziellen Grenzen synthetischer chemischer Schaltkreise, die darauf ausgelegt sind, diese nachzuahmen.