Optimal Control of Chemical Reaction Networks with Thermodynamic Cost

Thermodynamica is de wetenschap van energie, warmte en hoe systemen in de loop van de tijd veranderen. Eeuwenlang heeft het ons geleerd dat de natuur een prijs heeft voor elke actie: telkens wanneer we proberen iets te bewegen of een systeem te veranderen, verspillen we onvermijdelijk wat energie als warmte. Deze verspilling wordt entropieproductie genoemd. In het verleden richtten wetenschappers zich voornamelijk op langzame, zachte veranderingen waarbij deze verspilling met eenvoudige regels kon worden voorspeld. De echte wereld is echter vaak snel en verre van kalm. Moderne biologie en techniek hebben het nu over systemen die voortdurend druk zijn, zoals de chemische netwerken binnen een levende cel die voedsel omzetten in beweging of signalen. Deze systemen opereren ver van evenwicht, en het is een moeilijke puzzel geweest om te bepalen hoe men deze efficiënt kan aansturen—het verkrijgen van zoveel mogelijk werk met de minste verspilde energie. De uitdaging is niet alleen om een systeem van punt A naar punt B te bewegen, maar om dit te doen terwijl men ook specifieke chemische reacties maximaliseert of het systeem stabiel houdt in een gewenste staat, en dat alles terwijl de thermodynamische kosten worden geminimaliseerd.

Een team onderzoekers heeft nu een nieuw wiskundig kader gebouwd om dit probleem op te lossen. Ze richtten zich op chemische reactienetwerken, collecties moleculen die in elkaar transformeren, en de gerelateerde processen van Markov-sprongprocessen, die beschrijven hoe systemen tussen verschillende toestanden springen. In plaats van hun studie te beperken tot langzame bewegingen of eenvoudig transport, ontwikkelden ze een theorie die werkt voor snelle, complexe operaties. Hun doel was om de beste manier te vinden om deze systemen te besturen. Ze definieerden een "kostenpost" op basis van hoeveel entropie er wordt geproduceerd, wat staat voor de energie die verloren gaat als warmte. Ze voegden ook "beloningen" toe voor het bereiken van specifieke doelen, zoals het bereiken van een bepaalde staat, het handhaven van een hoge stroom van reacties, of het blijven binnen een veilige regio. Door deze beloningen af te wegen tegen de kosten, vroegen ze zich af: wat is de perfecte strategie om het meeste uit het systeem te halen?

De onderzoekers ontdekten dat de optimale manier om deze systemen aan te sturen een zeer specifiek patroon volgt. Ze ontdekten dat het beste pad geen willekeurige wandeling of een simpele rechte lijn is, maar een stroom die wordt geleid door een "waalfunctie" (value function). Je kunt deze waalfunctie zien als een kaart die het systeem vertelt hoe wenselijk elke mogbare staat op elk moment is. Het systeem beweegt vervolgens door de steilste helling van deze kaart te volgen, maar met een twist: de beweging wordt gevormd door de fysieke wetten van de chemische reacties zelf. Dit creëert een "geperturbueerde gegeneraliseerde gradiëntstroom", een chique manier om te zeggen dat het systeem natuurlijk een heuvel van wenselijkheid af beweegt, maar dat de vorm van de heuvel wordt vervormd door de specifieke regels van de chemie. Deze structuur is niet willekeurig; het weerspiegelt de fundamentele manier waarop chemische reacties in de natuur zich gedragen, waardoor de besturingsstrategie direct verbonden is met de fysica van het systeem.

Om dit werkend te krijgen, moesten het team een grote wiskundige hindernis overwinnen. De kosten van het bewegen van een systeem zijn geen eenvoudige curve; het is complex en heeft een "plat" punt waar veel verschillende manieren van bewegen hetzelfde lijken te kosten. Dit maakte het onmogelijk om een enkel beste antwoord te vinden met standaardmethoden. De onderzoekers losten dit op door een slimme wiskundige truc te gebruiken met "gegeneraliseerde gemiddelden", wat manieren zijn om getallen te middelen die kunnen worden afgestemd op verschillende fysieke situaties. Hierdoor konden ze de platte punten scheiden van de werkelijke kosten, waardoor het probleem veranderde in een probleem dat wel opgelost kon worden. Ze toonden aan dat de relatie tussen de kracht die de reactie aandrijft en de snelheid van de reactie wordt beheerst door een specifieke geometrische vorm, die ze beschreven met een "dissipatiefunctie". Deze functie werkt als een wrijvingsmetriek, die het systeem vertelt hoe moeilijk het is om in een bepaalde richting te bewegen.

Het artikel biedt ook een tweede, complementaire manier om naar het probleem te kijken, met een benadering die vergelijkbaar is met die in de klassieke mechanica. In plaats van te kijken naar de globale kaart van wenselijkheid, richt deze methode zich op de lokale krachten die op elk instant moment op het systeem inwerken. De onderzoekers hebben een nieuwe reeks vergelijkingen afgeleid die beschrijven hoe de "thermodynamische krachten" in de loop van de tijd veranderen om het systeem op het optimale pad te houden. Deze vergelijkingen onthullen dat de optimale kracht niet alleen de kracht is die nodig is om het systeem te bewegen, maar een combinatie van die kracht en een extra "pseudokracht" die voortkomt uit de wens om de reactiefluxen te maximaliseren. Dit dubbele perspectief bevestigt dat hun oplossing robuust is en hun nieuwe theorie verbindt met oudere ideeën over optimaal transport, dat gaat over het verplaatsen van massa van de ene plek naar de andere met minimale inspanning.

De onderzoekers testten hun theorie door specifieke gevallen op te lossen waarbij de regels constant waren, zoals wanneer het activiteitsniveau van het systeem vaststaat of wanneer er een strikte limiet is op het totale beschikbare energiebudget. In deze scenario's vonden ze exacte oplossingen die twee voorheen gescheiden problemen verenigen: het bewegen van een systeem van één staat naar een andere, en het maximaliseren van de stroom van reacties in een stationaire toestand. Ze toonden aan dat als je een systeem binnen een bepaalde tijd van begin naar eind wilt bewegen, de beste strategie is om een constante kracht toe te passen die het systeem met een constante snelheid laat bewegen. Als je de stroom van reacties wilt maximaliseren zonder de algehele staat van het systeem te veranderen, is de oplossing het vinden van een evenwicht waarbij de stroom zo hoog mogelijk is voor de minste kosten. Deze resultaten zijn niet alleen theoretisch; ze bieden een concreet blauwdruk voor hoe men betere biologische machines of efficiëntere chemische processen kan ontwerpen.

Dit werk legt een solide fundament voor het aansturen van complexe systemen ver van evenwicht. Het gaat verder dan de oude beperkingen van langzame sturing en eenvoudig transport, en biedt een manier om systemen te optimaliseren die druk, snel en voortdurend veranderend zijn. Door de besturing van deze systemen te koppelen aan hun onderliggende thermodynamische en geometrische structuren, hebben de onderzoekers de deur geopend naar het optimaliseren van biologische processen en eindige-tijd operaties op manieren die voorheen onmogelijk te berekenen waren. Hun theorie suggereert dat de eigen regels van de natuur voor hoe chemicaliën reageren, kunnen worden ingezet om de meest efficiënte paden te vinden voor elke gewenste functie, of het nu gaat om het leiden van een molecuul naar een specifieke locatie of het aandrijven van een reactie om een maximale hoeveelheid energie te produceren.