A framework for the use of generative modelling in non-equilibrium statistical mechanics

Dit artikel stelt een raamwerk voor voor het modelleren van niet-evenwichtige en zelforganiserende systemen met behulp van generatieve modellen en het principe van vrije variatie, wat een hanteerbare, parsimonieuze verklaring biedt voor systeemdynamiek als een vorm van variationele inferentie zonder dat het systeem letterlijk inferentie hoeft uit te voeren.

De kern

Het Grote Plaatje: Het "Als Of"-spel

Stel je voor dat je naar een zwerm vogels kijkt die door de lucht cirkelt. Voor een wetenschapper zijn deze vogels gewoon fysieke objecten die bewegen volgens de wind, zwaartekracht en spierkracht. Maar dit artikel suggereert een andere manier om naar hen te kijken.

De auteurs stellen dat we deze vogels kunnen beschrijven alsof ze wiskunde bedrijven. Specifiek kunnen we doen alsof ze constant raden waar ze zouden moeten zijn en hun vlucht aanpassen om hun gissingen in overeenstemming te brengen met de werkelijkheid. Ze zitten niet echt in de lucht wiskunde te bedrijven; ze zijn gewoon fysieke objecten. Maar hen beschrijven alsof ze aan het raden zijn, maakt het voor ons (de wetenschappers) veel gemakkelijker om te begrijpen en te voorspellen hoe ze bewegen.

Het artikel noemt dit het Free Energy Principle (FEP). Dit is een hulpmiddel waarmee we complexe, chaotische systemen (zoals cellen, hersenen of zelfs het weer) kunnen modelleren door te doen alsof ze proberen "verrassing" te minimaliseren.

Het Kernconcept: De "Markov Blanket" (De Onzichtbare Muur)

Om te begrijpen hoe dit werkt, stel je een huis voor met een heel speciale muur.

• Binnen in het huis: De "Interne Toestanden" (het gezin dat daar woont).
• Buiten het huis: De "Externe Toestanden" (het weer, de buren, de wereld).
• De Muur: De "Markov Blanket". Dit is de grens (zoals zintuigen of de huid) die de binnenkant van de buitenkant scheidt.

De muur heeft twee soorten ramen:

1. Sensorische Vensters: Je kunt naar buiten kijken, maar je kunt de buitenwereld niet direct aanraken.
2. Actieve Deuren: Je kunt tegen de buitenkant duwen (zoals een raam openzetten om lucht binnen te laten), maar je kunt er niet doorheen kijken.

Het artikel beweert dat als een systeem een dergelijke muur heeft, het van nature de neiging heeft om in een staat te blijven waarin het niet "verrast" wordt door wat er door de sensorische vensters binnenkomt. Als een vis in het water is, verwacht hij nat te voelen. Als hij plotseling droog voelt (hoge verrassing), is hij in de problemen. Het systeem beweegt van nature om in de "natte" zone te blijven.

De Magische Truc: "Surprisal" en "Free Energy"

De auteurs introduceren twee kernideeën:

1. Surprisal (Verrassing): Hoe geschokt een systeem is door zijn huidige situatie. Als je een vis bent en je bent in het water, is je surprisal laag. Als je op land bent, is je surprisal hoog.
2. Variational Free Energy (Variationele Vrije Energie): Dit is een wiskundige "bovengrens" op surprisal. Denk aan een scorekaart.
   • Het systeem weet niet de exacte score van zijn surprisal (omdat het de hele wereld niet kan zien).
   • In plaats daarvan gebruikt het een "beste gok"-model om een scorekaart te berekenen die Free Energy heet.
   • Het artikel stelt dat fysieke systemen van nature naar het minimaliseren van deze scorekaart streven.

De Analogie: Stel je voor dat je een videogame speelt waarbij je de hele kaart niet kunt zien. Je ziet alleen een kleine cirkel rond je personage. Je wilt voorkomen dat je van een klif valt (verrassing). Je weet niet precies waar de kliffen zijn, maar je hebt een "onderbuikgevoel" (een generatief model) over waar ze zouden kunnen zijn. Je beweegt om het risico op het vallen van een klif te minimaliseren, gebaseerd op je onderbuikgevoel. Het artikel zegt dat fysieke objecten dit automatisch doen, niet omdat ze nadenken, maar door de manier waarop ze zijn gebouwd.

Het onderscheid tussen "Kaart vs. Gebied"

Dit is het belangrijkste filosofische punt van het artikel.

• Het Gebied (The Territory): De echte wereld (de echte vis, de echte cellen, de echte fysica).
• De Kaart (The Map): Het wiskundige model van de wetenschapper.

Critici zeggen vaak: "Wacht eens even! Je zegt dat de vis een kaart in zijn hoofd heeft. Dat klopt niet! De vis is gewoon een vis."

De auteurs zeggen: "Nee, dat zeggen we niet."

Zij beargumenteren dat de Kaart (onze wsmatische model) slechts een hulpmiddel is dat we gebruiken om het Gebied te beschrijven.

• We kunnen een kaart schrijven die zegt: "De vis gedraagt zich alsof hij probeert in het water te blijven."
• Dit betekent niet dat de vis daadwerkelijk denkt: "Ik moet nat blijven."
• Het betekent alleen dat als we de vis beschrijven met deze "alsof"-logica, de wiskunde perfect werkt.

Het artikel noemt dit een "deflationaire" visie. We geven de vis geen brein of ziel; we gebruiken alleen een slimme wiskundige truc (variationele inferentie) om zijn beweging te beschrijven. De "inferentie" vindt plaats in ons model, en niet noodzakelijkerwijs in de vis.

De Voorbeelden: Hoe het in de praktijk werkt

Het artikel test dit idee met twee computersimulaties:

1. Cellulaire Morfogenese (Het bouwen van een lichaam):

   • Stel je een groep identieke, ongedifferentieerde cellen voor.
   • De wetenschappers geven ze een "doel" (een kaart van hoe een hoofd, lichaam en staart eruit zouden moeten zien).
   • De cellen hebben geen blauwdruk. In plaats daarvan gebruiken ze de "Free Energy"-regel. Ze bewegen en veranderen hun chemische signalen om te voldoen aan de "verrassing" van niet op de juiste plek zijn.
   • Resultaat: De cellen organiseren zichzelf spontaan tot een hoofd, lichaam en staart, simpelweg door te proberen hun "verrassing" over waar ze zich bevinden te minimaliseren.

2. Periodiek vurende cellen (Een ritme):

   • Stel je een ring van cellen voor die in een specifiek ritme moeten vuren (zoals een hartslag).
   • De wetenschappers stellen een "doelgolf" in (een sinusgolf).
   • De cellen passen hun vuren aan om deze golf te matchen, waarbij ze de fout minimaliseren tussen wat ze voelen en wat ze "verwachten" te voelen.
   • Resultaat: De cellen vergrendelen zich in een perfect, stabiel ritme, waarbij ze zich gedragen alsof ze de toekomstige slagen voorspellen.

De Conclusie: Een Kaart van Kaarten

Het artikel eindigt met een slimme wending.

Als het "Gebied" de echte wereld is, en de "Kaart" ons wetenschappelijke model is...

• Dan is het Free Energy Principle een Kaart van Kaarten.

Het is een regel die ons vertelt: "Elk fysiek systeem dat bestaat en stabiel blijft, zal vanuit het perspectief van een waarnemer lijken alsof het probeert de verrassing te minimaliseren."

Het maakt niet uit of het systeem een rots, een cel of een menselijk brein is. Als het een grens heeft (een Markov-blanket) en stabiel blijft, kunnen we het beschrijven met deze "alsof"-logica. Het artikel beweert niet dat de rots bewust is; het beweert dat onze beste manier om de rots te begrijpen, is door haar te behandelen alsof ze een model van haar eigen omgeving is.

Samenvatting in één zin

Dit artikel stelt een wiskundig kader voor waarin we elk stabiel fysiek systeem (zoals een cel of een machine) kunnen beschrijven alsof het constant zijn eigen toestand raadt en corrigeert om "verrassing" te vermijden, niet omdat het systeem daadwerkelijk nadenkt, maar omdat deze "alsof"-beschrijving de krachtigste en meest nauwkeurige manier is voor wetenschappers om te modelleren hoe de wereld werkt.

Technische samenvatting

Technische Samenvatting: Een Raamwerk voor het Gebruik van Generatieve Modellering in de Niet-Evenwichtistische Statistische Mechanica

Probleemstelling
Het artikel behandelt de uitdaging om open, niet-evenwichtistische systemen te modelleren die bestaan uit gekoppelde objecten (bijv. deeltjes, cellen of populaties). Traditionele benaderingen vertrouwen vaak op het expliciet definiëren van stochastische dynamische systemen, wat onhandelbaar kan zijn en moeilijk te interpreteren is met betrekking tot de vraag waarom een gezamenlijk systeem op een specifieke wijze evolueert. De auteurs zoeken naar een raamwerk dat een parsimonieuze verklaring biedt voor de dynamica van interagerende systemen op basis van de eigenschappen van hun koppeling, zonder noodzakelijkerwijs vooronder te stellen dat de fysieke objecten zelf letterlijke inferentie uitvoeren. Een centrale filosofische en technische hindernis die wordt geadresseerd, is de potentiële "map-territory fallacy" (kaart-territorium-dwaling)—de beschuldiging dat FEP-modellering (Free Energy Principle) de wetenschappelijke modellen (de kaart) verward met het fysieke systeem zelf (het territorium), door inferentiële processen onterecht te herifiëren als letterlijke kenmerken van het object.

Methodologie
De auteurs stellen een raamwerk voor dat gebaseerd is op het Variational Free Energy Principle (FEP), waarbij generatieve modellen worden gebruikt om de afhankelijkheidsrelaties tussen de toestanden (of trajecten) van gekoppelde systemen te representeren. De methodologie verloopt via de volgende stappen:

1. Markov Blanket Partitionering: Het systeem wordt gepartitioneerd in interne toestanden ($\mu$), externe toestanden ($\eta$) en een Markov blanket ($b$) bestaande uit sensorische en actieve toestanden. Deze partitionering vestigt conditionele onafhankelijkheid tussen de interne en externe toestanden gegeven de blanket.
2. Generatieve Modellering: Een gezamenlijke waarschijnlijkheidsverdeling $p(\eta, b, \mu)$ wordt gedefinieerd als een generatief model. Dit model codeert de statistische afhankelijkheden van het systeem.
3. Variational Inference als Dynamica: De auteurs demonstreren dat indien een systeem een niet-evenwichtistische stationaire toestand (NESS) dichtheid bezit, de dynamica kan worden uitgedrukt als een gradiëntstroom op de variational free energy ($F$).
   • Zij maken gebruik van de decompositie van stochastische differentiaalvergelijkingen (SDE's) in een solenoidale (scheef-symmetrische) component en een dissipatieve (positief semi-definite) component.
   • Onder de aanname dat het systeem gemiddeld de surprisal (negatieve log-waarschijnlijkheid) minimaliseert, en dat de Kullback-Leibler divergentie tussen een variationele dichtheid $q$ en de ware posterior verdwijnt, wordt aangetoond dat de dynamica van de interne toestanden een gradiëntstroom volgt op $F$.
   • Cruciaal is dat $F$ dient als een Lyapunov-functie voor de dynamica van het systeem, wat stabiliteit garandeert en een hanteerbare bovengrens biedt aan de surprisal.
4. Onderscheid van Modellen: Het raamwerk maakt een rigoureus onderscheid tussen:
   • Het Generatieve Model: Het wetenschappelijke model geconstrueerd door de observeerder (de "kaart").
   • De Variational Density: De waarschijnlijkheidsverdeling over externe toestanden, geparametriseerd door de interne toestanden van het systeem.
   • Het Fysieke Systeem: Het feitelijke object (het "territorium").

Kernbijdragen en Resultaten

• Formele Tractabiliteit: Het artikel stelt vast dat telkens wanneer een systeem een Markov blanket bezit en een decompositie van zijn dynamica heeft in solenoidale en dissipatieve stromen (zoals in Eq. 2.1.1), het gedrag wiskundig kan worden geherformuleerd als het minimaliseren van de variational free energy. Dit maakt het mogelijk om complexe, niet-lineaire koppelingsdynamica te beschrijven via de meer hanteerbare wiskunde van statistische inferentie en gradiëntstromen.
• Empirische Illustraties (Toy Models): De auteurs presenteren twee simulaties om de constructieve toepassing van de FEP te demonstreren:
  1. Cellulaire Morfogenese: Een simulatie van acht ongedifferentieerde cellen die migreren en differentiëren om een doelmorfologie (kop, lichaam, staart) te vormen. Door cellen uit te rusten met een generatief model dat locaties en signaalprofielen voorspelt, zelforganiseert het systeem zich. De actieve toestanden van de cellen (positie en signalering) minimaliseren de vrije energie, waardoor ze effectief hun unieke identiteit en positie binnen het ensemble "infereren".
  2. Periodiek Vurende Cellen: Een ring van gap-junction-gekoppelde exciteerbare cellen met een generatief model dat een periodieke doelgolf codeert. De interne toestanden infereren de fase van de cyclus, terwijl de actieve toestanden (ionkanaal-gating) voorspellingsfouten minimaliseren. Het systeem convergeert naar een limietcyclus (een stabiele circulerende baan) in plaats van een vast punt, wat aantoont dat FEP-dynamica oscillerende zelforganisatie kan beschrijven.
• Resolutie van de Map-Territory Fallacy: Het artikel betoogt dat de FEP de map-territory fallacy niet begaat. De bewering dat een systeem "inferentie uitvoert" is een 'als of'-beschrijving geleverd door het generatieve model van de observeerder. Het systeem zelf hoeft niet letterlijk gradiënten te berekenen of Bayesiaanse updates uit te voeren; de fysieke dynamica van het systeem is wiskundig equivalent aan een dergelijk proces. De "inferentie" is een eigenschap van het model, niet noodzakelijkerwijs een letterlijk mechanisme binnen het systeem.

Betekenis en Claims
De auteurs positioneren dit werk als een terugkeer naar de fundamentele principes van de FEP, waarbij de nadruk ligt op de rol ervan als een constructief raamwerk in plaats van een universele empirische wet.

• Bescheiden Omvang: Het artikel stelt expliciet dat de verstrekte voorbeelden "uitgewerkte voorbeelden" zijn van een constructief gebruik van de FEP, en geen onafhankelijke empirische validaties van de universaliteit ervan. De voorbeelden zijn ontworpen om de nodige decompositie (Markov blanket, specifieke $Q$- en $\Gamma$-velden) te bezitten om te illustreren hoe het formalisme werkt wanneer de vereiste voorwaarden aanwezig zijn.
• Een "Kaart van Kaarten": De centrale filosofische claim is dat de FEP "een kaart biedt van dat deel van het territorium dat zich gedraagt alsof het een kaart is." Het biedt een reeks ultieme verklarende beperkingen voor wat een model van een fysiek proces vormt. Door het generatieve model te behandelen als een wetenschappelijk instrument om te beschrijven hoe subsystemen elkaar volgen, staat de FEP toe dat geneste modellen worden geconstrueerd die bekende relaties respecteren zonder de inferentiële aspecten van het model te herifiëren als letterlijke kenmerken van het fysieke object.
• Filosofische Afstemming: Het raamwerk sluit aan bij de sentimenten van Wittgenstein en Jaynes, suggerend dat statistische mechanica en modellering processen zijn van het begrijpelijk maken van sensorische stromen en microtoestanden gegeven macroscopische beperkingen. De FEP wordt gepresenteerd als een geprincipeerde benadering om de relatie tussen een fysiek systeem en de modellen die het beschrijven te formaliseren, waarbij wordt verduidelijkt dat de "inferentie" zich bevindt in de wiskundige beschrijving (de kaart) die wordt gebruikt om de stabiliteit en zelforganisatie van het fysieke systeem (het territorium) te verklaren.

Samenvattend betogen de auteurs dat het gebruik van generatieve modellen om relaties tussen subsystemen te representeren leidt tot een statistische theorie waarbij de dynamica van interagerende systemen gelezen kan worden als variationele inferentie. Dit biedt een krachtig, hanteerbaar instrument voor het modelleren van niet-evenwichtistische fenomenen, mits men een duidelijk onderscheid behoudt tussen het wetenschappelijke model (het generatieve model) en het fysieke systeem dat het beschrijft.