Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

In de negentiende eeuw begonnen wetenschappers te begrijpen dat warmte en beweging diep met elkaar verbonden zijn, een realisatie die leidde tot de uitvinding van de warmtemachine. Deze machines, van stoommachines tot moderne automotoren, werken door een substantie door een cyclus van verhitting en afkoeling, expansie en compressie te bewegen, om thermische energie om te zetten in nuttige mechanische arbeid. Dit vakgebied, bekend als thermodynamica, beschrijft hoe energie stroomt en van vorm verandert in fysieke systemen. Decennia later ontstond er een ander soort wetenschap om complexe problemen in statistiek en kunstmatige intelligentie op te lossen. Dit veld vertrouwt op een methode genaamd Markov chain Monte Carlo, of MCMC, die willekeurige bemonstering gebruikt om uitgestrekte landschappen van mogelijkheden te verkennen en de meest waarschijnlijke antwoorden op moeilijke vragen te vinden. Hoewel het ene veld de fysica van motoren bestudeert en het andere de logica van data, zijn ze lang als gescheiden werelden beschouwd.

Een team onderzoekers heeft nu een brug gebouwd tussen deze twee werelden, door aan te tonen dat de willekeurige bemonstering die wordt gebruikt bij data-analyse, kan worden beschouwd als een thermodynamisch proces. Ze ontdekten dat door de "temperatuur" en externe krachten die op een statistisch model inwerken zorgvuldig te controleren, ze de bemonsteringsalgoritme in een cyclus konden laten draaien, net als een warmtemachine. In hun experimenten ontdekten ze een verrassende regel: als de geanalyseerde data een eenvoudig, klokvormig patroon volgt, produceert de cyclus geen netto arbeid. Echter, als de data complexer en onregelmatiger is, genereert de cyclus een meetbare hoeveelheid arbeid. Deze bevinding suggereert dat het vermogen van een statistische machine om arbeid te verrichten een directe maat is voor hoe complex of "niet-Gaussiaans" de onderliggende data is, wat een nieuwe manier biedt om de vorm van onzekerheid in wetenschappelijke modellen te diagnosticeren.

De onderzoekers, werkend op het snijvlak van wiskunde en natuurkunde, begonnen door te heroverwegen hoe deze bemonsteringsalgoritmen opereren. Normaal gesproken werkt een MCMC-algoritme als een willekeurige wandelaar die een landschap verkent, waarbij stappen worden geaccepteerd of geweigerd op basis van een waarschijnlijkheid die afhangt van een parameter genaamd temperatuur. Een hoge temperatuur staat de wandelaar toe om heuvels te oversteken en breed te verkennen, terwijl een lage temperatuur de focus houdt op de diepste dalen. Het team realiseerde zich dat ze deze temperatuur konden behandelen als een knop die ze tijdens de uitvoering omhoog en omlaag kunnen draaien. Ze introduceerden ook een tweede knop, die ze een "bron" noemden, die fungeert als een externe kracht die de wandelaar in een specifieke richting duwt. Door deze twee knoppen in een specifieke sequentie te draaien—het systeem opwarmen, duwen, afkoelen en terugtrekken—creëerden ze een gesloten lus, een cyclus die de vier stadia van een klassieke Stirling-motor nabootst.

Om dit te laten werken, moesten ze ervoor zorgen dat de veranderingen traag genoeg plaatsvonden zodat het systeem in evenwicht bleef, een concept dat bekend staat als quasi-statische toestand. Stel je een zuiger voor die zo langzaam beweegt dat het gas binnenin de tijd heeft om te stabiliseren; als hij te snel beweegt, wordt het gas turbulent en wordt het proces rommelig. De onderzoekers programmeerden hun algoritme om hun knoppen met diezelfde zorgheid aan te passen, om ervoor te zorgen dat de willekeurige wandelaars in een toestand van evenwicht bleven terwijl de condities veranderden. Ze draalden deze cycli vervolgens op verschillende soorten wiskundige modellen om te zien wat er zou gebeuren. Wanneer ze een model gebruikten dat een perfect gladde, klokvormige curve produceerde, voltooide de cyclus zijn lus zonder netto winst. De energie die werd geïnvesteerd om het systeem te verwarmen en te duwen, werd exact in evenwicht gebracht door de energie die vrijkwam toen het werd afgekoeld en terug werd getrokken. De machine draaide, maar verrichtte geen arbeid.

Het verhaal veranderde toen ze overschakelden naar een ingewikkelder model, een model dat eruitziet als een gebogen vallei met een steile zijde, bekend als de Rosenbrock-functie. Deze vorm komt veel voor in real-world problemen waar variabelen op niet-lineaire wijze aan elkaar gekoppeld zijn. Toen ze dezelfde thermodynamische cyclus op dit onregelmatige landschap draalden, was het resultaat anders. Het systeem produceerde nu een netto hoeveelheid arbeid. De onderzoekers ontdekten dat de hoeveelheid gegenereerde arbeid direct verbonden was met de mate waarin de vorm van de data afweek van die eenvoudige klokcurve. Hoe onregelmatiger en complexer het landschap, hoe meer arbeid de cyclus kon extraheren. Dit leidde tot een fundamenteel inzicht: het vermogen van deze statistische machine om arbeid te verrichten is een nauwkeurige indicator van of de data simpel en Gaussiaans is of complex en niet-Gaussiaans.

Om te bewijzen dat dit niet slechts een wiskundige curiositeit was, paste het team hun methode toe op een probleem uit de echte wereld in de kosmologie. Ze gebruikten het algoritme om data van Type Ia supernova's te analyseren, die worden gebruikt om de expansie van het universum te meten. Het doel was om de waarden van twee belangrijke kosmologische parameters te bepalen. Toen ze de cyclus op de werkelijke data draalden, produceerde het systeem een duidelijke, niet-nul hoeveelheid arbeid. Dit resultaat bevestigde dat de statistische verdeling van de kosmologische parameters inderdaad niet-Gaussiaans was, wat betekent dat de onzekerheid in de metingen niet een eenvoudige, symmetrische klokcurve was, maar een complexere vorm had. Wanneer ze dezelfde cyclus testten op een vereenvoudigde, Gaussische versie van de data, verdween de arbeidsproductie, precies zoals hun theorie voorspelde.

De onderzoekers erkennen dat deze methode momenteel te traag is om gebruikt te worden als een standaardinstrument voor het controleren van de vorm van data, omdat het duizenden simulaties vereist om een duidelijk signaal te krijgen. Er bestaat een eenvoudigere, snellere manier om te controleren op niet-Gaussianiteit door simpelweg naar de samples direct te kijken. Echter, de waarde van dit werk ligt in het nieuwe perspectief dat het biedt. Het demonstreert dat de instrumenten van de thermodynamica kunnen worden toegepast op de abstracte wereld van Bayesiaanse inferentie, waarbij het onthuld wordt dat de "arbeid" die door een bemonsteringsalgoritme wordt verricht, een fysieke manifestatie is van de complexiteit van de data die het probeert te begrijpen. Door statistische inferentie te behandelen als een thermodynamisch proces, hebben de onderzoekers aangetoond dat de zoektocht naar antwoorden in een complex landschap gemeten kan worden aan de hand van de energie die het kost om erdoorheen te bewegen.