Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

Nel diciannovesimo secolo, gli scienziati iniziarono a comprendere che il calore e il movimento sono profondamente connessi, una consapevolezza che portò all'invenzione del motore termico. Queste macchine, dai motori a vapore ai moderni motori automobilistici, funzionano spostando una sostanza attraverso un ciclo di riscaldamento e raffreddamento, espansione e compressione, per trasformare l'energia termica in utile lavoro meccanico. Questo campo, noto come termodinamica, descrive come l'energia fluisca e cambi forma nei sistemi fisici. Decenni dopo, emerse una scienza di tipo diverso per risolvere problemi complessi nella statistica e nell'intelligenza artificiale. Questo campo si basa su un metodo chiamato Markov chain Monte Carlo, o MCMC, che utilizza il campionamento casuale per esplorare vasti paesaggi di possibilità e trovare le risposte più probabili a domande difficili. Sebbene un campo studi la fisica dei motori e l'altro la logica dei dati, essi sono stati a lungo considerati mondi separati.

Un team di ricercatori ha ora costruito un ponte tra questi due mondi, dimostrando che il campionamento casuale utilizzato nell'analisi dei dati può essere visto come un processo termodinamico. Hanno scoperto che controllando attentamente la "temperatura" e le forze esterne che agiscono su un modello statistico, potevano far sì che l'algoritmo di campionamento operasse in un ciclo, proprio come un motore termico. Nei loro esperimenti, hanno scoperto una regola sorprendente: se i dati analizzati seguono un semplice schema a campana, il ciclo non produce lavoro netto. Tuttavia, se i dati sono più complessi e irregolari, il ciclo genera una quantità misurabile di lavoro. Questa scoperta suggerisce che la capacità di un motore statistico di compiere lavoro è una misura diretta di quanto i dati sottostanti siano complessi o "non-Gaussiani", offrendo un nuovo modo per diagnosticare la forma dell'incertezza nei modelli scientifici.

I ricercatori, lavorando all'intersezione tra matematica e fisica, hanno iniziato reimmaginando il modo in cui operano questi algoritmi di campionamento. Normalmente, un algoritmo MCMC agisce come un camminatore casuale che esplora un paesaggio, accettando o rifiutando passi in base a una probabilità che dipende da un parametro chiamato temperatura. L'alta temperatura permette al camminatore di saltare sopra le colline ed esplorare ampiamente, mentre la bassa temperatura lo mantiene concentrato nelle valli più profonde. Il team si è reso conto che poteva trattare questa temperatura come una manopola che si può alzare o abbassare durante l'esecuzione. Ha inoltre introdotto una seconda manopola, che hanno chiamato "sorgente", che agisce come una forza esterna che spinge il camminatore in una direzione specifica. Ruotando queste due manopole in una sequenza specifica — riscaldando il sistema, spingendolo, raffreddandolo e tirandolo indietro — hanno creato un ciclo chiuso, un ciclo che imita le quattro fasi di un classico motore Stirling.

Per far sì che questo funzionasse, dovevano garantire che i cambiamenti avvenissero abbastanza lentamente da permettere al sistema di rimanere in equilibrio, un concetto noto come quasi-staticità. Immaginate un pistone che si muove così lentamente che il gas all'interno ha il tempo di assestarsi in ogni singolo momento; se si muove troppo velocemente, il gas diventa turbolento e il processo diventa disordinato. I ricercatori hanno programmato il loro algoritmo per regolare le manopole con la stessa cura, assicurando che i camminatori casuali rimanessero in uno stato di equilibrio mentre le condizioni cambiavano. Hanno poi eseguito questi cicli su diversi tipi di modelli matematici per vedere cosa sarebbe successo. Quando hanno utilizzato un modello che produceva una curva a campana perfettamente liscia, il ciclo completava il suo percorso senza guadagno netto. L'energia immessa per riscaldare e spingere il sistema era esattamente bilanciata dall'energia rilasciata quando veniva raffreddato e richiamato indietro. Il motore girava, ma non compiva alcun lavoro.

La storia è cambiata quando hanno sostituito il modello con uno più complicato, che somigliava a una valle curva con un lato ripido, nota come funzione di Rosenbrock. Questa forma è comune nei problemi del mondo reale in cui le variabili sono legate in modi non lineari. Quando hanno eseguito lo stesso ciclo termodinamico su questo paesaggio irregolare, il risultato è stato diverso. Il sistema ora produceva una quantità netta di lavoro. I ricercatori hanno scoperto che la quantità di lavoro generata era direttamente legata a quanto la forma dei dati deviava da quella semplice curva a campana. Più il paesaggio era irregolare e complesso, più il ciclo poteva estrarre lavoro. Ciò ha portato a un'intuizione fondamentale: la capacità di questo motore statistico di produrre lavoro è un indicatore preciso se i dati siano semplici e Gaussiani o complessi e non-Gaussiani.

Per dimostrare che non si trattasse solo di una curiosità matematica, il team ha applicato il loro metodo a un problema del mondo reale in cosmologia. Hanno utilizzato l'algoritmo per analizzare i dati delle supernovae di Tipo Ia, che vengono utilizzate per misurare l'espansione dell'universo. L'obiettivo era determinare i valori di due parametri cosmologici chiave. Quando hanno eseguito il ciclo sui dati reali, il sistema ha prodotto una quantità netta di lavoro chiaramente non nulla. Questo risultato ha confermato che la distribuzione statistica dei parametri cosmologici era effettivamente non-Gaussiana, il che significa che l'incertezza nelle misurazioni non era una semplice campana simmetrica, ma aveva una forma più complessa. Quando hanno testato lo stesso ciclo su una versione semplificata e Gaussiana dei dati, l'output di lavoro è svanito, proprio come la loro teoria aveva previsto.

I ricercatori riconoscono che questo metodo è attualmente troppo lento per essere utilizzato come strumento standard per controllare la forma dei dati, poiché richiede l'esecuzione di migliaia di simulazioni per ottenere un segnale chiaro. Un modo più semplice e veloce per controllare la non-Gaussianità esiste, semplicemente guardando direttamente i campioni. Tuttavia, il valore di questo lavoro risiede nella nuova prospettiva che offre. Dimostra che gli strumenti della termodinamica possono essere applicati al mondo astratto dell'inferenza bayesiana, rivelando che il "lavoro" compiuto da un algoritmo di campionamento è una manifestazione fisica della complessità dei dati che sta cercando di comprendere. Trattando l'inferenza statistica come un processo termodinamico, i ricercatori hanno dimostrato che l'atto stesso di cercare risposte in un paesaggio complesso può essere misurato dall'energia necessaria per attraversarlo.