Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

En el siglo XIX, los científicos comenzaron a comprender que el calor y el movimiento están profundamente conectados, un hallazgo que condujo a la invención de la máquina térmica. Estas máquinas, desde los motores de vapor hasta los modernos motores de coches, funcionan moviendo una sustancia a través de un ciclo de calentamiento y enfriamiento, expansión y compresión, para convertir la energía térmica en trabajo mecánico útil. Este campo, conocido como termodinámica, describe cómo la energía fluye y cambia de forma en los sistemas físicos. Décadas más tarde, surgió un tipo diferente de ciencia para resolver problemas complejos en estadística e inteligencia artificial. Este campo se basa en un método llamado Monte Carlo por cadenas de Markov, o MCMC, que utiliza el muestreo aleatorio para explorar vastos paisajes de posibilidades y encontrar las respuestas más probables a preguntas difíciles. Mientras que un campo estudia la física de los motores y el otro estudia la lógica de los datos, durante mucho tiempo se han considerado mundos separados.

Un equipo de investigadores ha construido ahora un puente entre estos dos mundos, demostrando que el muestreo aleatorio utilizado en el análisis de datos puede verse como un proceso termodinámico. Descubrieron que, al controlar cuidadosamente la "temperatura" y las fuerzas externas que actúan sobre un modelo estadístico, podían hacer que el algoritmo de muestreo funcionara en un ciclo, de forma muy similar a una máquina térmica. En sus experimentos, descubrieron una regla sorprendente: si los datos analizados siguen un patrón simple, con forma de campana, el ciclo no produce trabajo neto. Sin embargo, si los datos son más complejos e irregulares, el ciclo genera una cantidad mensurable de trabajo. Este hallazgo sugiere que la capacidad de un motor estadístico para realizar trabajo es una medida directa de qué tan complejo o "no gaussiano" es el dato subyacente, ofreciendo una nueva forma de diagnosticar la forma de la incertidumbre en los modelos científicos.

Los investigadores, trabajando en la intersección de las matemáticas y la física, comenzaron reimaginando cómo operan estos algoritmos de muestreo. Normalmente, un algoritmo MCMC actúa como un caminante aleatorio que explora un paisaje, aceptando o rechazando pasos basándose en una probabilidad que depende de un parámetro llamado temperatura. La temperatura alta permite al caminante saltar colinas y explorar ampliamente, mientras que la temperatura baja lo mantiene enfocado en los valles más profundos. El equipo se dio cuenta de que podían tratar esta temperatura como un dial que podían subir y bajar durante la ejecución. También introdujeron un segundo dial, que llamaron "fuente", que actúa como una fuerza externa que empuja al caminante en una dirección específica. Al girar estos dos diales en una secuencia específica —calentando el sistema, empujándolo, enfriándolo y tirando de él de vuelta—, crearon un bucle cerrado, un ciclo que imita las cuatro etapas de un clásico motor Stirling.

Para que esto funcionara, tuvieron que asegurar que los cambios ocurrieran lo suficientemente lento como para que el sistema se mantuviera en equilibrio, un concepto conocido como cuasi-estaticidad. Imagine un pistón moviéndose tan lentamente que el gas en su interior tiene tiempo de asentarse en cada momento; si se mueve demasiado rápido, el gas se vuelve turbulento y el proceso se vuelve desordenado. Los investigadores programaron su algoritmo para ajustar sus diales con este mismo cuidado, asegurando que los caminantes aleatorios permanecieran en un estado de equilibrio a medida que las condiciones cambiaban. Luego ejecutaron estos ciclos en diferentes tipos de modelos matemáticos para ver qué sucedía. Cuando utilizaron un modelo que producía una curva perfectamente suave y con forma de campana, el ciclo completó su bucle sin ganancia neta. La energía invertida para calentar y empujar el sistema fue exactamente equilibrada por la energía liberada cuando se enfrió y se tiró de él de vuelta. El motor funcionó, pero no realizó trabajo.

La historia cambió cuando pasaron a un modelo más complicado, uno que parece un valle curvo con un lado empinado, conocido como la función de Rosenbrock. Esta forma es común en problemas del mundo real donde las variables están vinculadas de forma no lineal. Cuando ejecutaron el mismo ciclo termodinámico en este paisaje irregular, el resultado fue distinto. El sistema ahora producía una cantidad neta de trabajo. Los investigadores encontraron que la cantidad de trabajo generado estaba directamente ligada a cuánto se desviaba la forma de los datos de esa simple curva de campana. Cuanto más irregular y complejo era el paisaje, más trabajo podía extraer el ciclo. Esto llevó a una visión fundamental: la capacidad de este motor estadístico para producir trabajo es un indicador preciso de si los datos son simples y gaussianos o complejos y no gaussianos.

Para demostrar que esto no era solo una curiosidad matemática, el equipo aplicó su método a un problema del mundo real en cosmología. Utilizaron el algoritmo para analizar datos de supernovas de Tipo Ia, que se usan para medir la expansión del universo. El objetivo era determinar los valores de dos parámetros cosmológicos clave. Cuando ejecutaron el ciclo con los datos reales, el sistema produjo una cantidad clara y distinta de trabajo. Este resultado confirmó que la distribución estadística de los parámetros cosmológicos era, en efecto, no gaussiana, lo que significa que la incertidumbre en las mediciones no era una campana simple y simétrica, sino que tenía una forma más compleja. Cuando probaron el mismo ciclo en una versión simplificada y gaussiana de los datos, la producción de trabajo desapareció, tal como predijo su teoría.

Los investigadores reconocen que este método es actualmente demasiado lento para ser utilizado como una herramienta estándar para comprobar la forma de los datos, ya que requiere ejecutar miles de simulaciones para obtener una señal clara. Existe una forma más simple y rápida de comprobar la no gaussianidad simplemente observando las muestras directamente. Sin embargo, el valor de este trabajo reside en la nueva perspectiva que ofrece. Demuestra que las herramientas de la termodinámica pueden aplicarse al mundo abstracto de la inferencia bayesiana, revelando que el "trabajo" realizado por un algoritmo de muestreo es una manifestación física de la complejidad de los datos que intenta comprender. Al tratar la inferencia estadística como un proceso termodinámico, los investigadores han demostrado que el acto mismo de buscar respuestas en un paisaje complejo puede medirse por la energía que requiere atravesarlo.