Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

No século XIX, os cientistas começaram a compreender que o calor e o movimento estão profundamente conectados, uma percepção que levou à invenção da máquina térmica. Essas máquinas, desde motores a vapor até motores de carros modernos, funcionam movendo uma substância através de um ciclo de aquecimento e resfriamento, expansão e compressão, para transformar energia térmica em trabalho mecânico útil. Este campo, conhecido como termodinâmica, descreve como a energia flui e muda de forma em sistemas físicos. Décadas depois, um tipo diferente de ciência surgiu para resolver problemas complexos em estatística e inteligência artificial. Este campo baseia-se num método chamado Monte Carlo por Cadeias de Markov, ou MCMC, que utiliza a amostragem aleatória para explorar vastos panoramas de possibilidades e encontrar as respostas mais prováveis para questões difíceis. Embora um campo estude a física dos motores e o outro estude a lógica dos dados, eles têm sido há muito tempo considerados mundos separados.

Uma equipa de investigadores construiu agora uma ponte entre estes dois mundos, mostrando que a amostragem aleatória utilizada na análise de dados pode ser vista como um processo termodinâmico. Eles descobriram que, ao controlar cuidadosamente a "temperatura" e as forças externas que atuam sobre um modelo estatístico, poderiam fazer com que o algoritmo de amostragem funcionasse num ciclo, tal como uma máquina térmica. Nos seus experiências, descobriram uma regra surpreendente: se os dados sendo analisados seguirem um padrão simples, em forma de sino, o ciclo não produz trabalho líquido. No entanto, se os dados forem mais complexos e irregulares, o ciclo gera uma quantidade mensurável de trabalho. Esta descoberta sugere que a capacidade de um motor estatístico realizar trabalho é uma medida direta de quão complexos ou "não-Gaussianos" são os dados subjacentes, oferecendo uma nova forma de diagnosticar a forma da incerteza em modelos científicos.

Os investigadores, trabalhando na interseção entre a matemática e a física, começaram por reimaginar como estes algoritmos de amostragem operam. Normalmente, um algoritmo MCMC atua como um caminhante aleatório explorando uma paisagem, aceitando ou rejeitando passos com base numa probabilidade que depende de um parâmetro chamado temperatura. A temperatura alta permite que o caminhante salte colinas e explore amplamente, enquanto a temperatura baixa o mantém focado nos vales mais profundos. A equipa percebeu que poderiam tratar esta temperatura como um botão que podem girar para cima e para baixo durante a execução. Também introduziram um segundo botão, que chamaram de "fonte", que atua como uma força externa a empurrar o caminhante numa direção específica. Ao girar estes dois botões numa sequência específica — aquecendo o sistema, empurrando-o, arrefecendo-o e puxando-o de volta — criaram um ciclo fechado, um ciclo que imita as quatro etapas de um clássico motor Stirling.

Para que isto funcionasse, tiveram de garantir que as mudanças acontecessem lentamente o suficiente para que o sistema se mantivesse em equilíbrio, um conceito conhecido como quasi-estaticidade. Imagine um pistão a mover-se tão lentamente que o gás no seu interior tem tempo para se estabilizar a cada momento; se se mover demasiado rápido, o gás torna-se turbulento e o processo torna-se desordenado. Os investigadores programaram o seu algoritmo para ajustar os seus botões com este mesmo cuidado, garantindo que os caminhantes aleatórios permaneciam num estado de equilíbrio à medida que as condições mudavam. Eles executaram então estes ciclos em diferentes tipos de modelos matemáticos para ver o que aconteceria. Quando utilizaram um modelo que produzia uma curva perfeitamente suave, em forma de sino, o ciclo completou o seu loop sem ganho líquido. A energia colocada para aquecer e empurrar o sistema foi exatamente equilibrada pela energia libertada quando o sistema arrefeceu e foi puxado de volta. O motor funcionou, mas não realizou trabalho.

A história mudou quando passaram para um modelo mais complicado, um que se assemelha a um vale curvo com um lado íngreme, conhecido como função de Rosenbrock. Esta forma é comum em problemas do mundo real onde as variáveis estão ligadas de formas não lineares. Quando executaram o mesmo ciclo termodinâmico nesta paisagem irregular, o resultado foi diferente. O sistema produziu agora uma quantidade líquida de trabalho. Os investigadores descobriram que a quantidade de trabalho gerada estava diretamente ligada ao quanto a forma dos dados se desviava daquele simples sino. Quanto mais irregular e complexa fosse a paisagem, mais trabalho o ciclo poderia extrair. Isto levou a uma visão fundamental: a capacidade deste motor estatístico produzir trabalho é um indicador preciso de se os dados são simples e Gaussianos ou complexos e não-Gaussianos.

Para provar que isto não era apenas uma curiosidade matemática, a equipa aplicou o seu método a um problema do mundo real na cosmologia. Utilizaram o algoritmo para analisar dados de supernovas do Tipo Ia, que são usadas para medir a expansão do universo. O objetivo era determinar os valores de dois parâmetros cosmológicos fundamentais. Quando executaram o ciclo nos dados reais, o sistema produziu uma quantidade clara e não nula de trabalho. Este resultado confirmou que a distribuição estatística dos parâmetros cosmológicos era, de facto, não-Gaussiana, o que significa que a incerteza nas medições não era uma curva em forma de sino simples e simétrica, mas tinha uma forma mais complexa. Quando testaram o mesmo ciclo numa versão simplificada e Gaussiana dos dados, a produção de trabalho desapareceu, tal como a sua teoria previa.

Os investigadores reconhecem que este método é atualmente demasiado lento para ser usado como uma ferramenta padrão para verificar a forma dos dados, pois requer a execução de milhares de simulações para obter um sinal claro. Existe uma forma mais simples e rápida de verificar a não-Gaussianidade, bastando observar diretamente as amostras. No entanto, o valor deste trabalho reside na nova perspetiva que oferece. Demonstra que as ferramentas da termodinâmica podem ser aplicadas ao mundo abstrato da inferência Bayesiana, revelando que o "trabalho" realizado por um algoritmo de amostragem é uma manifestação física da complexidade dos dados que ele tenta compreender. Ao tratar a inferência estatística como um processo termodinâmico, os investigadores mostraram que o próprio ato de procurar respostas num cenário complexo pode ser medido pela energia necessária para atravessá-lo.