Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

19세기에 과학자들은 열과 운동이 깊게 연결되어 있다는 사실을 이해하기 시작했으며, 이러한 깨달음은 열기관의 발명으로 이어졌습니다. 증기 기관에서부터 현대의 자동차 모터에 이르기까지, 이 기계들은 열에너지를 유용한 기계적 일로 바꾸기 위해 물질을 가열과 냉각, 팽창과 압축의 순환 과정을 통해 이동시킴으로써 작동합니다. 열역학이라 불리는 이 분야는 물리적 계에서 에너지가 어떻게 흐르고 형태를 바꾸는지를 설명합니다. 수십 년 후, 통계학과 인공지능의 복잡한 문제들을 해결하기 위해 또 다른 종류의 과학이 등장했습니다. 이 분야는 마르코프 연쇄 몬테카를로(Markov chain Monte Carlo, MCMC)라고 불리는 방법에 의존하며, 이는 무작위 샘플링을 사용하여 방대한 가능성의 풍경을 탐색하고 어려운 질문에 대한 가장 가능성 높은 답을 찾아냅니다. 한 분야가 엔진의 물리학을 연구하고 다른 분야가 데이터의 논리를 연구한다면, 이 두 분야는 오랫동안 별개의 세계로 여겨져 왔습니다.

이제 한 연구팀이 이 두 세계 사이의 다리를 놓아, 데이터 분석에 사용되는 무작위 샘플링이 열역학적 과정으로 간 혹은 수 있음을 보여주었습니다. 그들은 통계 모델에 작용하는 '온도'와 외부 힘을 정교하게 제어함으로써, 샘플링 알고리즘이 마치 열기관처럼 순환하며 작동하게 만들 수 있다는 것을 발견했습니다. 실험 결과, 그들은 놀라운 규칙을 발견했습니다. 만약 분석되는 데이터가 단순한 종 모양의 패턴을 따른다면, 이 순환은 순 작업량을 생성하지 않습니다. 그러나 데이터가 더 복잡하고 불규칙하다면, 순환은 측정 가능한 양의 일을 생성합니다. 이 발견은 통계적 엔진이 일을 할 수 있는 능력이 기초 데이터가 얼마나 복잡하거나 '비가우시안(non-Gaussian)'적인지를 나타내는 직접적인 척도임을 시사하며, 과학적 모델의 불확실성의 형태를 진단하는 새로운 방법을 제시합니다.

수학과 물리학의 접점에서 연구하는 이 팀은 먼저 이 샘pling 알고리즘이 어떻게 작동하는지를 재구상하는 것부터 시작했습니다. 보통 MCMC 알고리즘은 풍경을 탐색하는 무작위 보행자처럼 작동하며, '온도'라고 불리는 매개변수에 의존하는 확률에 따라 단계의 수락 또는 거부를 결정합니다. 높은 온도는 보행자가 언덕을 뛰어넘어 넓게 탐색할 수 있게 하고, 낮은 온도는 보ها를 가장 깊은 골짜기에 집중하게 합니다. 연구팀은 이 온도를 실행 중에 올리거나 내릴 수 있는 다이얼로 취급할 수 있다는 점을 깨달았습니다. 또한 그들은 '소스(source)'라고 부르는 두 번째 다이얼을 도입했는데, 이는 특정 방향으로 보행자를 밀어내는 외부 힘 역할을 합니다. 이 두 다이얼을 특정 순서로—시스템을 가열하고, 밀고, 냉각하고, 다시 끌어당기는 방식으로—돌림으로써, 그들은 고전적인 스털링 엔진의 네 단계를 모방한 폐쇄 루프, 즉 순환을 만들어냈습니다.

이 작업을 수행하기 위해, 그들은 변화가 시스템이 균형을 유지할 수 있을 만큼 충분히 느리게 일어나도록 보장해야 했는데, 이는 '준정적 상태(quasi-staticity)'라고 알려진 개념입니다. 가스 내부의 가스가 매 순간 안정될 수 있도록 피스톤이 매우 느리게 움직이는 상황을 상상해 보십시오. 만약 너무 빠르게 움직이면 가스가 난류가 되어 과정이 엉망이 됩니다. 연구원들은 이와 동일한 주의를 기울여 다이얼을 조정하도록 알고리즘을 프로그래밍하여, 조건이 변하는 동안 무작위 보행자들이 평형 상태를 유지하도록 했습니다. 그런 다음 그들은 다양한 유형의 수학적 모델에 이 순환을 실행하여 어떤 일이 일어나는지 관찰했습니다. 완벽하게 매끄러운 종 모양의 곡선을 생성하는 모델을 사용했을 때, 순환은 순 이득 없이 루프를 완료했습니다. 시스템을 가열하고 밀어 넣는 데 투입된 에너지는 시스템을 냉각하고 다시 끌어당길 때 방출된 에너지와 정확히 균형을 이루었습니다. 엔진은 돌아갔지만, 아무런 일도 하지 않았습니다.

이야기는 그들이 더 복잡한 모델, 즉 '로젠브록 함수(Rosenbrock function)'라고 알려진, 한쪽 면이 가파른 곡선 골짜기 형태의 모델로 전환했을 때 바뀌었습니다. 이 형태는 변수들이 비선형적으로 연결된 실제 세계의 문제에서 흔히 나타납니다. 동일한 열역학적 순환을 이 불규칙한 지형에서 실행했을 때 결과는 달랐습니다. 시스템은 이제 순 작업량을 생성했습니다. 연구진은 생성된 작업량이 데이터의 형태가 단순한 종 모양 곡선에서 얼마나 벗어나는지와 직접적으로 연결되어 있다는 것을 발견했습니다. 지형이 더 불규칙하고 복잡할수록, 순환이 추출할 수 있는 일의 양은 더 많아졌습니다. 이는 근본적인 통찰로 이어졌습니다. 즉, 이 통계적 엔진이 일을 할 수 있는 능력은 데이터가 단순한 가우시안인지 아니면 복잡한 비가우시안인지를 나타내는 정밀한 지표라는 것입니다.

이것이 단순한 수학적 호기심이 아님을 증명하기 위해, 팀은 자신들의 방법을 실제 우주론 문제에 적용했습니다. 그들은 우주의 팽창을 측정하는 데 사용되는 Ia형 초신성 데이터를 분석하기 위해 이 알고리즘을 사용했습니다. 목표는 두 가지 핵심 우주론적 매개변수의 값을 결정하는 것이었습니다. 실제 데이터에 대해 순환을 실행했을 때, 시스템은 명확한 비제로(non-zero) 작업량을 생성했습니다. 이 결과는 우주론적 매개변수의 통계적 분포가 실제로 비가우시안임을 확인해주었으며, 이는 측정의 불확실성이 단순하고 대칭적인 종 모양이 아니라 더 복잡한 형태를 띠고 있음을 의미합니다. 그들이 동일한 순환을 단순화된 가우시안 버전의 데이터에 테스트했을 때, 그들의 이론이 예측한 대로 작업량은 사라졌습니다.

연구진은 이 방법이 현재 명확한 신호를 얻기 위해 수천 번의 시뮬레이션을 실행해야 하므로, 데이터의 형태를 확인하는 표준 도구로 사용하기에는 너무 느리다는 점을 인정합니다. 샘플을 직접 살펴봄으로써 비가우시안성을 확인하는 더 간단하고 빠른 방법이 존재합니다. 그러나 이 연구의 가치는 그것이 제공하는 새로운 관점에 있습니다. 이는 열역학의 도구가 추상적인 베이지안 추론의 세계에도 적용될 수 있음을 보여주며, 샘플링 알고로리즘이 수행하는 '일'이 데이터의 복잡성을 나타내는 물리적 발현임을 밝혀냈습니다. 통계적 추론을 열역학적 과정으로 취급함으로써, 연구진은 복잡한 풍경 속에서 답을 찾는 행위 자체가 그 풍경을 통과하는 데 드는 에너지에 의해 측정될 수 있음을 보여주었습니다.