Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

19世紀、科学者たちは熱と運動が深く結びついていることを理解し始め、この気づきが熱機関の発明へとつながりました。蒸気機関から現代の自動車のモーターに至るまで、これらの機械は、熱エネルギーを有用な機械的仕事へと変換するために、加熱と冷却、膨張と圧縮というサイクルを通じて物質を動かすことで機能します。熱力学として知られるこの分野は、物理系においてエネルギーがどのように流れ、その形態を変えるかを記述しています。数十年後、統計学や人工知能における複雑な問題を解決するために、異なる種類の科学が登場しました。この分野はマルコフ連鎖モンテカルロ法（MCMC）と呼ばれる手法に依存しており、これはランダムなサンプリングを用いて広大な可能性の風景を探索し、困難な問いに対する最も可能性の高い答えを見つけ出すものです。一方の分野がエンジンの物理学を研究し、もう一方がデータの論理を研究している一方で、これらは長い間、別々の世界であると考えられてきました。

現在、研究チームがこれら二つの世界の架け橋となる仕組みを構築し、データ分析で使用されるランダムサンプリングが熱力学的プロセスとして捉えられることを示しました。彼らは、統計モデルに作用する「温度」と外部の力を注意深く制御することで、サンプリングアルゴリズムを熱機関のようにサイクルとして動作させることができることを発見しました。実験において、彼らは驚くべき法則を見出しました。もし分析対象のデータが単純な釣鐘型のパターンに従っている場合、そのサイクルは正味の仕事を生み出しません。しかし、データがより複雑で不規則である場合、サイクルは測定可能な量の仕事を生成します。この発見は、統計エンジンが仕事を行う能力が、基礎となるデータの複雑さ、すなわち「非ガウス性」の直接的な尺度であることを示唆しており、科学モデルにおける不確実性の形状を診断するための新しい方法を提示しています。

数学と物理学の境界領域で活動する研究者たちは、まずこれらのサンプリングアルゴックリズムがどのように機能するかを再定義することから始めました。通常、MCMCアルゴリズムは風景を探索するランダムウォーカーのように振る舞い、「温度」と呼ばれるパラメータに依存した確率に基づいてステップを受け入れるか拒否するかを決定します。高温では、ウォーカーは丘を飛び越えて広く探索することができますが、低温では最も深い谷に集中させられます。チームはこの温度を、実行中に上げ下げできるダイヤルのように扱うことができると気づきました。また、彼らは「ソース」と呼ぶ第二のダイヤルを導入しました。これは、ウォーカーを特定の方向に押し進める外部の力として機能します。これら二つのダイヤルを特定の順序で回すこと、つまり、システムを温め、押し、冷やし、そして引き戻すことで、彼らは古典的なスターリングエンジンの4つの段階を模倣した閉じたループ、すなわちサイクルを作り出しました。

これを実現するためには、変化が平衡状態を保つほど十分にゆっくりと行われるように、すなわち「準静的性」と呼ばれる概念を確保しなければなりませんでした。ピストンが非常にゆっくりと動くことで、中のガスがあらゆる瞬間で落ち着くことができる様子を想像してください。もし動きが速すぎると、ガスは乱れ、プロセスは乱雑なものになります。研究者たちは、ランダムウォーカーが条件の変化に伴って平衡状態に留まるよう、この原理に基づき、ダイヤルを調整するようにアルゴリズムをプログラムしました。そして、これらのサイクルを異なるタイプの数学的モデルに対して実行し、何が起こるかを確認しました。完璧に滑らかな釣鐘型の曲線を生み出すモデルを使用したとき、サイクルは正味の利得なしにループを完了しました。システムを加熱し押し出すために投入されたエネルギーは、冷却され引き戻されたときに放出されるエネルギーと正確に釣り合いました。エンジンは作動しましたが、仕事は行われませんでした。

物語は、彼らがより複雑なモデル、すなわち「ローゼンブロック関数」として知られる、急な斜面を持つ曲がった谷のような形状のモデルに切り替えたときに変わりました。この形状は、変数が非線形に関連している実世界の課題において一般的です。彼らが同じ熱力学的サイクルをこの不規則な風景に対して実行したとき、結果は異なりました。システムは今や正味の仕事量を生成しました。研究者たちは、生成された仕事量が、データの形状がいかに単純な釣鐘型から逸脱しているかに直接結びついていることを見出しました。風景がより不規則で複雑であればあるほど、サイクルから抽出できる仕事は多くなります。これは、統計エンジンが仕事を行う能力が、データが単純なガウス分布に従うか、あるいは複雑な非ガウス分布に従うかを示す精密な指標であるという、根本的な洞察へと導きました。

これが単なる数学的な好奇心ではないことを証明するために、チームはこの手法を宇宙論における実世界の課題に適用しました。彼らは、宇宙の膨張を測定するために用いられるType Ia 超新星のデータを分析するためにこのアルゴリズムを使用しました。目的は、二つの主要な宇宙論パラメータの値を決定することでした。実際のデータに対してサイクルを実行したとき、システムは明確な非ゼロの仕事量を生成しました。この結果は、宇宙論パラメータの統計的分布が実際に非ガウス的であること、つまり、測定における不確実性が単純で対称的な釣鐘型ではなく、より複雑な形状を持っていることを裏付けました。同様のサイクルを簡略化されたガウス型のデータに対してテストしたところ、彼らの理論が予測した通り、仕事の出力は消失しました。

研究者たちは、この手法が現在のところ、明確な信号を得るために何千回ものシミュレーションを必要とするため、データの形状をチェックするための標準的なツールとして使用するには遅すぎることを認めています。サンプリングを直接観察することによって、非ガウス性をチェックするより単純で高速な方法が存在します。しかし、この研究の価値は、それが提供する新しい視点にあります。それは、熱力学の道具がベイズ推論という抽象的な世界にも適用できることを示しており、サンプリングアルゴリズムによって行われる「仕事」が、それが理解しようとしているデータの複雑性の物理的な現れであることを明らかにしています。統計的推論を熱力学的プロセスとして扱うことで、研究者たちは、複雑な風景の中で答えを探求するという行為そのものが、その中を移動するためにかかるエネルギーによって測定できることを示したのです。