巨大なジグソーパズルを解こうとしているところを想像してみてください。しかし、箱にはピースが無限にあると書かれています。コンピュータサイエンスや統計学の世界では、これは「ノンパラメトリック」モデリングと呼ばれる一般的な問題です。変数の数を固定して推測する（例えば「データには正確に5つのクラスターがある」と決める）代わりに、コンピュータは実際にどれだけのピースが必要かを、場合によっては永遠に探し続けようとします。これらのパズルを解くために、科学者たちは**ハミルトニアン・モンテカルロ法（HMC）**という巧妙なトリックを使います。HMCを、霧の深い山脈の中で最も深い谷を探しているハイカーだと考えてください。小さなランダムなステップを踏む（これは遅くて非効率的です）代わりに、ハイカーは勢い（モメンタム）を持ったボールを投げます。ボールは斜面を転がり落ち、加速しながら、霧の丘を飛び越えて最適な場所をより速く見つけ出します。しかし、落とし穴があります。標準的なハイカーには、固定された数の座標を持つ地図が必要です。もし地図が無限であれば、ハイカーは止まってしまいます。なぜなら、無限の山の傾斜を計算することができないからです。

ここで新しい論文が登場し、「最高の意味での『遅延（deferred）』」を実現するコンピュータへの解決策を提示しています。研究者たちは、Haskellというプログラミング言語を用いて、たとえ山が無限であっても、ハイカーは自分が進むべき方向を知るために、特定の数個の岩だけを見ればよいことに気づきました。彼らはDeferredHMCと呼ばれる新しい手法を開発しました。これは、足元にある地面と、数歩先の数歩先だけを見るハイカーのようなものです。それ以外の無限の山については、実際にそこを踏む必要が出てくるまで無視します。これにより、コンピュータは標準的な手法では不可能だった複雑で無限のパズルを、慣性のスピードを維持しながら、無限に圧倒されることなく解くことができるようになりました。

問題：無限の山と立ち往生するハイカー

確率的プログラミングの世界では、統計学者はデータがどのように生成されるかを記述するためにコードを書きます。時として、彼らはどれだけの「パラメータ」（モデルのつまみやダイヤル）が必要なのかを知りません。例えば、データのグループが3つなのか300個なのか分からない状態でデータをクラスタリングしているかもしれません。あるいは、永遠に続くランダムウォークをモデル化しているかもしれません。このような場合、「パラメータ空間」は無限になります。

標準的なHMCは、有限の問題においては超一流です。それは探索を導くために勾配（グラディエント）（傾斜）を使用します。尤度（ゆうど）を地形だと想像してください：高い丘は適合度が低く、深い谷は適合度が高いことを意味します。HMCは、谷に向かってボールを転がすために、丘の傾斜を利用します。しかし、傾斜を計算するには、あらゆる点における丘の高さを知る必要があります。もし丘が無限の次元を持っていたら、傾斜を計算することは不可能に思えます。

以前、人々はこの問題を解決するために3つの方法を試みましたが、すべてに欠点がありました：

1. 切り捨て（Truncation）: 単に一定の高さで山を切り取ってしまう方法です。これは、「最初の100個のパズルピースだけを見る」と言うようなものです。これは機能しますが、どこで切るかを推測しなければならず、もし早く切りすぎてしまうと、解を見逃してしまう可能性があります。
2. 動的次元（Dynamic Dimensions）: 進みながら、ピースごとに山を構築していく方法です。これはより優れた方法ですが、コードを複雑にし、「宣言的（何が問題であるかよりも、どうやって構築するかに重点を置くこと）」ではなくしてしまいます。
3. 勾配のない遅延メソッド: 「遅延評価（必要なものだけを計算すること）」は使用していますが、慣性（モメンタム）を諦めてしまいました。これは、ハイカーが再び小さなランダムなステップを踏むことを意味し、非常に低速になります。

論文は問いかけます：両方の良いとこ取りができるのではないか？ 無限の山に対して、HMCの強力で高速な慣性を使いつつ、実際に必要な部分だけを見ることができるのではないか？

解決策：遅延するハイカー

著者であるMaria-Nicoleta Crăciun氏とそのチームは、「イエス」と答えています。彼らは、勾配の力とHaskellプログラミングの「遅延」の性質を組み合わせた手法であるDeferredHMCを開発しました。

ここにある魔法のトリックがあります。山は無限であっても、ハイカー（コンピュータプログラム）は、傾斜を把握するために有限の数の岩にしか触れません。

1. 「PACAP」の洞察: チームは、広範なクラスのプログラムにおいて、「傾斜（勾配）」は有限の場所でしかゼロにならないことを数学的に証明しました。モデルが無限の潜在的次元を持っていたとしても、現在見ている特定のデータは、そのうちの数個の次元しか「活性化」させません。これは、巨大な図書館のようなものです。特定の質問に対して、あなたは3ページだけを読めばよいのです。残りの図書館は、その瞬間には無関係なのです。
2. 遅延評価: Haskellでは、値は必要とされるまで計算されません。コンピュータは無限の乱数のリスト全体を生成するのではなく、数学が要求したときにのみ、最初のもの、次に2番目のものを生成します。
3. 相殺のトリック: これが最も巧妙な部分です。HMCでは、新しい位置が良いかどうかを判断するために「受理比（acceptance ratio）」を計算する必要があります。通常、これにはすべての次元について数値を掛け合わせるプロセスが含まれます。次元が無限にあれば、この積は無限になります。しかし、著者は、ハイカーが訪れなかった次元については、数学的にそれらの項が完璧に打ち消し合う（それらが1に掛かる）ことを示しました。つまり、無限の積は、訪れた次元のみを含む小さな有限の積へと崩壊するのです。

実践における仕組み

論文では、いくつかの異なるバージョンの「遅延するハイカー」を紹介していますが、すべて同じ論理に従っています。

• ステップ1: ハイカーは現在地からスタートし、ランダムな「キック」（慣性）を得ます。
• ステップ2: ハイカーは斜面を転がり落ちます。転がる際、ハイカーは実際に踏んだ無限の山の部分だけを計算します。
• ステップ3: もしハイカーが、以前は存在しなかった新しい岩を踏んだ場合（新しい次元を活性化した場合）、システムはその場所に必要なデータを遅延的に生成します。
• ステップ4: ハイカーは、留まるべきか、あるいは戻るべきかを判断します。訪れなかった部分の山が数学的に相殺されるため、ハイカーはそれらについて知る必要はありません。

著者らはまた、Deferred NUTS（No-U-Turn Sampler）も作成しました。標準的なHMCでは、どれくらい転がるか（ステップ数）を推測する必要があります。転がりすぎると探索が足りず、転がりが足りないと時間を無駄にします。NUTSは、自身が引き返そうとした時に自動的に停止するスマートなアルゴリズムです。著者らはこれの遅延バージョンも作成したので、コンピュータは無限の山全体を見る必要なく、どれくらい転がるかを決定できます。

実験：それは本当に機能するのか？

チームは、いくつかのトリッキーな問題に対してシミュレーションを行いました。

• 幾何分布（Geometric Distribution）: ステップ数が上限のないモデルです。遅延HMCメソッドは、従来の最良の手法（NP-HMC）よりも少なくとも10倍速く、正確な結果を出しました。
• ランダムウォーク（Random Walks）: 無限に続くランダムウォークのモデルです。遅延メソッドは、ウォークが無限であるにもかかわらず、その開始位置を特定することに成功しました。遅延NUTSメソッドは、実行時間自体は遅かったものの、他の手法よりもはるかに優れた解（高い有効サンプルサイズ）を見つけ出しました。
• クラスタリング（ガウス混合モデル）: グループの数が未知であるモデルです。遅延メソッドは、クラスターの数と中心の位置を正しく特定し、既存の手法と同等かそれ以上の性能を発揮しました。
• 多項式回帰（Polynomial Regression）: 曲線の複雑さ（次数）が未知であるモデルです。遅延メソッドは正しい次数（5）を見つけ出し、データをうまく適合させましたが、古い手法は誤った複雑さに陥りました。

これが意味すること

この論文は、あらゆる統計学の問題を解決したと主張しているわけではありません。すべての無限モデルに対する最終回答であるとも言っていません。しかし、これは勾配ベースのHMCが、切り捨てたり手動で次元を追跡したりすることなく、無限次元の空間で直接機能できることを実証しています。

鍵となる教訓は、**「遅延評価はスーパーパワーである」**ということです。値を計算するのを最後の最後まで遅らせることで、コンピュータは無限を扱うという不可能な作業を回避できます。その代わりに、コンピュータは問題の扱いやすい有限の断片を扱い、数学によって残りの無限の世界が重要ではないことが保証されます。

著者らは、今回のテストしたモデルではうまく機能するものの、現実世界のシステムでは、ステップの大きさなどの設定を調整するために人間のガイダンスが依然として必要になる可能性があると示唆しています。しかし、現時点では、彼らはベイズ推論の新しい扉を開きました。それは、コンピュータが迷うことなく無限を探索できる方法です。