巨大で複雑なモザイク画を完成させようとしているところを想像してみてください。ところが、誰かが何百枚もの小さなタイルを抜き取ってしまいました。あなたは周囲のピースは見えており、本来の絵がランダムな色のバラバラな塊ではなく、滑らかで流れるような風景であることは分かっています。これが、データサイエンティストが「欠損データ」に対処する際の日常的な苦闘です。現実の世界では、センサーが故障したり、調査への回答がスキップされたり、記録が紛失したりすることで、私たちのデジタルの地図に穴が開いてしまいます。数十年もの間、これらの穴を埋める標準的な方法は、近くにあるものに基づいて推測することでした。それはまるで、隣人がドライブウェイに残されたレンガを使って、空白の壁を埋めようとするようなものです。しかし、もしその壁が平らではなかったらどうでしょう？もしその絵が、実は曲がった、ねじれた彫刻、例えばジェットコースターの軌道や、ねじれたリボンのようなものだったら？もし、曲がったトラック上の欠落した部分を、平坦で直線的な推測で埋めようとしたら、近くで見れば問題ないように見えても、一歩下がってみると、トラックから外れてしまっているでしょう。

この論文は、数学の特定の領域である「多様体仮説（manifold hypothesis）」について掘り下げています。これは、私たちのデータが巨大で高次元な部屋（何百もの方向に動ける部屋を想像してください）の中に浮かぶ混沌とした点の雲のように見えたとしても、実際にはその部屋の中に隠された、より小さく滑らかな表面の上に存在しているという考え方です。それは、混沌とした蟻の山の中にいる蟻たちが、実は一枚の紙の上をうねる一本の列を作って行進していることに気づくようなものです。この論文では、「変分オートエンコーダ（VAE）」を使用しています。これは、複雑な3Dオブジェクトを学習して、それを単純な2Dの図面に押しつぶし、そしてその図面から完璧に3Dオブジェクトを再構築できる、賢くて柔軟なカメラのようなものです。大きな疑問は、もし3Dオブジェクトの一部が失われた場合、その2Dの図面を使って、単に近くの値を推測するのではなく、トラックの曲線を尊重しながら、欠けている部分が本来どうあるべきかを正確に導き出せるのか、ということです。

著者であるZelong Bi氏とAmuchechukwu Ibenegbu氏は、データを平らなシートとしてではなく、曲面として扱うことで、これらの壊れたモザイクを修復する新しい方法を提案しています。彼らは、MissForestと呼ばれるツールのような現在最も普及している手法は、パターンを見つけることには長けているものの、データの「幾何学（ジオメトリ）」を尊重することにはしばしば失敗すると主張しています。これを視覚化するために、MissForestが円形の隙間を埋めようとして、隙間に向かって直線を描いた場面を想像してみてください。その結果は、数学的には隣接する点に近いかもしれませんが、円の形を壊してしまいます。著者の手法は、データが曲線上に存在することを理解しているため、その弧に従って隙間を埋め、形状を維持したままにします。

これを行うために、彼らは2段階のマジックトリックを使用します。まず、「混合VAE（Mixture of VAEs）」を使用して、隠れた表面の形状を学習します。これは、チームとしてのアーティストがそれぞれ異なるセクション（例えば、丘の頂上を担当するアーティスト、麓を担当するアーティストなど）を受け持っていると考えてください。彼らは、乱雑で高次元なデータを、曲線が容易に見える単純で低次元な「潜在空間（latent space）」へとマッピングします。そして、一部が欠落しているとき、彼らは単に推測するのではなく、「サンプリング重要度再サンプリング（SIR）」と呼ばれる統計的手法を使用します。SIRは「ホットポテト（熱いジャガイモ）」ゲームのようなものです。彼らは欠落したピースに対して何千もの可能性のある推測を生成しますが、曲線の既知の部分と完璧に一致するものだけを残し、奇妙に見えたり場違いに見えたりするものは捨て去ります。これにより、単に一つの答えを出すだけでなく、答えの範囲を示すことができ、事実上、補完に対する不確実性を定量化することができます。

しかし、彼らはそこで止まりませんでした。アーティスト（VAE）が、曲線のあらゆるねじれや回転を完璧に学習するための十分な例を持っていない場合があることに気づいたからです。そこで、彼らは「結合拡散プロセス（joint diffusion process）」を追加しました。これは、魔法の霧がゆっくりと晴れていく様子を想像してください。あなたは欠落したピースと曲線の形状に関する完全にぼやけたノイズ混じりの推測からスタートし、モデルはステップバイステップで「デノイジング（ノイズ除去）」を行い、局所的な詳細と全体的な形状の両方を尊重した、鋭く完璧なフィットへと洗練させていきます。これは低次元空間で行われるため、巨大な高次元の部屋の中でノイズを取り除くよりもはるかに高速で効率的です。

彼らの実験結果は非常に説得力があります。円、球、トーラス（ドーナツ型）の形をした合成データでテストした際、彼らの手法は、主要な手法よりもデータの真の形状を保持することにおいて優れた補完を実現しました。標準的な手法（MissForest）は、単に隣接する値に近い数値を推測することで、低い「エラースコア（RMSE）」を出すことがありましたが、しばしば幾何学的な形状を壊してしまいました。一方、著者の手法は、最も低い「ワッサースタイン距離（Wasserstein distance）」を達成しました。これは、補完されたデータの全体的な形状と分布が、元の壊れていない絵にいかに近いかを示す高度な指標です。

超伝導体（電気抵抗がゼロで電気を通す材料）やエネルギー消費といった実世界のデータセットにおいても、著者らの手法は強力な競合相手であることが分かりました。データがランダムに欠落している場合にはMissForestとほぼ同等の性能を示しましたが、欠損がトリッキーであったり、大量に欠落していたりする場合にその真価を発揮しました。このような困難なシナリオにおいて、彼らの手法は堅牢であり続け、他の手法が崩壊し始める一方で、高い精度を維持しました。例えば、超伝導のデータセットにおいて、彼らの手法は欠損が非ランダムである場合でも最も低いエラー率を維持しており、これはデータの背後にある幾何学を理解することが、データが非ランダムな形で「隠れている」場合でも正しく推測するのに役立つことを示唆しています。

ただし、論文はこれがあらゆる問題に対する魔法の杖ではないことも慎重に注記しています。この手法は、データが実際に滑らかな低次元の曲線に従っているという「多様体仮説」に大きく依存しています。もしデータが単なるランダムなノイズであったり、明確な形状を持っていなかったりする場合、この手法は苦戦する可能性があります。また、ワインの品質のような小さなデータセットでは、手法がそれほど良いパフォーマンスを示さなかったことも判明しました。これは、アーティストに曲線を描かせるための学習データが不足していたためと考えられます。そのようなケースでは、単に最近傍を見るだけのより単純な手法の方が効果的でした。

結局のところ、この論文は、多様体学習の幾何学的理解と拡散モデルの生成能力を組み合わせることで、データの背後にある宇宙の形状に「しっくりくる」方法で欠損データを埋めることができると示唆しています。それは、単に利用可能な最も近いレンガで穴を埋めることから、欠落したピースを彫刻して、壁の曲線に完璧にフィットさせることへの転換です。これには多くの計算能力と特定のデータ構造を必要としますが、データの「形」が数値と同じくらい重要となる分野において、より正確で信頼できるデータ復元への有望な道筋を提供しています。