あなたは、完璧な人間の3Dモデルを構築しようとしていると想像してください。しかし、手元にあるのは、実在する人物から採取された、バラバラで不完全な点の集まり（ポイントクラウド）だけです。これは、コンピュータが3Dの世界をどのように「見て」理解するかを学習する分野である、コンピュータビジョンにおいて非常に大きな挑戦です。何十年もの間、科学者たちはこれを、単一の正解を持つ数学の問題として扱うことで解決しようとしてきました。つまり、標準的なボディテンプレートを、あのバラバラな点に適合させるための「唯一の完璧な方法」が存在すると仮定してきたのです。しかし、現実の世界は混沌としています。カメラはミスを犯し、人は遮られることもあり、皮膚や筋肉は、完全に予測可能な形ではなく、うねったり伸びたりします。単一の「平均的な」答えを無理に押し付けようとすると、脚が消えてしまったり、腕が胸を突き抜けたりといった、奇妙で不可能な見た目の体になってしまいます。

これを解決するために、研究者たちは「拡散モデル（diffusion models）」と呼ばれる新しい種類のAIに注目しています。拡散モデルは、一種の「魔法のデノイジング（ノイズ除去）マシン」だと考えてください。写真が静止画の砂嵐（スノーノイズ）に覆われている様子を想像してみてください。拡散モデルは、その砂嵐を、ステップ・バイ・ステップでゆっくりと拭き取っていく方法を学び、その下に隠れている鮮明な画像を出現させます。通常、これらのモデルはゼロから新しいアートを作成するために使われます。しかし、もしこれを使えるのが「創造」するためだけでなく、「修正」するためだとしたらどうでしょう？ もし、ノイズ混じりで壊れた3Dスキャンを取り込み、この「デノイジング」の魔法を使って、その下にある最も可能性の高い、現実的な形状を導き出すことができたら？ これこそが、この論文が取り組んでいる大きな問いです。単一の答えを推測するのではなく、現実的で妥当な可能性の範囲全体を、コンピュータに想像させることはできるのでしょうか？

問題点：「平均的な」推測の失敗

長い間、コンピュータ科学者は、3Dの人体を「回帰タスク」として扱うことで、レジストレーション（あるいはアライメント／適合）を行おうとしてきました。平たく言えば、「ここに、ある人物のバラバラなスキャンがあります。標準的なボディテンプレートのすべての点に対して、正確な位置を一つ教えてください」とコンピュータに求めてきたのです。

問題は、このアプローチが「唯一の正解」があることを前提としている点です。しかし、現実の世界にはそんなものはありません。カメラが人物の左腕を捉え損ねたり、あるいは人物がゆったりとした服を着ていたりする場合、コンピュータはその腕が正確にどこにあるのかを知り得ません。たった一つの答えを選ばなければならない状況に追い込まれると、コンピュータは通常、パニックを起こして「平均的な」推測を選んでしまいます。その結果、足りない腕が本来あるべき場所と胴体のちょうど中間あたりに配置され、体が溶けているように見えたり、脚が腹部にめり込んでいたりするような結果を招きます。それは、これまで見てきたすべての雲の平均を取って、特定の雲の正確な形を推測しようとするようなものです。得られるのは、何の意味もなさない塊です。

解決策：ODin、「秩序ある」夢想家

この論文の著者であるMattia Masmaso氏とそのチームは、「一つの答え」を求めるのをやめ、「答えの分布」を求めることにしました。彼らは、ODin（Ordered Diffusion）と呼ばれる新しいシステムを構築しました。

ODinを、完全にバラバラになった粘土の塊（純粋なノイズ）から始まる、非常に賢く忍耐強い彫刻家だと考えてください。ODinは、一度に最終的な形を削り出そうとするのではなく、ノイズを一層ずつ、一歩ずつゆっくりと剥ぎ取っていくことで、その下にある体を明らかにしていきます。しかし、ここに魔法のトリックがあります。他の手法は形を正しく捉えても「どの部分がどこか」を見失ってしまうことがありますが、ODinは厳格な「秩序」を維持します。ODinは、リストの50番目の点は必ず左肘であり、100番目の点は右膝であることを知っています。この「秩序付け（ordering）」こそが極めて重要であり、これによってコンピュータは、バラバラなスキャンを標準的な人間のボディテンプレートへと完璧にマッピングできるのです。

ODinがいかにして世界を「見る」か

このデノイジングのプロセスを導くために、ODinは、ノイズがどこへ向かうべきかを指示する3種類の異なる手がかり、すなわち「コンディショニング（条件付け）」を使用します。

1. 全体像（Global）： スキャン全体を見て、一般的な形状を理解します。背が高い人なのか？ 背が低い人なのか？
2. 細部（Local）： 特定の箇所に注目します。もしスキャンに肩の部分が見えているなら、肩付近のノイズに対して「おい、お前はここへ動く必要があるぞ」と伝えます。
3. アイデンティティ（Positional/位置情報）： すべての点の「IDカード」を記憶しています。点番号#1は鼻であり、点番号#689は左足であることを知っているため、決して場所を混同することはありません。

この論文は、これら3つの手がかりを組み合わせることで、体全体を完璧に見ることができなくても、ODinがノイズ混じりの点を正しい位置へと導けることを示唆しています。たとえスキャンから手足の一部が欠落していても、ODinは単なる「平均」を推測するのではなく、可能性の分布からサンプリングを行います。これは、欠落した部位に対して、壊れた平均的な形を作るのではなく、いくつかの異なる、現実的なバージョンを生成できることを意味します。

得られた成果

チームは、人が欠損していたり、一部しか見えていなかったりする実世界のデータを用いて、ODinのテストを行いました。その結果は目覚ましいものでした。

• 精度の向上： ODinは現在の最高手法（NICPなど）を凌駕し、エラーを大幅に減少させました。DFAUSTデータセットを用いたテストでは、ODinは（最終的な仕上げ前の段階で）1.15 cmのエラーを達成しましたが、これは従来の最高手法の1.47 cmと比較して優れた数値です。
• 速度： 単に正確なだけでなく、より高速でした。ODinは約9秒でレジストレーションを完了しましたが、旧来の手法では35秒かかっていました。これは3倍以上のスピードアップです。
• 欠損部分への対応： スキャンから脚が欠落している場合、旧来の手法では、切り株のように見えたり体が突き抜けたりする「ゴーストレッグ（幽霊の脚）」が生じることがよくありました。しかし、ODinは欠落した情報を尊重した上で、現実的なポーズを生成し、壊れて見えない、もっともらしい体型を作り出しました。

著者らはまた、「もしも」の実験も行いました。「ローカルな手がかり（詳細なスポットチェック）」や「秩序付け（点のIDカード）」を取り除いてみました。その結果、システムは完全に失敗しました。秩序付けがなければ、体は崩壊してメチャクチャになり、ローカルな詳細がなければ、形状はぼやけすぎてしまいました。これは、これら3つの要素すべてが、魔法を成立させるために不可欠であることを証明しています。

結論

この論文は、3Dヒューマン・レジストレーションを「唯一の正解」を持つ「推測ゲーム」として扱うことは、行き止まりであることを示唆しています。代わりに、拡散モデルを使用して幅広い可能性を探索することで、入力データが乱雑であったり不完全であったりしても、より正確で、より現実的な3Dモデルを作成できるのです。著者らは、彼らのシステムが、家具などの物が密集した極端に混雑した環境では依然として苦戦する可能性があると指摘していますが、コンピュータに人間の体を理解させるための新しい扉を開きました。この生成的なアプローチは、硬直した「平均的な推測」から、柔軟でインテリジェントな再構築へと私たちを導く、有望な新しい方向性なのです。