A multimodal dataset for reconstructing common marmoset body-environment interactions in a 3D digital-twin framework

小さな猿がどのように世界と関わっているのかを理解しようとしている場面を想像してみてください。しかし、手元にあるのは平面的な二次元の写真や、単純な棒人間のような図解だけです。それが、これまでマーモセット（科学研究によく用いられる小型の霊長類）の研究における限界でした。この論文は、これらの猿とその周囲の環境の完全な3Dデジタルツインを作成することで、ゲームのルールを変えるような、大規模で新しい「デジタルツールボックス」を紹介するものです。

このデータセットを、単なるビデオのコレクションではなく、科学者のための超詳細なビデオゲームのアセットパックだと考えてください。日常的な言葉で分解すると、その何が特別なのかが見えてきます。

• 「彫刻された」体： 猿の内部がどのような姿をしているのかを単に推測するのではなく、研究者たちは医療用CTスキャン（ハイテクな3D X線のようなもの）を使用して、猿の実際の体の形に完全に一致する、ソリッドなメッシュを構築しました。これは、デジタルの粘土モデルが、実際の動物の骨や筋肉と正確に一致しているようなものです。
• 「毛皮」と「皮膚」： 彼らは骨格だけで終わらせませんでした。実物の写真を使用して、デジタルのモデルに毛皮や皮膚の質感を追加したため、デジタルモデルは滑らかなプラスチックのおもちゃではなく、本物のように見え、感じられるようになっています。
• 「パペットマスター（操り人形師）」システム： 彼らは「リグ（骨組み）」を組み込んだモデルを作成しました。これは、目に見えない糸がついたデジタルのマリオネットのようなものです。これにより、科学者は猿の手足を動かし、映画のキャラクターをアニメーションさせるように、3D空間で歩いたり、跳んだり、登ったりする様子を観察することができます。
• 「監視」セットアップ： 猿が実際にどのように動いているかを捉えるために、チームは3匹の異なる猿を合計約90時間にわたって撮影しました。8台の異なるカメラを同時に使用し、360度の視界を作り出しました。これは、決して瞬きをしないセキュリティシステムのようで、あらゆる角度から猿の生活を捉えています。
• 「仮想の部屋」： 彼らは単に猿を撮影しただけではありません。設計図を使用して、猿がいた部屋や装置の3Dデジタル複製も構築しました。つまり、デジタルの猿は空白の中に浮いているのではなく、現実のケージの仮想バージョンと相互作用しているのです。
• 「一人称」視点： 猿の動きのデータと3Dモデルを組み合わせることで、「擬似的なエゴセントリック（自己中心的な）」視点を生成しました。現実のデータに基づいてコンピュータが生成した、まさに猿が見ている通りの世界を体験している様子を想像してください。

うまくいったのか？
チームは「品質管理」チェックを実施しました。彼らは、デジタルの粘土モデルを実際のCTスキャンと比較し、形状が一致しているかを確認しました。また、ビデオ内でコンピュータが猿の肘や膝を正しく検出できるかを確認しました。仮想の部屋のサイズを測定して正しい大きさであることを確認し、コンピュータが生成した画像と実物の写真を比較して、見た目が同じであるかを確認しました。その結果、デジタルツインは正確で信頼できるものであることが示されました。

なぜこれが重要なのか？
これまでは、科学者は主に、画面上を動く単純な「点」として猿を追跡してきました。このデータセットにより、彼らは猿の行動を、実際の体の形や環境への適合性を含む、完全な三次元の物語として扱うことができるようになります。これは、より優れた行動研究のための原材料を提供し、リアルな可視化を実現し、コンピュータのための新しい学習データを生成し、科学者が仮想世界で動物をシミュレーションして研究できる将来の「デジタルツイン」研究の基礎を築くものです。