SAMa: Material-aware 3D Selection and Segmentation

この論文は、SAM2 の動画事前学習を活用し、2D 予測を深度情報を介して 3D 点群に投影・拡張することで、任意の 3D 表現から最適化不要かつマルチビュー一貫性を持って素材を素早く選択・分割する「SAMa」を提案するものです。

要約

SAMa：3D デジタル世界の「素材」を瞬時に見つけ出す魔法のツール

こんにちは！今日は、Adobe 研究開発チームとロンドン大学ユニバーシティ・カレッジ（UCL）の研究者たちが開発した、**「SAMa（サマ）」**という画期的な技術について、難しい専門用語を使わずに解説します。

想像してみてください。あなたが 3D で作られた美しいお城のモデルを持っています。でも、このお城には「石造りの壁」「木製の扉」「ガラスの窓」が混ざり合っています。もし、**「石造りの壁だけを赤く塗りたい」とか「木製の扉だけを取り外したい」**と思ったら、どうしますか？

これまでの技術では、職人が一つ一つ手作業で選んでいく必要があり、とても時間がかかりました。しかし、SAMaは、まるで魔法のように、**「ここをクリックするだけ」**で、同じ素材（石、木、ガラスなど）の部分を瞬時に見つけ出し、選んでくれるのです。

---

🎬 1. 動画の「追跡」能力を、3D の「素材」探しに応用

この技術の最大の特徴は、**「動画の追跡」**というアイデアを流用している点です。

• 従来の問題： 2D の画像（写真）で「同じ素材」を探すのは簡単でも、それを 3D 空間に広げると、角度が変わるたびに「これは同じ木なのか？」と迷ってしまいます。これまでの AI は、写真ごとにバラバラに判断してしまい、3D 全体で見るとぐちゃぐちゃになっていました。
• SAMa の解決策： 研究者たちは、**「動画の AI（SAM2）」**に注目しました。動画 AI は、カメラが動いても「あの犬は同じ犬だ！」と追跡し続けるのが得意です。
  • アナロジー： 動画 AI は、**「追跡するカメラマン」**のようなものです。被写体（犬）が動いても、ずっと同じ対象を見守り続けます。
  • SAMa は、この「追跡するカメラマン」の能力を、**「同じ素材を探す」**ことに転用しました。「この石は、どの角度から見ても同じ石だ！」と、360 度どこから見ても一貫して判断できるようになったのです。

🌐 2. 「3D 素材の地図」を一瞬で作る

では、どうやって 3D 空間で正確に選べるのでしょうか？ここには、**「3D 素材の地図」**を作るという工夫があります。

1. クリック： ユーザーが 3D モデル上の「石の壁」のどこか一点をクリックします。
2. 写真撮影： AI がそのオブジェクトを、あらゆる角度から一瞬で撮影し、それぞれの写真で「クリックした石に似た場所」を探します。
3. 地図作成： 見つかった情報を、3D 空間に「点（ドット）」として投影し、**「素材の類似度マップ（地図）」**を作ります。
   • アナロジー： これは、**「3D 空間に、素材ごとの色がついた透明な点の雲」**を浮かべるようなイメージです。石の部分は青い点、木は赤い点、といったように。
4. 即座の検索： ユーザーがカメラを動かして新しい角度から見ても、AI はその「点の雲」から瞬時に「今見ている場所の素材は何か？」を調べることができます。

このおかげで、**「クリックしてから結果が出るまで、わずか 2 秒」**という驚異的な速さを実現しています。従来の方法では、同じ作業をするのに数十分から数時間かかっていたのですから、革命的なスピードです。

🛠️ 3. 何ができるの？（具体的な活用シーン）

SAMa ができると、3D デザイナーやアーティストの作業は劇的に楽になります。

• 🎨 素材の差し替え：
  • 「この 3D モデル、全部プラスチックっぽいけど、木製にしたいな」→ クリック一発で、木に見える部分だけを自動で選び、木目テクスチャに差し替えられます。
• 🚀 3D 生成 AI の補強：
  • 最近の「文章から 3D を作る AI」は、出来上がったモデルの素材がバラバラだったり、質感が平らだったりします。SAMa を使えば、**「この部分だけ金属っぽく、ここだけ布っぽく」**と、後から細かく調整して、本物のような質感（PBR マテリアル）に仕上げることができます。
• 🏗️ 分解と編集：
  • 複雑な 3D モデルを、素材ごとにバラバラに分解して、個別に動かしたり消したりすることも簡単です。

🌟 まとめ：3D デザインの「魔法の指」

SAMa は、**「3D 空間の中で、同じ素材の部分を瞬時に見つけ出し、選べるようにする」**という、これまで手作業でしかできなかった難題を、AI と動画の技術で解決した画期的なツールです。

• 従来の方法： 職人が一つ一つ手作業で石を拾う（時間がかかる）。
• SAMa の方法： 魔法の指先で「石」を呼ぶと、すべての石が瞬時に集まってくる（一瞬で完了）。

これにより、3D アートやゲーム開発、建築デザインなどの分野で、クリエイターは「素材を選ぶ」という面倒な作業から解放され、もっと創造的な部分に集中できるようになるでしょう。

---

プロジェクトページ： https://mfischer-ucl.github.io/sama/
（※リンク先には、実際のデモ動画や、さまざまな素材が瞬時に選ばれる様子がご覧いただけます！）

技術概要

SAMa: 素材認識を備えた 3D 選択・セグメンテーション手法

技術的サマリー（日本語）

本論文は、任意の 3D 表現（メッシュ、NeRF、3D ガウススプラットなど）に対して、ユーザーのクリックに基づいて「同じ素材（テクスチャや反射特性を共有する領域）」を選択・セグメンテーションする新しい手法SAMa (Select Any Material) を提案しています。

以下に、問題定義、手法、主な貢献、評価結果、および意義について詳細をまとめます。

---

1. 課題背景と問題定義

• 現状の課題: 3D アセットを素材ごとに分解・編集することはアーティストにとって一般的ですが、現在は手作業に依存しており、非常に時間がかかります。
• 既存手法の限界:
  • 2D 画像ベースの手法: 既存の素材セグメンテーションモデル（例：Materialistic）は 2D 画像で訓練されているため、3D 空間での「多視点一貫性（multiview consistency）」が保たれません。異なる視点から見た同じ 3D 点に対して、一貫した選択結果が得られないという問題があります。
  • 3D 最適化ベースの手法: 2D の選択結果を 3D に持ち上げるために、アセットごとに特徴量蒸留（Feature Field Distillation）や対照学習（Contrastive Learning）による最適化を行う手法が存在しますが、これらは非常に計算コストが高く（20 分〜数時間）、アセットごとに実行する必要があるため、インタラクティブな編集には不向きです。
  • 汎用セグメンテーションモデル: SAM や SAM2 はオブジェクト単位での選択に特化しており、素材の微妙な違い（例：同じ「木」でも異なる質感）を区別したり、素材ベースの選択を行ったりするには不十分です。

2. 提案手法 (SAMa) の概要

SAMa は、動画選択モデル（SAM2）を素材選択タスクに適応させ、効率的かつ高精度に 3D 選択を実現する手法です。

2.1. 動画モデルの素材選択への転用 (Fine-tuning)

• ベースモデル: 動画内のオブジェクト選択に特化したSAM2をベースに採用します。
• データセットの構築: 既存の 2D 画像データセットではなく、素材セグメンテーション注釈付きのカスタム動画データセットを構築しました。
  • 複数のオブジェクトと素材をランダムに配置し、ズームイン/アウト、回転、フライオーバーなどの滑らかなカメラ軌道でレンダリングした 30 フレームの動画を生成。
  • 同一素材がシーン内で複数箇所に現れるようにし、「オブジェクト選択」と「素材選択」を明確に区別できるように設計。
• 微調整 (Fine-tuning):
  • SAM2 の画像エンコーダー（Hiera）は凍結し、メモリアテンションモジュールとマスクデコーダーを微調整します。
  • 重要な洞察: 画像データのみで微調整すると、未見のフレームでの選択が不安定になります。動画データで微調整することで、フレーム間のメモリ機構（Memory Bank）が適切に機能し、高い多視点一貫性を獲得できます。

2.2. 2D 類似度マップから 3D への効率的な持ち上げ (Lifting)

従来のアセットごとの最適化を不要にするため、以下のような軽量なアプローチを採用しています。

1. キーフレームのレンダリング: ユーザーがクリックした視点を含め、オブジェクトを覆うように複数の視点（キーフレーム）をレンダリングします。
2. 2D 類似度マップの生成: 微調整済み SAMa モデルを用いて、各視点でクリックした素材との類似度マップ（浮動小数点マップ）を生成します。
3. 3D 類似度点雲の構築: 深度情報（Depth）を用いて、各ピクセルの 2D 類似度値を 3D 空間へ逆投影（Back-projection）し、オブジェクト表面付近に配置された3D 類似度点雲を構築します。
4. kNN 検索による可視化: 新しい視点からの選択結果を表示する際、レンダリング中のレイヒットポイントに対して、構築された点雲からの**k-近傍探索（kNN）**を行い、類似度値を取得します。
   • 高速化: FAISS ライブラリを用いた GPU 加速された近似近傍探索により、新しい視点からの選択可視化は10〜20 ミリ秒で完了します。
   • ノイズ低減: 点雲に対して kNN 投票（k 近傍の過半数が閾値を超えれば選択とする）を行うことで、選択の精度と滑らかさを向上させています。

2.3. 補完的な工夫

• フレームの重複 (Frame Duplication): クリックが行われたフレームにおいて、メモリモジュールが参照されないためノイズが発生しやすい問題を解決するため、クリックフレームをシーケンス内で重複させ、メモリ機構を強制して選択品質を向上させています。

3. 主な貢献

1. 動画モデルの素材選択への適応: 新規に作成した高密度な素材注釈付き動画データセットを用いて、SAM2 を素材選択タスクに特化させました。
2. 高速かつ効率的な 3D 投影: 動画モデルのフレーム間一貫性を活用し、アセットごとの重たい最適化なしに、2D 選択を 3D へ持ち上げる軽量な点雲ベースのアプローチを提案しました。
3. マルチモーダル対応: メッシュ、NeRF、3D ガウススプラットなど、深度と画像が取得可能な任意の 3D 表現に対応し、インタラクティブな編集を可能にしました。

4. 評価結果

メッシュ、NeRF、3D ガウススプラットを含む 3 つのデータセット（NeRF データセット、MIPNeRF-360、自作データセット）で評価を行いました。

• 選択精度 (Selection Accuracy):
  • 既存の手法（Materialistic, SAM2 等）と比較して、mIoU（平均交差率）と F1 スコアで顕著に高い性能を示しました。
  • 特に、Materialistic は多視点一貫性が低く、SAM2 はオブジェクト単位で選択してしまうため、素材レベルの選択では SAMa が優位でした。
• 多視点一貫性 (Multiview Consistency):
  • 異なる視点から見た同一の 3D 点における選択結果の一致度を測定。SAMa は SAM2 と同レベルの高い一貫性を維持しつつ、Materialistic ベースの手法よりも大幅に優れていました。
• ロバスト性:
  • 素材内の異なる位置をクリックしても、安定した選択結果が得られました。
• 処理速度:
  • クリックから選択完了までの時間を約 2 秒（点雲構築含む）に短縮しました。既存の最適化ベース手法（20 分〜数時間）と比較して、数百倍〜数千倍の高速化を実現しています。

5. 応用例

• 3D 編集: NeRF や 3D ガウススプラットにおける特定素材のみの色変更や削除。
• メッシュ編集: UV 空間へのマッピングにより、選択された素材領域のテクスチャ置換や PBR マテリアルの割り当て。
• 自動セグメンテーション: 複数のクリックを自動生成し、オブジェクトを素材 ID マップに分割する機能（10 秒未満で完了）。
• Text-to-3D の改善: 生成されたメッシュの拡散テクスチャを、選択された領域に PBR マテリアルで置換するワークフローへの適用。

6. 意義と結論

SAMa は、3D コンテンツ制作における素材管理のボトルネックを解消する画期的な手法です。

• 技術的意義: 動画ベースの学習が 3D 空間の一貫性獲得に有効であることを実証し、重たい最適化プロセスなしに高品質な 3D 選択を実現する新しいパラダイムを示しました。
• 実用的意義: アーティストや開発者が、NeRF や 3D ガウススプラットなどの新しい 3D 表現形式に対しても、直感的かつリアルタイムに素材を操作・編集することを可能にします。

本手法は、3D コンテンツの編集可能性を大幅に高め、生成 AI による 3D アセットのワークフロー（Text-to-3D など）をより実用的なものにする可能性を秘めています。