PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

本論文は、大規模な 3D データでネイティブに学習された初のプロンプト可能 3D パートセグメンテーションモデル「PartSAM」を提案し、そのスケーラブルなアーキテクチャと 500 万組以上の 3D 形状 - パート対データによる大規模注釈パイプラインを通じて、既存の 2D 転移学習アプローチを凌駕する高精度かつ汎用的な 3D 物体の部品分解を実現することを示しています。

要約

PartSAM：3D 世界の「部品分解」を魔法のようにする新しい AI

こんにちは！今日は、コンピュータビジョン（画像認識）の分野でとても画期的な新しい研究「PartSAM」について、難しい専門用語を使わずに、わかりやすくお話しします。

この研究は、2026 年の国際会議「ICLR」で発表されたものです。

🧩 従来の方法の「悩み」と PartSAM の「解決策」

1. これまでの「3D 部品分解」はなぜ難しかった？

これまで、3D のキャラクターや椅子、車などのモデルを「部品」ごとに分解する AI は、2 つの大きな問題を抱えていました。

• 問題 A：「2D 写真の貼り付け」に頼りすぎている
  以前の AI は、3D 物体を「2D の写真（画像）」として何枚も撮り、その写真から部品を切り取って、無理やり 3D に戻すという方法をとっていました。
  👉 たとえ話： これは、**「3D の人形を分解したいのに、まずその人形の写真を撮って、写真から切り抜いた紙片を 3D 空間に貼り付けて、人形を復元しようとしている」**ようなものです。

  • 欠点： 写真で見えない「裏側」や「内部」の構造（例えば、車のシートや、人形の服の下の体）は、写真からは見えないので、AI は「そこには何もない」と勘違いしてしまいます。

• 問題 B：「決まった部品リスト」しか知らない
  従来の AI は「椅子なら『座面』『脚』『背もたれ』」のように、事前に決まった部品しか認識できませんでした。新しい形の AI 生成キャラクターや、見たことのない物体が出ると、パニックになって正しく分解できませんでした。

2. PartSAM の「魔法」：3D そのものを理解する

PartSAM は、この問題を根本から解決しました。

• 3D 自体で勉強した「天才」
  PartSAM は、2D の写真から推測するのではなく、「500 万個以上」の 3D モデルそのものを直接見て勉強しました。
  👉 たとえ話： これは、**「人形を分解する練習を、2D の写真ではなく、実際に 3D の人形を何百万個も触って、分解して、組み立てることで学んだ職人」**のようなものです。

  • メリット： 写真では見えない「内部の構造」や「隠れた部品」も、3D 空間の奥深くまで理解しているため、完璧に分解できます。

• 「ポチッ」というだけで分解
  PartSAM は、ユーザーが 3D モデルのどこか一点を「ここを分解して」とクリックするだけで、その部品を正確に切り取ることができます。
  👉 たとえ話： 3D モデルに「ここを指差して」と言うと、AI が「はい、この部分だけピカッと光らせて取り外します！」と即座に答えるような感覚です。

🛠️ PartSAM が使われると、どんなことが変わる？

この技術は、単に「分割する」だけでなく、以下のような楽しい応用が可能です。

1. 3D モデルの「内側」をいじれる
   • 例：ロボットの人形を分解すると、服の下にある「手足」や「内部のギア」まで正確に分離できます。これまでは見えない部分は分解できませんでしたが、PartSAM なら可能です。
2. AI が作った変な形も分解できる
   • 最近の AI は、人間が作ったものとは違う奇妙な 3D モデルを作ることもありますが、PartSAM は「見たことのない形」でも、部品ごとに正しく分解してくれます。
3. 「全部自動分解」モード
   • クリックしなくても、「この物体を全部、部品ごとにバラバラにして！」と命令すると、自動的にすべての部品を分離してくれます。

🚀 なぜこれがすごいのか？（まとめ）

PartSAM は、**「3D 空間そのものを理解する」**という新しいアプローチで、これまでの「2D 写真から推測する」方法の限界を打ち破りました。

• 従来の方法： 2D の写真から推測 → 内部が見えない、複雑な形に弱い。
• PartSAM： 3D 自体を勉強 → 内部も見える、どんな形でも分解できる。

これは、3D データの扱い方において、「2D の延長線上」から「3D 独自の思考」へとパラダイムシフト（転換）が起きたことを意味します。

今後は、この技術を使って、AR（拡張現実）で家具を分解して中身を見たり、ロボットが複雑な道具を分解して修理したり、ゲームでキャラクターのパーツを自由にカスタマイズしたりすることが、もっと簡単になるでしょう。

PartSAM は、3D 世界の「部品分解」を、まるで魔法のように簡単で正確なものに変える、画期的なステップなのです！

技術概要

PartSAM: 大規模ネイティブ 3D データで学習されたスケーラブルなプロンプト型パーツセグメンテーションモデル

技術サマリー（日本語）

本論文は、ICLR 2026 にて発表された「PartSAM」という新しい 3D パーツセグメンテーションモデルを提案するものです。従来の 2D 基礎モデル（SAM など）からの知識転移に依存する手法の限界を克服し、大規模なネイティブな 3D データを用いて直接学習された、スケーラブルで汎用性の高い 3D 理解モデルを実現しています。

1. 背景と課題 (Problem)

3D オブジェクトを意味のあるパーツに分割することは、3D アセット作成、AR/VR、ロボティクスなどにおいて重要な課題です。しかし、既存の手法には以下の重大な限界がありました。

• クローズドワールドの制約: 従来の手法（ShapeNet-Part や PartNet 等）は事前に定義された限られたカテゴリ（例：椅子の「脚」「背もたれ」）に依存しており、未知のオブジェクトや新しいパーツ定義への汎化が困難です。
• 2D からの知識転移の限界: 近年、SAM（Segment Anything Model）などの 2D 基礎モデルから知識を転移する手法（SAMPart3D, PartField など）が提案されました。しかし、これらは多視点からの 2D マスクを 3D 空間に「持ち上げる（lifting）」間接的なアプローチに依存しています。
  • 表面だけの理解: 2D マスクは可視表面のみを捉えるため、内部構造や隠れたパーツの理解が不十分です（図 2, 9 参照）。
  • 制御性の欠如: クラスタリングベースの手法は、ユーザーの意図を反映した柔軟なインタラクションが難しく、断片的な結果になりがちです。
  • スケーラビリティの問題: 2D マスクの投影や最適化には計算コストが高く、大規模データでの学習や推論が困難です。

2. 提案手法 (Methodology)

PartSAM は、画像領域の SAM に倣った「プロンプト型（プロンプトガイド型）」のエンコーダ・デコーダアーキテクチャを採用し、ネイティブな 3D データで直接学習することで、上記の課題を解決します。

2.1 データキュレーション：大規模ネイティブ 3D パーツデータ

2D マスクに依存しない大規模な教師データを作成するため、「モデル・イン・ザ・ループ（Model-in-the-Loop）」アノテーションパイプラインを提案しました。

• フェーズ 1: Objaverse などの既存アセットから、アーティストによるシーングラフや連結成分（Connected Components）を利用し、約 18 万形状、200 万パーツの教師データを抽出します。
• フェーズ 2: 高度に断片化されたアセット（単一のパーツとして意味をなさない多数のメッシュ）に対して、事前学習済みの PartSAM と PartField を連携させ、インタラクティブなシミュレーションを通じてノイズを除去し、高品質な擬似ラベルを生成します。
• 結果: これにより、500 万を超える形状 - パーツペアからなる大規模で多様なネイティブ 3D データセットを構築しました。

2.2 アーキテクチャ：スケーラブルなエンコーダ・デコーダ

• 双枝型エンコーダ（Dual-branch Encoder）:
  • Triplane 特徴場: 3D 形状を連続的な Triplane 特徴場として表現します。
  • 2 つのブランチ:
    1. 凍結ブランチ: 既存の PartField（SAM からの知識をコントラスト学習で獲得）の重みを凍結し、強力な 2D 事前知識を保持します。
    2. 学習可能ブランチ: ネイティブな 3D データから新しいパーツ表現を学習します。座標だけでなく、法線や RGB 情報も入力として取り込み、局所的な形状の詳細を捉えます。
  • この設計により、2D の強力な事前知識を維持しつつ、ネイティブ 3D 教師信号へのスケーリングを可能にしています。
• プロンプトガイド型マスクデコーダ:
  • ユーザーのクリック（正・負のプロンプト）に基づいて、セグメンテーションマスクを直接生成します。
  • SAM と同様に、複数の出力トークンと IoU トークン（マスクの品質推定用）を使用し、複数の候補マスクから最適なものを自動選択します。
  • 反復的なインタラクション（エラー領域からの追加プロンプト）に対応可能です。

2.3 自動セグメンテーションモード

単一プロンプトだけでなく、「Segment Every Part」モードを導入し、形状全体を自動的に分解する機能を備えています。FPS（Farthest Point Sampling）でサンプリングした点をプロンプトとして扱い、生成された候補マスクを IoU スコアと非最大抑制（NMS）でフィルタリングし、メッシュの全パーツを意味的に分解します。

3. 主要な貢献 (Key Contributions)

1. PartSAM の提案: ネイティブな 3D 教師信号で学習された、世界初のスケーラブルなフィードフォワード型プロンプト可変 3D パーツセグメンテーションモデル。
2. 双枝型エンコーダの設計: 3D 形状をロバストなパーツ認識特徴場として表現し、大規模 3D 教師信号へのスケーリングと SAM に由来する強力な 2D 事前知識の維持を両立。
3. 大規模データパイプライン: モデル・イン・ザ・ループ戦略を用いた、500 万ペア以上の高品質なネイティブ 3D パーツデータセットの構築。
4. SOTA 性能の達成: 複数のオープンワールドベンチマークにおいて、既存の最先端手法を大幅に上回る性能を達成。

4. 実験結果 (Results)

• インタラクティブセグメンテーション:
  • PartObjaverse-Tiny および PartNetE において、Point-SAM（Zhou et al., 2025）と比較して、単一プロンプト（IoU@1）で90% 以上の相対的な改善（例：PartObjaverse-Tiny で 29.4% → 56.1%）を達成しました。
  • 単一クリックでも、隠れた部分（膝など）を含む完全なパーツを正確に分割できることを示しました。
• クラス非依存の自動セグメンテーション:
  • 既存の手法（SAMesh, PartField など）と比較して、PartObjaverse-Tiny で69.5%、PartNetE で**72.4%**の平均 IoU を達成し、2 位との差が 20% 以上となりました。
  • 特に、AI 生成メッシュ（Hunyuan3D など）や内部構造を持つオブジェクトにおいて、2D 転移手法が失敗するケースでも、PartSAM は一貫性のある内部パーツまで正確に分割できました（図 8, 9）。
• スケーリング分析:
  • 学習データサイズを 4 万から 50 万形状に増やすと、性能が継続的に向上し、大規模ネイティブ 3D データの重要性を確認しました。

5. 意義と将来展望 (Significance)

PartSAM は、3D パーツ理解におけるパラダイムシフトを示しています。

• 2D 依存からの脱却: 2D マスクの投影に依存せず、ネイティブな 3D 幾何学構造そのものを理解することで、内部構造や隠れたパーツの分解を可能にしました。
• 汎用性と制御性: ユーザープロンプトによる柔軟なインタラクションと、自動分解機能の両立により、実世界の多様なシナリオに対応可能な基盤モデルとしての地位を確立しました。
• 将来の応用: 3D アセットの編集、アモダル（不可視部分を含む）セグメンテーション、ロボティクスにおける把持計画など、幅広い下游タスクへの応用が期待されます。

本論文は、大規模なネイティブ 3D データとスケーラブルなアーキテクチャの組み合わせが、3D 基礎モデルの発展において決定的な役割を果たすことを実証しました。