💻 computer science

Sapiens2

Sapiens2 は、10 億枚の高品質な人間画像を用いた大規模前学習と、低レベル詳細と高レベル意味の両方を捉えるための統合された事前学習手法を採用し、姿勢推定や身体部位セグメンテーションなど多様なタスクで最先端の性能を達成した、高解像度かつ汎用性の高いヒューマン中心ビジョンモデルファミリーです。

原著者： Rawal Khirodkar, He Wen, Julieta Martinez, Yuan Dong, Su Zhaoen, Shunsuke Saito

公開日 2026-04-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rawal Khirodkar, He Wen, Julieta Martinez, Yuan Dong, Su Zhaoen, Shunsuke Saito

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

SAPIENS2：人間の姿を「超・高画質」で理解する AI の新世代

この論文は、Meta（旧 Facebook）の Reality Labs が発表した新しい AI モデル「SAPIENS2（サピエンズ2）」について紹介しています。

一言で言うと、**「人間の姿や動きを、これまでにないほど細部まで正確に、そして高画質で理解できる AI」**です。

以前のバージョン（SAPIENS）が「人間の全体像を大まかに捉えるカメラ」だったとすれば、SAPIENS2 は**「人間の毛穴や髪の毛一本一本、表情の皺までくっきりと写し出す、最高級の望遠レンズ」**のようなものです。

以下に、専門用語を避け、身近な例え話を使って解説します。

1. 何ができるようになったの？（3 つの進化）

この AI は、人間の姿を扱うあらゆるタスクで、3 つの大きな進化を遂げました。

① 「どんな人間でも、どんな状況でも」理解できる（汎用性）

昔の AI： 写真館で整った姿勢で撮られた写真なら上手に認識できたが、街中で走っている人や、暗い場所にいる人だと混乱することがありました。
SAPIENS2： 10 億枚もの「人間の写真」を勉強させました。年齢、民族、服装、背景、照明条件など、ありとあらゆるパターンを網羅しています。
- 例え話： 以前は「制服を着た学生」しか見分けられなかった AI が、SAPIENS2 は「雨の日に傘をさしているおばあちゃん」から「砂漠で走っているアスリート」まで、誰が見ても「あ、人間だ！」と瞬時に理解できるようになりました。

② 「超・高画質」で細部まで捉える（高忠実度）

昔の AI： 画像を拡大すると、輪郭がぼやけたり、髪の毛がまとまってしまったりしていました。
SAPIENS2： 4K（超高解像度）の画像を処理できます。
- 例え話： 以前は「顔」という大きな塊としてしか見えていなかったものが、SAPIENS2 は**「唇の形」「耳に付けたピアス」「歯と歯茎の境目」「髪の毛の一本一本」**まで、ピクセル単位で正確に描き分けます。まるで、デジタルの顕微鏡で人間を見ているような精度です。

③ 「動き」だけでなく「質感」もわかる（多機能）

昔の AI： 「どこに手があるか（ポーズ）」や「どこが服か（セグメンテーション）」はわかりますが、それ以上は苦手でした。
SAPIENS2： 人間の表面の「質感」や「立体感」まで理解します。
- 例え話：
  - 姿勢： 関節の位置だけでなく、指先の微妙な動きまで追えます。
  - 立体感（法線）： 顔の皺や服のシワの向きまで理解し、3D 模型のように立体的に把握できます。
  - 色（アルベド）： 照明が変わっても、その人の「本当の肌の色」や「服の素材の色」を推測できます（例：暗い場所でも「あ、これは赤い服だ」とわかる）。

2. どうやってこんなに賢くなったの？（学習の秘密）

SAPIENS2 がこれほど優秀になったのには、2 つの「勉強法」の組み合わせが鍵です。

① 「パズル」を解く練習（マスク画像モデル）

仕組み： 画像の一部を隠して（マスクして）、隠れた部分を推測して復元させる練習をします。
効果： これにより、「低レベルな細部」（テクスチャ、色、輪郭）を学ぶことができます。
- 例え話： 絵の一部分を隠された状態で、隠れた部分が「髪の毛」なのか「背景の木」なのかを推測するパズルです。これにより、AI は「髪の毛の質感」や「肌の色」を細かく覚えます。

② 「似ているもの」を見つける練習（対照学習）

仕組み： 異なる角度や照明の同じ人物の写真を比較し、「これは同じ人だ」と理解させる練習です。
効果： これにより、「高レベルな意味」（これが「人」であること、ポーズの意味など）を学ぶことができます。
- 例え話： 雨の日の写真と晴れの日の写真を並べて、「どちらも『走っている人』だ」と理解させる授業です。これにより、AI は状況が変わっても「人」としての核心を理解します。

SAPIENS2 のすごいところ：
これまでの AI は、この 2 つの勉強法のどちらか一方しかやっていませんでした。SAPIENS2 は**「パズルで細部を覚えつつ、対照学習で意味を理解する」**という、両方の長所を兼ね備えた「最強の勉強法」を採用しました。

3. 具体的に何が変わった？（数字で見る進化）

論文のデータによると、SAPIENS2 は前世代のモデル（SAPIENS）を大きく凌駕しています。

姿勢推定： 関節の位置特定精度が約 4% 向上。
体のパーツ分割： 唇や舌、イヤリングなどの細かいパーツの識別精度が約 24% 向上（これは驚異的な進歩です！）。
立体感（法線）： 角度の誤差が 45% 以上減少。顔の皺や髪の質感が非常に滑らかに再現されます。

4. 将来、どう役立つの？

この技術は、単なる「写真分析」にとどまりません。

メタバースやゲーム： 実写の人間を、髪の毛一本まで忠実に再現した 3D アバターに変換できます。
医療・スポーツ： 微細な関節の動きや、皮膚の質感の変化から、怪我や疲労を分析できるかもしれません。
映画・VFX： 特殊効果で人間を合成する際、照明や質感がリアルになり、より自然な映像を作れます。

まとめ

SAPIENS2 は、**「人間の姿を、細部まで、そして意味まで、完璧に理解する AI」**です。
10 億枚の写真を学び、パズルと意味理解の両方をマスターした結果、これまでにない「高画質で、高機能な」人間の理解を実現しました。これからのデジタル世界において、人間を扱うすべての技術の「新しい基準（ベンチマーク）」となるでしょう。

Sapiens2: 高解像度・人間中心ビジョンのための基盤モデルの技術的サマリー

本論文は、メタ・リアリティ・ラボ（Meta Reality Labs）によって提案された、人間中心のビジョンタスクに特化した新しい基盤モデルファミリー「Sapiens2」について述べています。Sapiens（第1世代）の後継として、汎用性、多様性、そして高忠実度（High-fidelity）な出力を実現するために設計されており、0.4B から 5B のパラメータ規模、ネイティブ 1K 解像度、および階層的な 4K 解像度に対応しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

既存の人間中心ビジョンモデルや一般的なビジョン基盤モデルには、以下の課題がありました。

解像度と忠実度の限界: 従来のモデルは主に 1K 解像度で動作しており、細部（髪、アクセサリー、肌のシワなど）の推論において不十分でした。
特徴表現のトレードオフ:
- マスク画像モデル（MIM/MAE）: 低レベルの詳細（テクスチャなど）を学習するには優れていますが、高レベルのセマンティクス（意味理解）の獲得には過剰な教師信号が必要になる傾向があります。
- 対照学習（CL）: 意味的な汎化能力に優れますが、密な予測（dense prediction）タスクにおいて、細かな空間的詳細やフォトメトリックな忠実度（色など）が失われる（drift する）問題がありました。
データとアノテーションの不足: 大規模な人間画像データセットの不足や、タスク固有の高精度なアノテーション（特に野外画像）の欠如が、モデルの一般化能力を制限していました。

2. 手法とアーキテクチャ

Sapiens2 は、これらの課題を解決するために、データ、学習手法、アーキテクチャの 3 つの側面から革新を行いました。

2.1 データ: Humans-1B データセット

規模と選定: ウェブ規模の約 40 億枚の画像から、多段階フィルタリング（検出、姿勢推定、美観・リアリティスコア、CLIP 特徴量など）を経て、10 億枚の高品質な人間画像を抽出しました。
多様性: 年齢、民族、背景、照明条件、ポーズ、被り物など多様な条件をバランスよく含み、少なくとも 1 人の人物が prominent に写っている画像のみを採用しています。
事前学習時の制約: 事前学習段階では、タスクリベルや人間固有の事前知識（prior）は一切注入せず、データそのものからのみ学習を行います。

2.2 学習手法: 統一された事前学習目的関数

MIM と CL の長所を組み合わせ、低レベルの詳細と高レベルのセマンティクスを同時に学習させるハイブリッド手法を採用しています。

マスク画像復元（MAE）: 低レベルの詳細（テクスチャ、境界線）を維持し、高忠実度な密な予測を可能にします。
対照学習（CL）: 自己蒸留（self-distillation）を用いた対照損失を導入し、インスタンスレベルの不変性を学習させ、ゼロショットや少数ショット設定での汎化能力を向上させます。
目的関数: $L = L_{MAE} + \lambda L_{CL}$ として、両者を統合的に最適化します。これにより、色などの重要な手がかりを保持しつつ、セマンティックな特徴を整理された表現空間にマッピングします。

2.3 アーキテクチャ: 高解像度対応と安定性

階層的なアテンション（4K 対応）: 4K 入力に対応するため、ウィンドウ付き自己アテンション（Windowed Self-Attention）を初期層に適用して局所構造を捉え、その後トークンをプーリングしてグローバルアテンションを適用する階層構造を採用しています。
安定化技術:
- QK-Norm: 高解像度トレーニングにおけるロバスト性を向上。
- RMSNorm: LayerNorm の代わりに使用し、パラメータ効率を改善。
- Grouped-Query Attention (GQA): スループット向上のため採用。
- PixelShuffle デコーダ: サブピクセル推論を可能にし、高解像度出力を生成。
モデル規模: 0.4B, 0.8B, 1B, 5B のパラメータ規模を提供。5B モデルはビジョントランスフォーマーとして最高クラスの FLOPs（15.7 TFLOPs）を記録します。

2.4 事後学習（Post-Training）

事前学習済みバックボーンを、以下の 5 つの人間中心タスクでファインチューニングします。

ポーズ推定: 308 関節の全身スケルトン（顔 243、手 40 など）。野外画像 10 万枚の新しいアノテーションを追加。
身体部位セグメンテーション: 29 クラス（メガネを追加）。野外画像 2 万枚のアノテーションを強化。
ポイントマップ（深度）: 相対深度ではなく、カメラ座標系での 3D 点群（XYZ）を回帰。
法線推定: 画素ごとの単位法線ベクトル。
アルベド推定: 照明に依存しない拡散反射率（肌色や衣類の色）。

3. 主要な結果

Sapiens2 は、既存の最先端モデル（Sapiens, DINOv2/3, PE など）およびタスク固有の SOTA モデルを凌駕する性能を示しました。

ポーズ推定: 野外画像テストセット（11K 画像）において、Sapiens2-5B は mAP 82.3% を達成し、Sapiens-2B（78.3%）を大幅に上回り、新たな SOTA を確立しました。
身体部位セグメンテーション: 1K 解像度で mIoU 82.5%（Sapiens-1B 対比 +24.3% 改善）。特に唇、舌、イヤリングなどの稀なクラスや、髪と背景の境界をピクセル単位で正確にセグメント化します。
法線推定: 4K 解像度のテストで、平均角度誤差 6.73°（Sapiens-2B の 12.38°から大幅改善）。顔のシワや髪のディテールを高精度に捉えます。
ポイントマップとアルベド: 既存の深度推定モデル（MoGe など）やアルベド推定モデルをすべてのモデルサイズで上回ります。特にアルベド推定では、合成データのみで学習したにもかかわらず、野外画像での肌色の復元において高い PSNR（32.6 dB）を達成しました。
ゼロショット汎化: 事前学習済みバックボーンを凍結し、軽量デコーダのみを学習する「Dense Probing」評価でも、DINOv3 や Sapiens 第 1 世代をすべてのタスクで上回りました。

4. 意義と貢献

高忠実度な人間理解: 単に人間を検出・分類するだけでなく、髪、アクセサリー、肌の質感、幾何学的詳細まで含めた「高忠実度（High-fidelity）」な理解を可能にしました。これは、フォトリアリスティックなアバター作成や AR/VR 応用にとって不可欠です。
タスクと解像度の拡張: 従来の 1K 解像度から 4K 解像度への拡張、およびポーズ・セグメンテーションに加え、ポイントマップ、法線、アルベドといった新しいタスクへの対応により、人間ビジョンの基盤モデルとしての汎用性を飛躍的に高めました。
学習手法の統合: MIM と CL を統合した事前学習手法が、低レベルの詳細と高レベルの意味理解を両立させる有効なアプローチであることを実証しました。
スケーラビリティ: 10 億枚のデータと 50 億パラメータのモデル規模によるスケーリング則の検証を行い、データとモデル容量の増大が人間中心タスクの性能向上に直結することを示しました。

結論

Sapiens2 は、人間中心のビジョンタスクにおける新しいベンチマークを設定しました。マスク復元と対照学習を組み合わせ、大規模で多様なデータセットを用いて学習されたこのモデルファミリーは、野外の複雑な条件下でも、細部まで忠実に人間を認識・理解する能力を備えており、次世代の人間中心 AI アプリケーションの基盤として極めて重要です。