Snapmoji: Instant Generation of Animatable Dual-Stylized Avatars

本論文は、ユーザーの自撮り写真をガウス領域適応技術を用いて3Dアバターに変換し、さらにユーザーのアイデンティティを保持したまま二次的なスタイルを付与する「デュアル・スタイライゼーション」プロセスを通じて、モバイル端末で30〜40 FPS のアニメーション再生を可能にする即時生成型アバターシステム「Snapmoji」を提案するものです。

要約

この論文「Snapmoji」は、**「たった 1 秒で、あなたの自撮り写真を、アニメ風のキャラクターに変身させ、さらに好きな世界観（レゴや骸骨など）にアレンジできる魔法のシステム」**について書かれています。

これまでの技術では難しかった「リアルな写真から 3D アバターを作る」ことと、「そのアバターを自由にカスタマイズして動かす」ことを、スマホでもサクサク実現する画期的な方法です。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

1. 従来の問題点：「レゴの箱」の制限

これまでのアバター作成アプリ（Snapchat の Bitmoji など）は、**「レゴの箱」**に似ています。

• 制限: 箱に入っているパーツ（髪型、服、顔の特徴）から選んで組み立てるしかありません。
• 手間: 「スパイダーマンの格好をした自分」を作りたい場合、アーティストが新しいレゴパーツを一つ一つ手作りしないといけないため、時間がかかりすぎます。

2. Snapmoji の解決策：「魔法の絵筆」と「変身のコスチューム」

Snapmoji は、この「レゴの箱」の制約を壊し、**「魔法の絵筆」と「即席のコスチューム」**を提供します。

ステップ 1：魔法の絵筆（GDA）で「ベースのキャラクター」を描く

まず、あなたの自撮り写真を、アプリが「Bitmoji 風（丸くて可愛い）」のキャラクターに変身させます。

• 比喩: これは、プロの画家があなたの写真を一瞬で「漫画のキャラクター」に描き直してくれるようなものです。
• 技術: ここでは**「ガウス・ドメイン適応（GDA）」**という技術を使います。これは、3D 空間の知識（Objaverse という巨大な 3D データの図書館）を持っている AI が、あなたの顔の特徴（目の色、髪型、サングラスなど）を忘れずに、漫画風に描き換える技術です。
• 速さ: これだけで0.1 秒以下！

ステップ 2：即席のコスチューム（デュアル・スタイライゼーション）で「世界観」を変える

次に、「レゴの城に住んでいる自分」や「骸骨の姿の自分」のように、好きなテーマで変身させます。

• 比喩: すでに描いたキャラクターに、**「魔法のコスチューム」**を着せるイメージです。「レゴ風」「編み物風」「トイ・ストーリー風」といったテキスト指令（プロンプト）を入れるだけで、キャラクターの質感や世界観が瞬時に変化します。
• 特徴: 重要なのは、「あなたの顔（アイデンティティ）」はそのまま残ること。コスチュームが変わっても、「あ、これ〇〇さんだ！」とわかります。
• 速さ: これも0.9 秒以内！

ステップ 3：リアルタイムで動かす（3D アニメーション）

完成した 2D のキャラクターを、**「3D の人形」**に立て直します。

• 比喩: 平らな紙に描かれたキャラクターに、**「骨組み（アーマチュア）」**を入れて、関節を動かせるようにするイメージです。
• 仕組み: スマホのカメラであなたの表情（笑顔、驚き、怒りなど）を認識し、それをアバターにそのまま反映させます。
• 速さ: スマホでも1 秒間に 30〜40 回（30-40 FPS）描画できるため、遅延なく滑らかに動きます。まるで AR フィルターのように、スマホ越しに自分のアバターが喋ったり笑ったりします。

3. なぜこれがすごいのか？（これまでの技術との違い）

特徴	従来の技術	Snapmoji
作成時間	数分〜数十分（重い処理）	0.9 秒（瞬時）
カスタマイズ	決まったパーツから選ぶだけ	テキストで自由に変身（レゴ、骸骨など）
動き	重い、または動かない	スマホでリアルタイムに動く
データ	大量の 3D モデルが必要	1 枚の写真から生成

4. まとめ：どんな世界が来るの？

この技術を使えば、以下のようなことが簡単にできるようになります。

• ストーリーテリング: 「今日は骸骨の国で冒険する自分」や「レゴの城で戦う自分」といった、その場限りのアバターを瞬時に作って、友達と共有できる。
• AR フィルター: 友達とビデオ通話する時、自分のアバターがリアルタイムで表情を真似て、まるで別のキャラクターと話しているかのように見える。
• ゲームや教育: 自分だけのキャラクターが、ゲームやオンライン授業で活躍する。

一言で言うと：
Snapmoji は、**「あなたの顔を、好きな物語のキャラクターに瞬時に変身させ、スマホの中で自由に動かせる魔法」**です。これにより、アバター作成は「選ぶ作業」から「創造する遊び」へと進化します。

技術概要

Snapmoji: 即時的なアニメーション可能なデュアル・スタイル化アバターの生成

技術的サマリー（日本語）

本論文は、Snap Inc.、MIT、Rutgers 大学などの研究者によって提案されたSnapmojiというシステムについて述べています。Snapmoji は、ユーザーのセルフィー（自撮り写真）から、3D アニメーション可能な「デュアル・スタイル化（Dual-Stylization）」されたアバターを、わずか 0.9 秒で生成する革新的なフレームワークです。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細をまとめます。

---

1. 問題定義 (Problem)

既存のアバター生成プラットフォーム（Snapchat Bitmoji、Apple Memoji など）には、以下の重大な限界がありました。

• プリ定義アセットの制約: アバターの外見は、事前にアーティストが作成した有限の資産リスト（髪型、服装、アクセサリーなど）に限定されます。新しいスタイル（例：スパイダーマン風、レゴ風）を追加するには、膨大な手作業によるアセット作成が必要であり、スケーラビリティに欠けます。
• カスタマイズの非効率性: ユーザーが特定のテーマやスタイルで自分自身を表現したい場合、既存のシステムでは対応できません。
• リアルタイムレンダリングの難しさ: 生成されたアバターがモバイルデバイスで 30-40 FPS のレートでアニメーション可能であることが求められますが、既存の生成モデル（NeRF や拡散モデルベースの 3D 生成など）は計算コストが高く、リアルタイム応用には不向きです。

これらの課題に対し、**「デュアル・スタイル化（Dual-Stylization）」**という概念を提案しました。これは、ユーザーのアイデンティティを保持しつつ、ベースとなるアバター（例：Bitmoji スタイル）を、テキストプロンプト（例：「レゴ」「ヨダ」「スケルトン」）に基づいて即座に別の芸術的スタイルに変換する能力です。

2. 手法 (Methodology)

Snapmoji は、以下の 2 つの主要なステージからなるパイプラインで構成されています。

ステージ 1: 画像から 2D アバターへの生成（Gaussian Domain Adaptation & Diffusion）

1. ガウスドメイン適応 (Gaussian Domain Adaptation: GDA):
   • ユーザーのリアルなセルフィーを、Bitmoji 風の「プライマリアバター」に変換します。
   • 既存の GAN 逆転（GAN Inversion）や単純な拡散モデルではなく、Objaverseで事前学習された大規模なマルチビューガウスモデル（LGM）の知識を利用します。
   • U-Net 構造のネットワーク（$\mathcal{E}_{GDA}$）を用いて、入力画像を 3D ガウスのパラメータ（スケーリング、位置、色、不透明度、向き）に直接マッピングします。これにより、アイデンティティを保持しつつ、ドメイン変換が高速かつ高品質に行われます。
2. デュアル・スタイル化:
   • GDA で生成されたプライマリアバターに、ユーザーが指定したテキストプロンプト（例：「LEGO」）に基づき、2 次スタイルを適用します。
   • Stable Diffusionパイプラインを使用し、以下の技術で制御を行います：
     • SDEdit: ノイズを加えた GDA 出力からデノイジングを開始し、大まかな構造を保持。
     • ControlNet: GDA 画像の Canny エッジを入力し、アバターの形状を維持。
     • IP Adapter: 元のユーザー写真を条件として入力し、顔のアイデンティティを保持。
   • このプロセスはわずか 10 ステップのデノイジングで完了し、0.9 秒未満で完了します。

ステージ 2: 2D から 3D アバターへの生成とアニメーション

1. 3D 生成ネットワーク:
   • 2D のデュアル・スタイル化されたアバターを、3D ガウススプラット（3D Gaussian Splatting）形式の 3D アバターに「リフト（昇華）」します。
   • 非対称な U-Net 構造を使用し、クロスアテンション機構を通じて駆動特徴（表情コード）を統合します。
2. 表情エンコーディングとアニメーション:
   • 従来の 3DMM（3D Morphable Models）だけではカートゥーンアバターの誇張された特徴（大きな目や頭など）を表現できないため、**FACS（Facial Action Coding System）**に基づくブレンドシェイプ重みと 3DMM 特徴の両方を組み合わせています。
   • 駆動画像から抽出した表情コードと、参照画像からのアイデンティティ特徴を結合し、3D ガウスのパラメータを制御します。
3. モバイル AR 実装:
   • 生成された 3D ガウスパラメータは、オフラインでベースポーズと表情ごとのパラメータセットとして準備されます。
   • モバイル端末（iPhone など）上では、MediaPipe の BlazeFace トラッカーで取得したブレンドシェイプ重みを用いて、パラメータの線形補間によりリアルタイムで表情を制御します。
   • WebGL を通じてブラウザ上で動作し、30-40 FPS のフレームレートを実現します。

3. 主要な貢献 (Key Contributions)

1. デュアル・スタイル化の概念とシステム: セルフィーからアイデンティティを保持したまま、複数の芸術的スタイルに変換可能な 3D アニメーションアバターを生成する効率的なシステムを提案。
2. ガウスドメイン適応 (GDA): 実写画像を事前定義されたアバタースタイル（Bitmoji など）に変換するための新しいドメイン適応手法。Objaverse の事前学習知識を活用し、GAN 逆転や拡散モデルよりも高速かつ高品質な変換を実現。
3. モバイル向け JavaScript フレームワーク: 生成されたアバターをモバイルデバイスで 30-40 FPS でアニメーションさせるための実用的なフレームワークを開発。

4. 結果 (Results)

実験では、既存の手法（GAN 逆転、Diffusion ベース、EG3D、LGM、DATID-3D など）と比較評価が行われました。

• 画像品質とアイデンティティ保持:
  • GDA: Bitmoji 生成において、FID（72.94）や KID（0.0346）で既存手法を大幅に上回り、アイデンティティ保持スコア（ID）も最高（0.25）でした。また、処理速度は 0.08 秒と、拡散モデル（3.54 秒）や GAN 逆転（98.14 秒）に比べて桁違いに高速です。
  • 3D 生成: 2D から 3D への変換において、PSNR（18.73）、SSIM（0.81）、LPIPS（0.24）のすべてで EG3D や LGM を上回り、0.091 秒という超高速処理を実現しました。
• デュアル・スタイル化の性能:
  • ユーザー調査（N=27）において、92% の参加者が Snapmoji のアバターの方が入力ユーザーの似ていると感じ、96% がスタイルとアイデンティティの多様性において優れていると回答しました。DATID-3D はアイデンティティ保持やスタイルの多様性で劣っていました。
• モバイル AR パフォーマンス:
  • iPhone 13 Pro 上で 30-40 FPS、MacBook M1 上で 90-100 FPS で動作し、TextToon（15-18 FPS）などの既存手法を凌駕しました。また、3MB 以下のディスク容量で動作し、ブラウザベースの AR フィルターとして実用的です。

5. 意義と将来展望 (Significance)

• 生産性と創造性の両立: 従来のアバターシステムが抱えていた「手作業によるアセット作成」のボトルネックを解消し、テキストプロンプト一つで無限のスタイル変換を可能にしました。これにより、ゲーム、SNS、バーチャル会議、教育など、幅広い分野での応用が期待されます。
• リアルタイム性とアクセシビリティ: 0.9 秒での生成と、モバイルデバイスでのリアルタイムレンダリングは、ユーザー体験を劇的に向上させます。
• 技術的ブレイクスルー: 3D ガウススプラットと拡散モデル、ドメイン適応を組み合わせることで、高品質なカートゥーンアバターの生成とアニメーションを両立させました。特に、Objaverse のような大規模 3D データセットの事前学習知識を 2D 画像変換タスクに応用した点は画期的です。

結論として、Snapmoji は、研究と実用（プロダクション）の間のギャップを埋め、即時的かつ高品質なパーソナライズド・アバター生成を可能にする重要なシステムです。