技術サマリー：HairGPT

問題定義

デジタルな髪モデルの作成は、髪が本質的に「流動的でありながら構造化され、混沌としつつも整えられている」という二重性を持つため、依然として大きな課題です。既存の生成アプローチ、特に連続的な拡散場（例えば、3D 幾何学を 2D 潜在テクスチャマップに投影する手法）に依存するものは、髪の本質的な構造化特性と根本的に整合していません。これらの手法は、大域的トポロジーと局所的テクスチャを絡み合わせ、カールの締まり具合をグローバルなシルエットを変えずに変更するといった構成的編集を、脆く、あるいは不可能にします。さらに、人間のクリエイターが直感的にヘアスタイルを記述する方法と、これらのモデルが内部的にそれを表現する方法の間には、深刻な意味的ギャップが存在します。現在の手法は、髪を解剖学的領域や美的意図によって支配される意図的に組織化された構造としてではなく、無差別な信号として扱う傾向があります。

手法

著者は、個々の毛束を基本的な生成単位として扱い、3D ヘアスタイル合成を構造化されたシーケンスモデリング問題として定式化する、統合された自己回帰フレームワークHairGPTを提案します。この手法は、二重分離表現と**ストランド・アズ・ランゲージ（毛束を言語として）**というパラダイムに基づいています。

1. 二重分離ヘアスタイルパラメータ化

HairGPT は、ヘアスタイルモデリングを以下の 2 つの直交軸に沿って分離します：

• 空間的分離（スカルプレベル）： 頭皮は Hairmony 分類に基づき、前部、上部、頭頂部、後頭部、左右の側頭部、左右の側面という 8 つの明確な領域に意味的に分割されます。グローバルな密度マップがこれらの領域内の毛束の根元の配置を導き、局所性を強制します。
• 構造的分離（ストランドレベル）： 各ストランドの幾何学は、階層的なタプル $(u, c, r)$ に分解されます：
  • ルート（$u$）： スカルプ多様体上の空間座標。
  • 粗い形状（$c$）： セグメント方向ベクトルの離散コサイン変換（DCT）を通じて抽出され、大域的な流れとトポロジーを捉える低周波の骨格。
  • スタイル残差（$r$）： 局所座標系における粗い骨格からのスケールおよび回転不変の偏差として定義される、高周波の幾何学的詳細（例：カール、くせ）。

2. スパースガイドストランド抽出

高忠実度アセット（通常 $\sim 10^5$ 本のストランドを含む）に対する自己回帰モデリングを実用的にするため、高密度な生幾何学は、512 本の代表的なガイドストランドというスパースなセットに凝縮されます。これは、開いた曲線に対するフーリエ変換に伴うアーティファクトを回避する、DCT ベースの形状記述子を用いた周波数認識クラスタリングによって達成されます。

3. 幾何学的トークン化

連続的な幾何学的表現は、専用トークナイザーを使用してコンパクトな語彙に離散化されます：

• ルート： $256 \times 256$ グリッド上の整数 UV インデックスに量子化されます。
• 幾何学： マルチヘッド積量子化スキーム（4 つのヘッドを使用）が、粗い骨格とスタイル残差をエンコードします。各ストランドは 8 つの離散トークン（粗い形状用 4 つ、スタイル用 4 つ）で表現され、高密度な曲線パラメータ化と比較してシーケンス長を大幅に削減します。
• 密度： グローバル密度マップは、2D VQ-VAE によって 1024 トークンのシーケンスに圧縮されます。

4. 統合自己回帰合成

HairGPT は、マルチモーダル条件（テキストおよび画像）の下でヘアトークンを自己回帰的に生成するデコーダのみのビジョン・ランゲージモデル（Qwen ベース）を採用します。

• 階層的シーケンス構築： 生成プロセスは、領域を認識する多段階シーケンスとして組織化されます。ストランドはスカルプ領域ごとにグループ化され、3 つの異なるモードで生成されます：レイアウト（密度に基づき根元の位置を予測）、粗い形状（大域的形状を予測）、スタイル（微細な残差を予測）。
• トレーニング戦略： 誤差蓄積を防ぐため、シーケンスは一度に単一のモードからサンプリングされる多段階戦略でモデルをトレーニングします。冗長性マスクは、粗い形状およびスタイル段階において、条件付けアンカーとしてのみ機能する繰り返し空間トークンを損失計算から除外します。
• データエンジン： 生成視覚合成を活用し、LoRA で微調整された VLM（Qwen2.5-VL）を用いて領域を認識する意味注釈を生成することで、約 12 万組のアライメントされたトリプレット（画像、テキスト、3D 幾何学）からなるデータセットを構築するスケーラブルなパイプライン。

主な貢献

1. ストランド・アズ・ランゲージパラダイム： 3D ヘア生成を、ストランドを基本的な生成単位とする二重分離された自己回帰プロセスとして再定式化する論文の導入。ホリスティックなテクスチャ合成からの転換。
2. 幾何学的トークン化： 複雑なトポロジーと高周波の詳細をコンパクトな離散語彙（ストランドあたり 8 トークン）に効率的にエンコードする、マルチヘッド積量子化に基づく新規スキーム。
3. 階層的構築とトレーニング： 生成を領域を認識し、段階固有のシーケンス（レイアウト、粗い形状、スタイル）に組織化する多段階トレーニング戦略。構造的整合性と最適化の安定性を向上。
4. 堅牢な条件付けと編集： 領域を認識するテキスト注釈による堅牢な意味的条件付けをサポートし、構成的編集を可能にする。これにより、希少/複雑なヘアスタイルの合成や、スタイル化されたドメインへの適応が可能になる。

結果

著者は、HairGPT を拡散ベースの手法（DiffLocks）や再構成手法（HairStep, HAAR）を含む最先端のベースラインと比較評価しました。

• 定性的パフォーマンス： HairGPT は、高周波の詳細（例：きつく巻かれたアフロのテクスチャ）や複雑なトポロジカル構造（例：お団子、ポニーテール）を合成する能力において優れており、構造的整合性を維持します。HAAR と比較して、微細な意味指示（例：特定の分け目の位置、地域的なスタイル）により忠実に従います。
• 定量的指標： DiffLocks 評価セットにおいて、HairGPT は DiffLocks よりも低い Chamfer 距離（6.31 対 7.83）と高い F スコア（0.828 対 0.824）を達成しました。また、画像ガイド生成タスクにおいて、より高い CLIP スコア（0.592）を達成しました。
• アブレーション研究： 実験により、マルチヘッドトークナイザー（コードブック使用の向上）と粗い形状・スタイルの分離（方向誤差と位置ドリフトの削減）の必要性が確認されました。また、多段階トレーニングまたはシーケンスセパレーターを除去すると、幾何学的崩壊と混沌としたストランド生成につながることも示されました。
• 応用： このフレームワークは、微調整を通じてスタイル化されたドメイン（例：2D アニメ）に成功裏に適応し、密度マップの変更や特定のアトリビュートを変更する地域的テキストプロンプトなど、グローバル構造を乱さずに柔軟なマルチモーダル編集をサポートします。

意義と主張

この論文は、HairGPT の主な意義が単に新しいモデルを生み出すことではなく、髪のための新しい生成パラダイムを推進する点にあると主張しています。ヘアスタイルを絡み合った場として扱うことから、ストランドの明示的かつ構造化された構成として捉えることへ移行することで、このフレームワークは生成プロセスを専門的なグルーミングの構造的論理と整合させます。

著者は、このアプローチが以下の点を実現すると主張しています：

• ヘア生成を「不透明なテクスチャ合成問題」から「透明で構成的なモデリングプロセス」へと変換する。
• ストランドと領域の階層的組織を内部化することで、人間の意図（言語的記述）と 3D 幾何学の間のギャップを埋める。
• 一発生成を超え、対話的な 3D ヘア制作へと移行する、反復的な計画、編集、検証が可能な将来のエージェントシステムのための基盤を提供する。

著者は現在の限界について率直であり、フレームワークが注釈のために微調整された VLM に依存していること（専門家の人間のラベリングと完全に一致しない可能性があること）、コンパクトなトークン化が極めて曲率の高いストランドにおいて、ある程度の局所的幾何学的忠実度を犠牲にすること、そして高密度な髪は現在、直接生成ではなく補間によって得られていることを認めています。また、自己回帰推論は現在、拡散ベースの代替手段よりも遅いことも指摘しています。