FabricGen: Microstructure-Aware Woven Fabric Generation

この論文は、マクロなテクスチャ生成とマイクロな織り構造の生成を分解して処理するエンドツーエンドのフレームワーク「FabricGen」を提案し、テキスト記述から現実的な織物素材を生成する手法を提示しています。

要約

布の魔法：FabricGen の解説

こんにちは！今日は、**「FabricGen（ファブリック・ジェン）」**という、まるで魔法のような新しい技術についてお話しします。

この技術は、**「布のデザインを言葉だけで、プロ並みのリアルな写真レベルの素材に変えてくれる」**という画期的なものです。

これまでの布のデザインは、職人が何時間もかけて糸の組み方を考えたり、複雑なソフトで模様を描いたりする大変な作業でした。でも、FabricGen は**「AI が職人の頭脳と手先を再現」**してくれるんです。

この仕組みを、3 つのステップに分けて、わかりやすく説明しましょう。

---

1. 布の「顔」と「骨格」を分ける（2 つの魔法使い）

FabricGen の最大の特徴は、布を**「顔（全体の模様）」と「骨格（糸の組み方）」**の 2 つに分けて作るところにあります。

🎨 魔法使い A：「顔」を作る人（拡散モデル）

まず、布の**「色や大きな模様」**を作ります。

• 昔のやり方： AI に「オレンジ色のチェック柄の布を作って」と言うと、AI は「布の質感」まで一緒に描こうとして、糸の太さや編み目がボヤけてしまったり、物理的にありえない変な模様ができたりしました。
• FabricGen のやり方： この AI は**「糸の組み方は無視して、きれいな平らな布の絵（アルベドマップ）」**だけを描くように訓練されています。
  • 例え： 絵描きが、キャンバスに「オレンジと緑のチェック柄」だけをきれいに塗る作業です。ここにはまだ「糸の凹凸」はありません。

🧵 魔法使い B：「骨格」を作る人（LLM 駆動のプログラム）

次に、その平らな布に**「リアルな糸の組み方」**を施します。

• ここでは、**「WeavingLLM（ワイビング・エルエルエム）」**という、布の専門家になった AI が活躍します。
• 役割： ユーザーの言葉（例：「斜めのツイル織り」「猫の絵柄」）を聞いて、**「糸をどう交差させるか」**という設計図（織り図）を自動で描きます。
• すごいところ： この AI は、ただのプログラムではなく、**「布の専門家」**として訓練されています。だから、「この柄なら糸が少しずれるはずだ」「毛羽立ちがあるはずだ」という、人間が経験から知っている「布の癖」まで計算に入れてくれます。

---

2. 「糸」のリアルさを追求する（3 つの秘密兵器）

ただの平面の絵ではなく、**「触り心地が想像できる」**レベルにするために、FabricGen は 3 つの工夫をしています。

1. 複数の糸をねじる（マルチプライ）：
   • 実際の布の糸は、1 本ではなく、何本かの細い糸がねじれてできています。FabricGen はこれを「らせん状の糸」として表現し、リアルな太さとねじれを作ります。
2. 糸を少しずらす（スライディング）：
   • 完璧な格子状の布なんて、現実にはありませんよね？糸は少しズレたり、隙間ができたりします。FabricGen は**「意図的に糸を少しずらす」**ことで、自然な「隙間」や「影」を作ります。
3. 毛羽立たせる（フライアウェイ）：
   • 布には、表面から飛び出た小さな毛（毛羽立ち）があります。これがないと、プラスチックのように見えてしまいます。FabricGen は**「ランダムに毛を飛び出させる」**ことで、ふんわりとした質感と、光の反射（キラキラ感）を再現します。

---

3. 完成！「言葉」から「布」へ

最後に、魔法使い A が作った「きれいな模様」と、魔法使い B が作った「リアルな糸の組み方」を合体させます。

• ユーザー： 「オレンジと緑のチェック柄で、少し毛羽立ったツイル織りの布を作って」
• FabricGen：
  1. きれいなチェック柄の絵を描く。
  2. 布の専門家 AI が「ツイル織り」の設計図を描く。
  3. 糸をねじり、少しずらし、毛羽立たせる。
  4. 完成！ 写真のようにリアルな布の素材が生まれます。

---

なぜこれがすごいのか？

• 誰でもプロになれる： 布の知識がなくても、言葉で指示するだけで、職人が何日もかけて作るような高品質な布が作れます。
• 拡大しても美しい： 普通の AI が作った布は、拡大するとボヤけてしまいますが、FabricGen は**「糸の一本一本」**まで計算しているので、拡大してもリアルです。
• 応用範囲が広い： ゲームのキャラクターの服、インテリアのカーテン、映画の衣装など、あらゆる「布」が必要な場面で使えます。

まとめ

FabricGen は、**「布のデザイン」という難しい仕事を、「言葉で指示する」**という簡単な作業に変えてくれました。

まるで、**「言葉で魔法を唱えると、AI が職人になって、リアルな布を編み上げてくれる」**ようなイメージを持っていただければ、この技術のすごさが伝わると思います！

技術概要

FabricGen: 微細構造を考慮した織物生成の技術的サマリー

本論文「FabricGen: Microstructure-Aware Woven Fabric Generation」は、テキストまたは画像プロンプトから、高品質でフォトリアリスティックな織物素材を生成するためのエンドツーエンドのフレームワークを提案しています。従来の生成モデルが抱える「微細な糸レベルの構造の欠如」や「織り規則への違反」といった課題を解決し、非専門家でも多様で詳細な織物素材を設計可能にします。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

織物素材はデジタルヒューマン、インテリアデザイン、映画制作などで広く利用されていますが、現実的な素材の作成には以下の課題がありました。

• 専門知識の必要性: 従来の手法では、織りパターンの作成（Substance Designer 等）、テクスチャ作成、シェーディングパラメータの調整など、複数の段階と専門的な知識が必要でした。
• 拡散モデルの限界: 近年の拡散モデルを用いた生成手法（DressCode, MatFuse など）はハードルを下げましたが、以下の問題を抱えています。
  • 微細構造の欠如: 解像度の制約により、糸レベルの微細な構造（マイクロ構造）がぼやけたり、欠落したりする。
  • 物理的妥当性の欠如: 織りの規則（経糸と緯糸の交差パターン）を無視した、物理的にあり得ないパターンや人工的な縞模様が発生する。
  • 近接レンダリングの失敗: 遠目にはそれらしく見えても、拡大表示すると不自然になる。

2. 手法 (Methodology)

FabricGen の核心は、マクロスケールのテクスチャとミクロスケールの織りパターンを分解して生成する「二スケールアプローチ」にあります。

2.1. 全体アーキテクチャ

フレームワークは 2 つの主要コンポーネントで構成されます。

1. マクロスケールテクスチャ生成器: 拡散モデル（Diffusion Model）を使用。
2. ミクロスケール微細構造生成器: LLM 駆動の手順的幾何学モデル（Procedural Geometric Model）を使用。

2.2. マクロスケールテクスチャ生成

• 目的: 微細構造（糸の凹凸など）を含まない、純粋なアルベド（色）マップを生成する。
• 手法:
  • 既存の拡散モデル（FLUX.1-dev）を、微細構造を含まない織物テクスチャのデータセットでファインチューニングします。
  • これにより、モデルが「織り目」や「影」を生成するのを防ぎ、滑らかな色調パターンのみを出力するように制御します。
  • 必要に応じて、テキストプロンプトに加え、画像（シワの有無など）を条件として入力することも可能です。

2.3. LLM 駆動の手順的ミクロ構造生成

• 目的: 糸レベルの幾何学形状、織りパターン、および自然な不規則性を生成する。
• WeavingLLM (Large Language Model):
  • 専門家の知識を注入した LLM（Qwen2.5-14B-it をベースに QLoRA でファインチューニング）です。
  • 自然言語プロンプトから、**織りドラフト（二値行列）**と、糸の物理パラメータ（太さ、粗さ、糸の本数など）を生成します。
  • ドメイン固有の専門知識（プロンプトチューニング）により、織りの規則を遵守したパターンの設計を学習しています。
• 手順的幾何学モデル (Procedural Geometric Model):
  • 生成されたドラフトとパラメータに基づき、UV 空間上でリアルタイムに微細構造を計算します。
  • 多層糸モデル (Curved Helix Model): 単一の糸ではなく、複数のより糸（Ply）を曲線状のヘリックスとしてモデル化し、より自然な形状を表現します。
  • 不規則性のシミュレーション:
    • 糸の滑り (Yarn Sliding): 実物の織物に見られる位置のランダム性を、パーリンノイズを用いてシミュレートし、糸同士の隙間を表現します。
    • 飛び出し繊維 (Flyaway Fibers): 表面から飛び出している繊維を、確率的な方向フィールドとして追加し、リアルなハイライトを再現します。
  • このモデルは事前計算されたマップを保存するのではなく、オンデマンドで法線、向き、高さの値を計算するため、超解像度の詳細をメモリ効率よく扱えます。

2.4. レンダリング

生成されたマクロテクスチャ（アルベド）とミクロ構造データ（法線、接線、高さなど）を、SpongeCake などのレイヤードシェーディングモデルを用いて合成し、最終的なフォトリアリスティックな画像を生成します。

3. 主要な貢献 (Key Contributions)

1. FabricGen フレームワークの提案: マクロテクスチャとミクロ織りパターンを分離することで、詳細かつ規則正しい織物素材を生成する新しいアプローチ。
2. LLM 駆動の手順的生成モデル: テキストから多様なミクロ構造（多層糸、糸の滑り、飛び出し繊維を含む）を生成するモデル。
3. 微細構造フリーの拡散モデル: 織りの規則を破ることなく、滑らかなマクロテクスチャを生成するためにファインチューニングされた拡散モデル。

4. 結果 (Results)

• 定量的評価:
  • CLIP Score: 提案手法は DressCode や MatFuse よりも高いスコアを記録し、テキストとの意味的整合性が高いことを示しました。
  • ユーザー調査: 12 のケースで 64 名の参加者に評価させたところ、提案手法は 82.55% の支持率を得て、他手法を大幅に上回りました。
  • 画像条件付き生成: 入力画像との一致度（CLIP-I Score）も MatFuse よりも優れていました。
• 定性的評価:
  • 近接レンダリングにおいて、糸の交差、飛び出し繊維、自然な光沢などが詳細に再現されており、既存手法で見られるぼやけや歪みが解消されています。
  • アブレーション研究:
    • WeavingLLM を用いない場合、織りパターンが不自然になることが確認されました。
    • 拡散モデルのファインチューニングを行わないと、意図しない 3D アーティファクトや縞模様が発生しました。
    • 「糸の滑り」や「飛び出し繊維」の効果を無効にすると、実写との LPIPS（学習された知覚的画像パッチ類似性）スコアが悪化し、不自然さが目立ちました。

5. 意義と将来展望 (Significance)

• アクセシビリティの向上: 織物の専門知識を持たないユーザーでも、自然言語から高品質な素材を生成できるため、デジタルコンテンツ制作の民主化に寄与します。
• 物理的妥当性と詳細さの両立: 従来の生成 AI が苦手としていた「物理法則（織りの規則）」と「微細な物理的詳細（糸の動き）」を両立させた点で画期的です。
• 応用分野: デジタルヒューマンの衣装、インテリアデザイン、映画 VFX など、リアルな素材表現が求められる分野での活用が期待されます。

今後の課題:
現在の手法は「織物（Woven fabrics）」に特化しており、編み物（Knitted fabrics）、ジャカード、刺繍、プラスチック印刷などの他のテキスタイルタイプへの対応は今後の課題として残されています。

---

結論:
FabricGen は、拡散モデルの強力な生成能力と、LLM による論理的な設計、そして手順的モデルによる物理的な微細構造のシミュレーションを融合させることで、これまでにない高忠実度の織物素材生成を実現しました。