FashionPose: Unified Text-Driven Fashion Synthesis with Joint Geometric and Photometric Control

あなたは映画のセットにいるディレクターだと想像してください。ただし、俳優を雇う代わりに、デジタルアーティストに特定の衣装を着た人物を描くよう命じています。コンピュータビジョンの世界（コンピュータに「見え方」や「作り方」を教える科学）において、これは非常に難しい仕事です。通常、コンピュータに新しいポーズをとった人物を描かせたい場合、服を支えるためのワイヤーフレームのマネキンのような、硬直したスケルトン（骨格）を与えなければなりません。それは、あらかじめ用意された設計図がなければ関節を動かせないパペットに着せ替えをするようなものです。さらに、ほとんどのデジタルアーティストは、平坦で退屈な照明の「スタジオ」で作業しています。もしあなたが「夕暮れ時の晴れた公園に立っている人」を描いてほしいと頼んだとしても、コンピュータは混乱してしまい、その人物が背景と一致しない照明のまま、まるで背景に貼り付けられた平らなステッカーのように見えてしまうことがあります。この論文は、あらかじめ用意されたスケルトンもスタジオの設定も必要とせず、言葉だけでリアルなファッション画像を作成する方法について取り組んでいます。

Chuancheng Shi氏とその仲間たちによる研究チームは、FashionPoseという新しいシステムを提案しています。これは、あなたの自然な言葉による記述を、直接、3D対応のファッションショーへと変える「魔法の翻訳機」のようなものです。硬直したワイヤーフレームの必要性をスキップします。彼らは、既存のやり方――定義済みのスケルトンに依存し、環境を無視すること――は制限が多すぎると主張しています。代わりに、彼らのシステムは、単純な一文（例えば「居心地の良い部屋の、陽の当たる窓際に立つ女の子」）を、女の子のポーズが言葉と一致し、日光が彼女の服に正確に当たっている高品質な画像へと変える、3つのステップからなる「カスケード（連鎖）」プロセスを使用します。

まず、システムはあなたのストーリーを聞いてポーズをスケッチするクリエイティブ・ディレクターとして機能します。あらかじめ用意されたスケルトンを探す代わりに、システムは「双方向対照アライメント（bidirectional contrastive alignment）」メカニてものを使用します。これは、コンピュータが言葉の「感覚」（例えば「脚を組む」や「腕を上げる」など）を、テンプレートを必要とせずに身体の幾何学構造に直接一致させることを学習する、「熱いか冷たいか（hot and cold）」ゲームのようなものです。コンピュータにこれを教えるために、チームは4万組以上のテキスト記述と身体のキーポイントを含む、PoseCapという大規模な新しいライブラリを構築しました。これにより、AIは「陽の当たる窓際に立つ」という言葉が単なる背景の詳細ではなく、光がどのように人物に当たるべきかを示す手がかりであることを学習できます。

次に、システムは「衣装デザイナー」のフェーズへと進みます。ポーズが決まったら、人物の高精細な画像を生成します。極めて重要なのは、「アイデンティティ・アンカー（identity-anchored）」戦略を使用している点です。例えば、特定のジャケットを着た特定のモデルの写真があるとしましょう。システムはそのジャケットとモデルの顔を取り込み、それらを固定した状態で、あなたが記述した新しいポーズに合わせて引き伸ばしたり折り曲げたりします。これにより、たとえ人物が複雑なダンスの動きをしていても、ジャケットのボタンやモデルの顔が正確に維持され、他のAIアートツールでよく見られる「顔の溶け」や「服の歪み」といった不具合を防ぐことができます。

最後に、システムは「照明クルー」を扱います。ここが、FashionPoseが従来の手法よりも優れている点です。これには「プロンプト条件付き再照明（prompt-conditioned relighting）」モジュールが含まれています。もしあなたのテキストが「ゴールデンアワー」や「柔らかなスタジオ照明」と言及していれば、このモジュールは生成された人物の影とハイライトを調整して、その特定の雰囲気に合わせます。これは、照明技手が台本を読み、ムードに合わせてスポットライトを動かすようなもので、人物が別の写真から切り抜かれて背景に貼り付けられたように見えるのを防ぎ、調和した姿を実現します。

チームは彼らのシステムを厳格にテストしました。彼らは、FashionPoseが精度とリアリズムの両面において既存の手法を上回ることを発見しました。テストにおいて、システムは243.8というキーポイント誤差（MSE）を達成しました。これは、262.2付近を推移していた次点の優れた手法よりも低い（優れた）数値です。画像の全体的な見た目に関しては、FIDと呼ばれる指標（低いほど良い）において、FashionPoseは5.6690を記録し、従来の最高スコアである6.3671を打ち破りました。ユーザー調査（実在の人間がどの画像が最も優れているかを投票するもの）では、ポーズの一貫性において46.8%、全体的な美的品質において55.9%のケースでFashionPoseが好まれました。

論文では、優れた結果を得るために既存のスケルトンや「スタジオのような」ニュートラルな背景が必要であるという考えを明確に否定しています。彼らは、外部のポーズ推定器に頼ることはAIの能力を制限し、環境を無視することはポーズと照明が一致しない非現実的な画像につながると主張しています。単一のテキストプロンプトによって、幾何学（形状）とフォトメトリ（照明）を同時に制御できることを証明することで、彼らはバーチャルファッションへの新しい道筋を提示しています。彼らは宇宙のあらゆる問題を解決したと主張しているわけではありませんが、彼らの実験は、この統一されたアプローチが、パーソナライズされた、シーンを認識するバーチャルファッション展示のための、より堅牢で柔軟なソリューションを生み出すことを示唆しています。これにより、誰でも文章を入力するだけで、あらゆる設定における服のイメージを可視化することが容易になります。