Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

あなたはロボットに服の着せ方を教えようとしているところだと想像してください。あなたは、ある人の写真と、おしゃれな新しいジャケットの写真をロボットに見せ、「このジャケットをこの人に着せて」と頼みます。これが、コンピュータービジョンの分野における**バーチャル試着（VITON）の世界です。ここでは、機械が「服がさまざまな体型に対してどのように見えるか」というパズルを解こうとしています。これを行うために、ロボットは拡散モデル（diffusion model）**と呼ばれる特別な種類の「脳」を使用します。拡散モデルを、砂嵐（テレビのノイズのようなもの）で覆われたキャンバスから、一歩ずつ、一歩ずつノイズを取り除いていくことで絵を明らかにしていく「魔法のアーティスト」だと考えてください。もしこのアーティストに「赤いシャツ」というテキストの説明を与えれば、アーティストはそれを描くことができます。しかし、もしあなたが「まさにその特定のシャツ」を「その特定の人物」に着せたい、例えば袖が肘の位置で終わり、襟がちょうど良い位置にあるようにしたいと思ったとき、アーティストはしばしば混乱してしまいます。シャツが長すぎたり、短すぎたり、あるいは色が違ったりすることがあります。これはオンラインショップにとって大きな問題です。なぜなら、顧客が現実とは一致しない偽の画像に基づいてシャツを購入した場合、不満を抱くことになるからです。

マックス・レマン・リンダーによるこのレポートは、その混乱に対処するものです。著者はこう問いかけます。「もし、ロボットに漠然とした説明を与えるのではなく、定規と一連の指示を与えることができたらどうだろうか？」 本論文は、ControlableClothingと呼ばれる新しい手法を提案しています。単にロボットに画像を見せるのではなく、著者のチームは数学的な精密さをもって服と人の体を測定しています。つまり、肩がどれくらい覆われているか、襟ぐりがどれくらい深いか、袖の長さはどれくらいか、といったことを正確に計算しているのです。彼らはこれらの測定値を「秘密のコード（ラベル）」に変換し、画像とともにロボットに投入します。その結果、このシステムは単に服がどこに行くかを推測するのではなく、「地図」に従うようになります。論文では、これらの精密な測定値と特別な「アダプター」（コードを理解するためのツール）を使用することで、生成される画像がはるかに制御可能になることが示唆されています。しかし、著者は、ロボットが今やこれらのルールに従えるようになったとはいえ、あらゆる細部を完璧にするにはまださらなる練習が必要であり、彼らが構築した新しいツールの中には、期待通りに機能するかどうかまだテスト段階にあるものもある、と注意深く述べています。

「ノイズ除去」アーティストの魔法

これがどのように機能するかを理解するために、ロボットの脳を見てみましょう。この論文では、**潜在拡散モデル（latent diffusion model）**と呼ばれるタイプのAIを使用しています。泥水のバケツを想像してください。かき混ぜ続けると、どんどん汚れ、ただの茶色の泥状になります。拡散モデルは、その逆を行う方法を学びます。つまり、その茶色の泥から、どのようにしてゆっくりと、慎重に汚れを分離し、再び透明な画像に戻すかを学ぶのです。コンピューターの世界では、「泥」はランダムなノイズであり、「クリアな画像」は服を着た人物の写真です。

長い間、これらのロボットはゼロから新しい画像を作ることは得意でしたが、厳格なルールに従うことは苦手でした。もし「袖がちょうど肘の位置で終わるシャツ」を求めたとしても、ロボットはただ推測してしまうだけかもしれません。それは、子供に「ドアの幅が正確に3インチの家を描いて」と頼むようなものです。子供は家を描くかもしれませんが、それが正確に望んだサイズであることは滅多にありません。以前の試みでは、**GAN（敵対的生成ネットワーク）**という別のタイプのAIを使用して修正を試みましたが、それらはしばしば硬直的で、リアルなシワや光の当たり方を作ることができませんでした。その後、拡散モデルが登場しました。これらは実物のように見せることは非常に得意ですが、依然として「正確な配置」の問題には苦戦していました。

新しい解決策：ロボットに定規を与える

著者の主要なアイデアはシンプルです。「推測をやめて、測定を開始すること」です。

以前は、もしシャツを試着させたい場合、単にロボットにシャツを見せていました。ロボットはそのシャツを体に合うように「ワープ（変形）」させようとします。しかし、著者は、正しく行うためには、ロボットが「シャツがどのようにフィットするか」を知る必要があることに気づきました。タイトなのか？ それともゆったりしているのか？ 袖は手首で止まるのか、それとも肘なのか？

そこで、チームは前処理パイプラインを構築しました。ロボットが画像を見る前に、他のスマートなツールを使用して以下のことを行います：

1. 服を切り抜く： 「マスク」を使用して、新しいシャツが入る予定の人物の部分を隠します。
2. すべてを測定する： コンピュータービジョンを使用して、人物の腰からシャツの裾までの距離、首の幅、そして肩がどれくらい覆われているかを測定します。
3. 「スコアカード」を作成する： これらの測定値を数字とラベルに変換します。例えば、単に「長袖」と言う代わりに、「袖は腕の長さの0.8の位置で終わる」といった具合です。

「アダプター」ツール：翻訳機

ロボットの脳（拡散モデル）は、すでに絵を描くことには非常に長けていますが、「測定値」の言語は話せません。これを解決するために、著者はアダプターと呼ばれる特別なツールを構築しました。このアダプターを「翻訳機」だと考えてください。

この翻訳機は、「スコアカード」（測定値とラベル）とシャツの画像を受け取り、それをロボットが理解できる言語に変換します。そして、ロボットが絵を描いている間に、これらの指示を耳元で囁きます。

• IP-Adapter： この部分は、シャツの「見た目」（パターンや色）をロボットに理解させるのを助けます。
• T2I-Adapter： この部分は、詳細（ディテール）とそれをどこに配置すべきかを理解させるのを助けます。

著者は、特に「アップサンプリング（高解像度化）」のプロセスに特化した、新しいカスタムバージョンの翻訳機を作成しました。これは、布地の質感や、光がどのように折り目にあたるかといった、細かいディテールをロボットが追加する段階です。この段階で測定データを注入することで、ロボットは定規の指示に基づいてディテールを調整できるようになります。

実験が示したこと

著者はこの新しいシステムを、何千枚もの人物と衣服の画像を用いて学習させました。その結果、以下のことが分かりました。

• 機能しているが、進行中のプロジェクトである： 「ダイヤル（測定ラベル）」を回すと、ロボットは実際に服を着せ替えました。例えば、襟ぐりを深くするように（数値を1から-2に変えることで）指示すると、ロボットはより深い襟ぐりを描きました。片方の肩だけを覆うように指示しても、ロボットはそれを実行しました。
• 言葉よりも数字の方が優れている： 著者は、ロボットに具体的な数値（浮動小数点数）を与える方が、カテゴリー（例：「長袖」）を与えるよりも効果的であることを発見しました。これは、シェフに「塩を少し入れて」と言うのではなく、「塩を5グラム入れて」と伝えるようなものです。ロボットの方が、数字に従う方がより正確でした。
• 「マスク」のトリック： チームはまた、マスクによって隠された画像の部分を無視するようにロボットを教えました。彼らは、「マスクはここで終わるが、その上は描いてもよい」と指示した場合、ロボットはマスクのラインの上に新しい布地を生成することを発見しました。これは非常に重要です。なぜなら、長いシャツを着ている人の写真を取り込み、それをクロップドトップス（丈の短いトップス）に変えるよう指示した場合、ロボットはお腹の足りない部分を補って描く方法を知っていることになるからです。
• 限界： 論文では、ロボットはまだ完璧ではないことを認めています。衣服に非常に複雑なパターンや詳細がある場合、ロボットは時としてそれらを失ってしまうことがあります。著者は、これは新しく構築した「アップサンプリング」ツールがまだ十分に学習されていないためではないかと推測しています。ロボットは、まだ新しい定規の使い方を学んでいる最中なのです。

著者が「ノー」と言ったこと

著者は、何が機能しないのか、あるいは何が焦点ではないのかについても明確に述べています。

• テキストプロンプトだけでは不十分： 単に言葉を使って「袖を長くして」とロボットに頼ってみましたが、ロボットはしばしばそれを無視するか、間違った結果を出しました。測定値が必要だったのです。
• ワンホットエンコーディング（単純な分類）は理想的ではない： 袖の長さなどの項目に対して、単純な「オン/オフ」のスイッチ（例：「長い？ はい／いいえ」）を使用することを試みましたが、連続的な数値（例：0から1までのスライダー）を用いる方がはるかに制御が容易であることを発見しました。
• あらゆる問題に対する魔法の解決策ではない： 著者は、もしロボットがすでに答えを暗記しているデータセットで学習されている場合、新しい指示を追加しても効果がない可能性があると述べています。新しいシステムを機能させるためには、ゼロからやり直す必要がありました。

結論

本論文は、精密な測定とスマートな「アダプター」ツールを組み合わせることで、バーチャル試着システムにより多くの制御権を与えることができると示唆しています。これは解決済みの問題ではありません。ロボットは細かいディテールを完璧にするためのさらなるトレーニングを必要としており、新しいツールもさらなるテストが必要です。しかし、その方向性は有望です。AIに定規と一連の指示を与えれば、AIは推測をやめて命令に従うようになり、実際の顧客が見ることになるものに極めて近い画像を生成できることを、著者は示しています。これは、オンラインで服を試着した際、届いたパッケージの中身が、見たままの通りのものであるという未来への一歩です。