技術要約: GarmentZoom

問題提起

オンラインの衣類リスティングでは、断片的な閲覧体験が一般的である。すなわち、標準解像度の全体像画像がコンテキストを提供し、一方で別のクローズアップ画像が微細な質感の詳細を明らかにするという構成である。ユーザーはこれらのビューを絶えず切り替えなければならず、ブラウジングの連続性が損なわれる。参照ベース超解像（Reference-Based Super-Resolution: RefSR）は潜在的な解決策となるが、既存の手法にはこの特定の領域において重大な制限がある：

1. 空間的な不整合（Spatial Misalignment）: 標準的なRefSRは、参照画像と低解像度（LR）入力が空間的な対応関係を持つことを前提としている。しかし、衣類のリスティングにおけるクローズアップは、多くの場合、フルビューの衣類のごく一部しかカバーしておらず、視点、照明、または生地の変形も異なる場合があるため、ピクセルレベルでの整合（アライメント）は不可能である。
2. 可変スケール因子（Variable Scale Factors）: 従来のRefSR手法は、固定された離散的なアップサンプリング係数（例：4倍）を想定している。現実世界の衣類リスティングでは、フルビューとクローズアップの間で、3倍から20倍に及ぶ連続的なスケール因子が存在する。
3. 計算コスト: 可変スケールや不整合を扱うことが可能な従来のアプローチ（UltraZoomなど）は、インスタンスごとの微調整（fine-tuning）を必要とするが、これは大規模なEコマース展開においては計算コストが高すぎて実行不可能である。

手法

GarmentZoomは、フルビューの写真と非整合なクローズアップ参照画像から、単一の超高解像度衣類画像を合成することで、これらの課題に対処する。本システムは、最先端のフローマッチングモデルであるFlux.1-devに基づいて構築されており、以下の3つの主要コンポーネントを組み込んでいる：

1. データセット構築

現実世界の製品写真には信頼できるピクセルレベルの整合性が欠けているため、著者らは高解像度の衣類クローズアップから合成された教師ありデータセットを構築した。

• トリプレット生成: 各高解像度クローズアップに対して、2つの空間的に離れたクロップ（切り抜き）をサンプリングする：一つは参照画像（$I_{Ref}$）、もう一つは正解画像（$I_{GT}$）とする。
• 合成LR入力: 正解画像をランダムな連続スケール因子 $s \in [3, 20]$ でダウンサンプリングし、低品質な入力（$I_{LQ}$）を作成する。
• 制約: クロップ間の空間的分離により、モデルが単純なコピー＆ペーストの解を学習することを防ぎ、直接的な対応関係ではなく外観の手がかりに基づいたテクスチャ転送を学習するように強制する。
• テキスト・コンディショニング: ビジョン・ランゲージ・モデルが各衣類の詳細なテキスト記述を生成し、補助的なコンディショニングとして機能させる。

2. モデルアーキテクチャ

本システムは、以下の修正を加えた上でFlux.1-devトランスフォーマー・アーキテクチャを適応させている：

• 統合シーケンス・コンディショニング（Unified-Sequence Conditioning）: 参照画像（$I_{Ref}$）とノイズを含むターゲット・潜在変数（$x_t$）を潜在シーケンスとしてエンコードし、それらを結合する。この結合されたシーケンスをトランスフォーマーで処理することで、ターゲット・トークンがクロスアテンション機構を介して参照テクスチャ情報にアクセスできるようにする。
• ControlNetの統合: 構造と生地の変形を保持するため、低品質入力（$x_{LQ}$）を条件とする、凍結された事前学習済みの4倍シングルイメージ超解像（SISR）ControlNetを使用する。
• 学習目的関数: フローマッチングの目的関数を用いて、予測速度場とターゲット速度場の差を最小化するように、速度場を予測するようモデルを訓練する。
• パラメータ効率: モデルは、ベースの重みを凍結したまま効率性を確保するため、ランク512のLoRA（Low-Rank Adaptation）を用いて微調整される。

3. 推論戦略

GPUメモリの制約内でフル解像度の生成を行うため、著者らはスライディングウィンドウ推論戦略を採用している：

• フルビュー画像を重複するウィンドウに分割する。
• 各パッチに対して独立して推論を実行する。
• ウィンドウ境界によるアーティファクトを軽減するため、スライディングウィンドウの位置を各推論タイムステップごとに変化させる。
• 重複する潜在領域を統一されたキャンバス上で平均化し、シームレスでアーティファクトのない出力を生成する。

主な貢献

1. 新しいシステム: GarmentZoomは、フルビューと非整合なクローズアップ写真から、単一の高詳細な衣類画像を合成し、シームレスなズーム・アンド・パンによる探索を可能にする。
2. 堅牢な参照ガイド型SR: 本モデルは、空間的に非整合な参照および連続的なスケール因子（3–20倍）をサポートしており、固定スケールやアライメント依存の従来手法の限界を克服している。
3. 効率的な学習パイプライン: 本手法は、実際のEコマースのリスティングから派生した合成トリプレットを用いて、単一の汎用モデルを訓練する。これにより、インスタンスごとの微調整に伴う高い計算コストを回避している。

実験結果

本手法は8,547点の衣類製品のデータセットを用いて評価され、一般的なRefSRベースライン（TTSR, DATSR, AdaRefSR, ReFIR）および連続スケールSISRベースライン（ContinuousSR）と比較された。

• 定量的パフォーマンス: GarmentZoomは、4倍および10倍の両方のスケールにおいて、知覚的指標（LPIPS, DISTS）および周波数領域の指標（LSD）のすべてで最先端（SOTA）の結果を達成した。特筆すべきは、ベースライン手法がスケール因子の増加とともに著しく劣化したのに対し、GarmentZoomは16倍まで一貫した性能を維持したことである。
• ユーザー調査: 13人の参加者を対象とした調査において、10倍スケーリング時、GarmentZoomは97.7%のケースでトップ1の選好を得て、微調整されたベースラインを大幅に上回った。
• インスタンスごとの手法との比較: UltraZoom（製品ごとに約1.5時間の微調整を必要とする）との定性的および定量的な比較において、GarmentZoomはインスタンス固有の訓練なしに同等の品質の結果を生み出した。また、UltraZoomで見られた「カラードリフト」の問題を回避し、優れた色忠実度を示した。
• アブレーション研究:
  • スケール堅牢性: モデルは3–20倍の範囲で効果的に汎化された。
  • 参照類似性: 参照とターゲットの間の空間的変位が増加するにつれて性能が低下したことは、モデルが参照の類似性に依存しているものの、中程度の不整合に対しては堅牢であることを裏付けている。
  • アーキテクチャ: LoRAを用いた統合シーケンス・コンディショニングは、代替的なクロスアテンション注入方法（IP-Adapterに着想を得たもの）よりも優れた性能を示した。これは、同一のアテンション空間内で参照と入力の潜在変数を共進化させることが、テクスチャ転送においてより効果的であることを示唆している。

意義と主張

本論文は、GarmentZoomを、シームレスなバーチャル製品体験への実用的な一歩として位置づけている。空間的な整合性とインスタンスごとの訓練の必要性を切り離すことで、本システムは、既存のインスタンス別手法の訓練コストのわずかな割合で、高忠実度かつズーム可能な衣類画像の生成を可能にする。著者らは、本システムが多様な衣類やスケール因子にわたって効果的に汎化できると主張しており、概要のコンテキストと詳細レベルの忠実度の間のギャップを埋めるものであるとしている。

限界: 著者らは、他のRefSR手法と同様に、必要なテクスチャが参照画像に全く存在しない場合、モデルは妥当な詳細を「幻覚（hallucinate）」しなければならないことを認めている。彼らは、必要なテクスチャをカバーするために最適な参照クロップを自動的に選択することに今後の研究の焦点を当てられる可能性があると示唆している。