技術要約：変形RoPEを強化した拡散モデルによる制御可能なテクスチャ・タイリング

1. 問題提起

ユーザーが指定したテクスチャをシーン画像に統合することは、コンピュータグラフィックスおよび画像編集における基本的なタスクである。既存の素材転送やリファレンス誘導型のインペインティング手法（例：FLUX.1-dev-Fill、ZeST、MatSwap）は、表面の外観を編集できるものの、テクスチャ・タイリング特有の要件への対応には苦慮している。現在のアプローチには、主に以下の3つの限界が存在する：

1. 精密な制御の欠如： 周波数、方向、スケールといったユーザー定義の空間パラメータを厳密に遵守できず、特定の参照（リファレンス）に基づくのではなく、学習された分布に基づいてパターンを「幻覚（ハルシネーション）」として生成してしまうことが多い。
2. 破壊的な再サンプリング： 明示的なピクセル・ワーピング（例：MatSwap）やクロスアテンション機構に依存する手法は、破壊的なダウンサンプリングを引き起こし、高周波の詳細や構造的忠実度の喪失を招く。
3. セマンティック・リーク（意味論的漏洩）： 既存のモデルは、元のシーンの整合性のある照明やジオメトリを保持できなかったり、参照された特徴が編集されていない背景領域にまで滲み出したりすることが多い。

核心となる課題は、空間操作とコンテンツ生成を切り離し、参照テクスチャのアイデンティティとシーンの物理的一貫性の両方を維持しながら、制御可能で高忠実度なテクスチャ・タイリングを実現することである。

2. 手法

著者らは、Diffusion Transformer (DiT) アーキテクチャ、具体的には FLUX.1-Kontext-dev モデルを活用した新しいフレームワークを提案している。このアプローチは、2つの主要な技術的革新を用いて、テクスチャ・マッピングを特殊な視覚条件付きインペインティング・タスクとして定式化している。

A. 座標変換型回転埋め込み (Transformed RoPE)

入力テクスチャのピクセルを物理的にワーピング（歪ませる）する代わりに（これは解像度の低下を招く）、この手法は空間変換をアテンション機構に直接注入する。

• メカニズム： 本フレームワークは、トークン間の相対距離を通じて空間認識を符号化する2D回転位置埋め込み（RoPE）を利用する。
• 実装： 回転、スケーリング、平行移動を含むユーザー定義のアフィン変換 ($\mathcal{T}$) を、セルフアテンション中の参照キーおよび値の位置埋め込みに直接適用する。
• 効果： これにより、モデルは参照テクスチャを単一のユニットとして扱い、「暗黙的な生成的タイリング（Implicit Generative Tiling）」を実行できる。アテンション機構は、変形された座標に基づいて参照ユニットから高忠実度の特徴を抽出するため、明示的なピクセル再サンプリングを行うことなく、潜在特徴の完全なスペクトル忠実度を維持できる。

B. 離散アテンション・マスキング (Disjoint Attention Masking)

セマンティック・リークを防ぎ、構造的完全性を確保するために、著者らはトークン・シーケンスを3つの互いに素なサブセットに分割する特殊なアテンション・マスクを導入している：

1. 参照トークン ($\mathcal{S}_{ref}$): 自身のみにアテンションを向けるよう制限される。これにより、背景からの干渉から参照テクスチャを保護し、色のにじみを防ぐ。
2. 背景トークン ($\mathcal{S}_{bg}$): シーンへのアテンションは許可されるが、参照トークンへのアテンションは厳格にブロックされ、参照テクスチャが未編集のコンテキストを変化させることを防ぐ。
3. インペインティング対象トークン ($\mathcal S_{mask}$): 参照（テクスチャ特徴のため）と背景（グローバルな照明およびジオメトリのため）の両方にアテンションを向けるための完全な可視性が与えられる。

C. システム・パイプライン

システムは、ソース画像 ($I_{src}$)、ターゲット・マスク ($M$)、参照テクスチャ ($I_{ref}$)、および変換パラメータ ($\mathcal{T}$) を受け取る。

• 幾何学的事前情報： デプスマップ ($D$) とイラディアンス・マップ ($L$) をアップストリームの推定器を用いて抽出し、それらを潜在空間にエンコードすることで、サーフェス・ノーマル（法線）やシェーディングに従ってタイル・パターンを調整する。
• 潜在融合 (Latent Fusion)： ターゲット潜在変数は、ノイズを含む潜在変数、未編集の背景、マスク、および幾何学的事前情報を結合することで構築される。参照テクスチャは、チャンネル次元に一致するようにゼロパディングされ、シーケンス次元に沿って結合される。
• 学習： モデルは2段階で学習される。まず、基本的なタイリング・メカニズムを学習するためにBlenderサブセット（14,000サンプル）で学習し、次に、リアリティ・ギャップを埋めるために物理ベースのレンダリングエンジンを用いた適応サブセット（1,300サンプル）で微調整を行う。

3. 主な貢献

1. Transformed RoPEによる高忠実度タイリング： 回転位置埋め込みに2Dアフィン変換を直接注入するメカニズムを導入した。これにより、破壊的なピクセル・ワーピングを回避し、精密な空間制御と高周波詳細の保持が可能になる。
2. 離散アテンション制御： 参照条件と背景の間の特徴漏洩を排除するための専用のマスキング戦略を提案し、編集されていない領域でのアーティファクトのない状態と、エグゼンプラー（例示）の構造的完全性を保証する。
3. ベンチマーク・データセット： 著者らは、テクスチャ編集の制御可能性に関する標準化された評価プロトコルを確立するため、正解となる変換行列と高密度なセマンティック・マスクを備えた、15,000組の多様で高品質なシーン・テクスチャ・ペアからなる大規模データセットを公開する。

4. 実験結果

本手法は、合成および実世界のデータセットの両方において、最先端のベースライン（FLUX.1-Fill-dev, FLUX.2-dev, ZeST, MaterialFusion, MatSwap）と比較評価された。

• テクスチャの忠実度： 合成データにおいて、提案手法はすべての指標（LPIPS、CLIP-Score、およびグラム行列損失）で最先端の性能を達成し、ベースラインを大幅に上回った。実世界のデータでは、ユーザー調査において42.0%のTop-1選好率を示し、次点のMatSwap（9.8%）を大きく引き離した。
• 空間的制御能： ベースラインに事前ワーピングされた入力を強制させた際のアブレーション研究および比較において、提案手法は優れた幾何学的精度を示した。ベースラインがエイリアシング、構造的劣化、あるいは3Dサーフェス・トポロジーを無視した「コピー＆ペースト」バイアスに苦しむ一方で、提案手法は複雑な回転、スケーリング、さらには非アフィン注入さえも巧みに処理した。
• アブレーション分析： 離散アテンション・マスクを除去すると、セマンティックな汚染と構造的明瞭さの喪失が発生した。また、暗黙的な座標注入を明示的なピクセル空間のワーピング（GlobalまたはLocal Explicit）に置き換えると、ダウンサンプリングによる幾何学的な不整合と不可逆的な高周波詳細の損失が生じた。

5. 意義と主張

本論文は、精密な幾何学的編集と生成的なフォトリアリズムの間の溝を埋めるものであると主張している。空間操作と視覚的コンテンツ生成を分離することにより、本フレームワークは以下の特性を持つソリューションを提供する：

• ロスレス（無損失）： 明示的なピクセル再サンプリングを回避することで、参照テクスチャの高周波詳細を保持する。
• 物理的一貫性： デプスおよびイラディアンスの事前情報を用いた潜在融合を通じて、合成されたテクスチャをシーン本来の照明およびジオメトリと統合する。
• 制御可能性： テキストや画像プロンプトの確率的な解釈に頼るのではなく、厳密に遵守されるユーザー定義のアフィン変換を可能にする。

著者らは、本研究をマテリアル転送における新たな最先端技術として位置づけ、構造的制御、テクスチャの忠実度、および視覚的リアリズムの最適なバランスを提供すると述べている。また、VAE潜在空間における解像度のボトルネック、明示的なマテリアルマップ（粗さなど）の欠如、および単一のアフィン変換では複雑なジオメトリ上の急峻な遷移を扱えないといった限界についても認め、これらを今後の研究課題としている。