技術要約: LazyDrag

問題提起

拡散モデルにおけるドラッグベースの画像編集は、アテンション機構による暗黙的な点マッチングへの依存という根本的なボトルネックに直面しています。アテンション共有（MasaCtrlなど）を利用する従来の手法は、意味的に関連のある領域ではなく、空間的に近接した領域にアテンションの重みを割り当てます。これにより、編集が不安定になり、アイデンティティ保持が低下し、インバージョン強度が損なわれます。これらの問題を軽減するために、既存のアプローチはしばしば**テスト時最適化（TTO）やインバージョン強度の弱体化に頼らざるを得ません。これらの妥協は、信頼性の低いインペインティング、テキスト誘導生成の抑制、そして編集の歪みを招きます。さらに、U-Netアーキテクチャからマルチモーダル拡散トランスフォーマー（MM-DiT）**への移行は新たな課題をもたらしました。単にキーとバリューのトークンを共有するだけでは、MM-DiTにおいてアイデンティティを効果的に保持できず、既存のアイデンティティ保持手法（CharaConsistなど）は、フル強度のインバージョン下では不安定なアテンション類似性マッチングに依存しています。

手法: LazyDrag

LazyDragは、明示的な対応マップを導入することで、暗黙的な点マッチングへの依存を排除する、MM-DiT向けのトレーニングフリーな手法です。この手法は、TTOを必要とせずにフル強度のインバージョンの下で動作します。パイプラインは主に3つのステージで構成されます。

1. 明示的対応マップの生成

アテンションを通じてマッチングを推論する代わりに、LazyDragはユーザーのドラッグ指示から直接、決定論的な対応マップを導出します。

• 変位場の計算: 本手法は、Winner-Takes-All (WTA) 融合戦略を用いて変位場を計算します。各編集可能ポイントに対して、変位は最も近いハンドルポイントによって決定され、ボロノイ境界によって潜在グリッドを分割します。これにより、（口を開ける動作などの）相反するドラッグによる動きの打ち消しを防ぎます。
• 潜在空間の初期化: 潜在空間は以下の4つの異なる領域に分割されます。
  • 背景 ($R_{bg}$): 変化しません。
  • 目的地 ($R_{dst}$): アイデンティティを保持したまま、移動したコンテンツが描画される領域。
  • インペインティング ($R_{inp}$): 反復的なアーティファクトを防ぎ、高忠実度なテキスト誘導生成を可能にするため、補間ではなくガウスノイズで初期化されます。
  • 遷移 ($R_{trans}$): 境界を滑らかにブレンドします。
• マップの定式化: このプロセスにより、マッチングポイントマップ $M(x)$ と重みマップ $A(x)$ が生成され、これらが後続のアテンション制御の信頼できる参照として機能します。

2. 対応関係駆動型アテンション制御

明示的なマップは、MM-DiTのシングルストリーム・アテンション（SS-Attn）層内における2部構成のアテンション制御を駆動します。

• 入力制御 (トークン置換と結合):
  • 背景の保持: $R_{bg}$ に対しては、背景が変化しないことを保証するため、アテンション・トークン ($Q, K, V$) をインバージョンプロセスからキャッシュされた元のトークンでハード置換します。
  • アイデンティティの保持: $R_{dst}$ および $R_{trans}$ に対しては、キャッシュされたソース・トークン（回転位置エンコーディングで再エンコードされたもの）を現在のトークンに結合します。これにより、アテンション計算に強力な対応関係駆動型の信号を注入し、コヒーレントな適応を許容しながらオブジェクトのアイデンティティを保持します。
• 出力の洗練 (ゲート付きマージ):
  • アテンションの出力は、現在の出力と、マッチしたソースポイントからのキャッシュされた出力とのゲート付きマージによって洗練されます。
  • ブレンド係数は、事前に計算されたマッチング重み $A(x)$ と時間減衰因子によってゲート制御されます。これにより、ハンドルポイントでの精密な制御を実現しつつ、周囲の領域での自然な緩和を可能にし、多段階の潜在最適化を不要にします。

主な貢献

1. ドラッグ編集における初のフル強度インバージョン: LazyDragは、全サンプリングステップにおいてフル強度のインバージョンを利用する、MM-DiT向けの初のドラッグベースの編集手法であり、TTOなしでモデルの完全な生成能力を解き放ちます。
2. 暗黙的マッチングに対する明示的対応: 脆弱なアテンション類似性マッチングを、ユーザー定義の明示的な対応マップに置き換えることで、本手法は従来研究の核心的な不安定性を解決し、安定した編集と忠実なインペインティングを可能にします。
3. テキスト誘導による曖昧さの解消: 明示的な対応マップをテキスト誘導と組み合わせることで、意味的に一貫した編集（例：手をポケットに入れるのか、背中の後ろに回すのか）と、複雑な領域（例：犬の口の内部）の自然なインペインティングを可能にします。
4. マルチラウンドおよびマルチ操作のサポート: 本フレームワークは、視覚的なコヒーレンスを維持しながら、移動とスケール操作の同時実行およびマルチラウンドの編集をサポートします。

実験結果

DragBench（205枚の画像、349組のポイントペア）において、LazyDragは定量的および定性的な指標において、8つのベースライン（DragDiffusion, GoodDrag, FastDrag, Inpaint4Dragを含む）を上回りました。

• 定量的性能: LazyDragは、平均距離（MD）21.49を達成し、次点のベースライン（DragTextの21.51）を上回るSOTA（State-of-the-Art）の結果を出しました。また、セマンティック一貫性（SC: 8.205）、知覚的品質（PQ: 8.395）、総合スコア（O: 8.210）においてもリードしています。
• 効率性: TTO（LoRAの微調整や多段階最適化など）を必要とするベースラインとは異なり、LazyDragはトレーニングフリーであり、画像ごとや指示ごとの最適化を必要としません。
• ユーザー調査: 32名の専門家による調査において、LazyDragは比較において**63.67%**の割合で選好され、すべてのベースラインを大幅に上回りました。
• 定性的優位性: 本手法は、他の手法が失敗するような複雑な編集（例：犬の口を開けてその内部をインペイントする、あるいは「テニスボール」のような新しいオブジェクトをテキストに従って生成するなど）を、背景の完全性とオブジェクトのアイデンティティを保持しながら成功裏に実行します。

意義

本論文は、明示的な対応関係が暗黙的なアテンションマッチングという根本的なボトルネックを代替できることを示すことで、LazyDragが編集パラダイムの新しい道を切り開くものであると主張しています。MM-DiTにおける安定したフル強度インバージョンを可能にすることで、本手法はTTOやインバージョン弱体化によって抑制されていた生成能力を解き放ちます。これは、精密な幾何学的制御、自然なインペインティング、および堅牢なテキスト誘導生成を提供し、テスト時最適化の計算コストをかけずに、ドラッグベースの編集における新たなSOTAを確立するものです。