ملخص تقني: LazyDrag

بيان المشكلة

تواجه عملية تحرير الصور القائمة على السحب (Drag-based image editing) في نماذج الانتشار (diffusion models) عقبة جوهرية تتمثل في: الاعتماد على المطابقة الضمنية للنقاط عبر آليات الانتباه (attention mechanisms). فالطرق السابقة، مثل تلك التي تستخدم مشاركة الانتباه (مثل MasaCtrl)، تخصص أوزان الانتباه للمناطق القريبة مكانياً بدلاً من المناطق المرتبطة دلالياً. يؤدي هذا إلى تحرير غير مستقر، وتدهور في الحفاظ على الهوية، وتقويض في قوة الارتداد (inversion strength). وللتخفيف من هذه المشكلات، تلجأ النهج الحالية غالباً إلى التحسين وقت الاختبار (TTO) أو إضعاف قوة الارتداد. وتؤدي هذه التسويات إلى عمليات ترميم (inpainting) غير موثوقة، وتثبيط التوليد الموجه بالنص، وتحرير مشوه. علاوة على ذلك، أدى الانتقال من بنيات U-Net إلى محولات الانتشار متعددة الوسائط (MM-DiTs) إلى ظهور تحديات جديدة؛ حيث يفشل مجرد مشاركة رموز المفتاح والقيمة (key and value tokens) في MM-DiTs في الحفاظ على الهوية بفعالية، كما تعتمد طرق الحفاظ على الهوية الحالية (مثل CharaConsist) على مطابقة تشابه الانتباه الهشة وغير المستقرة تحت الارتداد كامل القوة.

المنهجية: LazyDrag

إن LazyDrag هو طريقة خالية من التدريب مصممة لنماذج MM-DiTs، تعمل على إلغاء الاعتماد على المطابقة الضمنية للنقاط من خلال تقديم خريطة مطابقة صريحة (explicit correspondence map). تعمل الطريقة تحت ظروف الارتداد كامل القوة (full-strength inversion) دون الحاجة إلى TTO. يتكون خط العمل من ثلاث مراحل رئيسية:

1. توليد خريطة المطابقة الصريحة

بدلاً من استنتاج المطابقات عبر الانتباه، يستمد LazyDrag خريطة مطابقة صريحة مباشرة من تعليمات السحب الخاصة بالمستخدم.

• حساب حقل الإزاحة (Displacement Field Calculation): تحسب الطريقة حقل إزاحة باستخدام استراتيجية دمج "الفائز يأخذ الكل" (Winner-Takes-All - WTA). لكل نقطة قابلة للتحرير، يتم تحديد الإزاحة بواسطة أقرب نقطة مقبض (handle point)، مما يقسم الشبكة الكامنة عبر حدود فورونوي (Voronoi boundaries). يتجنب هذا إلغاء الحركة الذي يحدث عند متوسط السحب المتعارض (مثل فتح الفم).
• التهيئة الكامنة (Latent Initialization): يتم تقسيم الفضاء الكامن إلى أربعة مناطق متميزة:
  • الخلفية ($R_{bg}$): تظل دون تغيير.
  • الوجهات ($R_{dst}$): حيث يتم رندر المحتوى المنقول مع الحفاظ على الهوية.
  • الترميم ($R_{inp}$): يتم تهيئتها باستخدام ضجيج غاوسي (بدلاً من الاستيفاء/interpolation) لمنع العيوب المتكررة وتمكين التوليد عالي الدقة الموجه بالنص.
  • الانتقال ($R_{trans}$): تدمج الحدود بسلاسة.
• صياغة الخريطة: تنتج العملية خريطة نقطة مطابقة $M(x)$ وخريطة وزن $A(x)$، واللتان تعملان كمراجع موثوقة للتحكم في الانتباه لاحقاً.

2. التحكم في الانتباه المدفوع بالمطابقة

تقود الخريطة الصريحة آلية تحكم في الانتباه مكونة من جزأين داخل طبقات الانتباه أحادية المسار (Single-Stream Attention - SS-Attn) في MM-DiT:

• التحكم في المدخلات (استبدال الرموز والدمج):
  • الحفاظ على الخلفية: بالنسبة لـ $R_{bg}$، يتم استبدال رموز الانتباه ($Q, K, V$) بشكل قاطع بالرموز الأصلية المخزنة مؤقتاً من عملية الارتداد لضمان بقاء الخلفية دون مساس.
  • الحفاظ على الهوية: بالنسبة لـ $R_{dst}$ و $R_{trans}$، تقوم الطريقة بدمج الرموز المصدرية المخزنة مؤقتاً (المعاد ترميزها باستخدام تضمينات دورانية/rotary embeddings) مع الرموز الحالية. يضخ هذا إشارة قوية مدفوعة بالمطابقة في حساب الانتباه، مما يحافظ على هوية الكائن مع السماح بالتكيف المتماسك.
• تحسين المخرجات (الدمج المبوب/Gated Merging):
  • يتم تحسين مخرج الانتباه عبر دمج مبوب بين المخرج الحالي والمخرج المخزن مؤقتاً من النقطة المصدرية المطابقة.
  • يتم التحكم في عامل الدمج بواسطة وزن المطابقة المحسوب مسبقاً $A(x)$ وعامل يتلاشى زمنياً. يضمن هذا تحكماً دقيقاً عند نقاط المقابض مع السماح بالاسترخاء الطبيعي في المناطق المحيطة، مما يلغي الحاجة إلى تحسين متعدد الخطوات في الفضاء الكامن.

المساهمات الرئيسية

1. أول ارتداد كامل القوة في تحرير السحب: يعد LazyDrag أول طريقة سحب لـ MM-DiTs تستخدم الارتداد كامل القوة عبر جميع خطوات أخذ العينات، مما يفتح القدرة التوليدية الكاملة للنموذج دون الحاجة إلى TTO.
2. المطابقة الصريحة بدلاً من المطابقة الضمنية: من خلال استبدال مطابقة تشابه الانتباه الهشة بخريطة مطابقة صريحة محددة من قبل المستخدم، تحل الطريقة عدم الاستقرار الجوهري في الأعمال السابقة، مما يتيح تحريراً مستقراً وترميماً أميناً.
3. حل الغموض عبر التوجيه النصي: تربط الطريقة خريطة المطابقة الصريحة بالتوجيه النصي، مما يسمح بتحرير متسق دلالياً (مثل نقل يد إلى جيب مقابل وضعها خلف الظهر) وترميم طبيعي للمناطق المعقدة (مثل داخل فم كلب).
4. دعم العمليات المتعددة والجولات المتعددة: يدعم الإطار عمليات التحريك والتحجيم المتزامنة والتحرير متعدد الجولات مع الحفاظ على التماسك البصري.

النتائج التجريبية

عند التقييم على DragBench (205 صورة، 349 زوجاً من النقاط)، تفوق LazyDrag على ثمانية نماذج أساسية (بما في ذلك DragDiffusion و GoodDrag و FastDrag و Inpaint4Drag) عبر المقاييس الكمية والنوعية:

• الأداء الكمي: حقق LazyDrag نتائج رائدة (SOTA) بمتوسط مسافة (MD) قدره 21.49، متفوقاً على أفضل نموذج أساسي تالٍ (DragText بنسبة 21.51). كما تصدر في الاتساق الدلالي (SC: 8.205)، والجودة الإدراكية (PQ: 8.395)، والدرجة الإجمالية (O: 8.210).
• الكفاءة: على عكس النماذج الأساسية التي تتطلب TTO (مثل ضبط LoRA أو التحسين متعدد الخطوات)، فإن LazyDrag خالٍ من التدريب ولا يتطلب أي تحسين لكل صورة أو لكل تعليمات.
• دراسة المستخدم: في دراسة شملت 32 خبيراً، فُضل LazyDrag في 63.67% من المقارنات، متفوقاً بشكل كبير على جميع النماذج الأساسية.
• التفوق النوعي: نجحت الطة في تنفيذ عمليات تحرير معقدة تفشل فيها الطرق الأخرى، مثل فتح فم كلب وترميم داخله، أو توليد كائنات جديدة (مثل "كرة تنس") بتوجيه نصي، كل ذلك مع الحفاظ على سلامة الخلفية وهوية الكائن.

الأهمية

تفترض الورقة أن LazyDrag يمهد طريقاً جديداً لنماذج التحرير من خلال إثبات أن المطابقة الصريحة يمكن أن تحل محل العقبة الجوهرية المتمثلة في مطابقة الانتباه الضمنية. ومن خلال تمكين الارتداد كامل القوة والمستقر على MM-DiTs، تفتح الطريقة القدرات التوليدية التي كانت مكبوحة سابقاً بسبب الحاجة إلى TTO أو إضعاف الارتداد. إنها تضع معياراً جديداً (SOTA) للتحرير القائم على السحب، مما يوفر تحكماً هندسياً دقيقاً، وترميماً طبيعياً، وإبداعاً قوياً موجهاً بالنص دون التكلفة الحسابية للتحسين وقت الاختبار.