Delta Rectified Flow Sampling for Text-to-Image Editing

إليك ملخص تقني مفصل لورقة البحث بعنوان "Delta Rectified Flow Sampling for Text-to-Image Editing".

1. بيان المشكلة

يهدف تحرير الصور من النص إلى الصورة (T2I) إلى تعديل مناطق محددة من الصورة بناءً على نص جديد مع الحفاظ على بقية الصورة (الخلفية، الهيكل، والأسلوب). وبينما أظهرت نماذج التدفق المصحح (Rectified Flow - RF) واعدية في التوليد، تواجه طرق التحرير الحالية تحديات كبيرة:

• التنعيم المفرط وفقدان التفاصيل: تعاني طرق التقطير الحالية لـ RF، مثل Rectified Flow Distillation Sampling (RFDS)، من تنعيم مفرط شديد. فهي تفشل في التمييز بين المناطق التي تحتاج إلى تعديل وتلك التي يجب أن تظل دون تغيير، مما يؤدي إلى تدمير التفاصيل عالية التردد والتشوهات في الخلفية.
• تعقيد العكس (Inversion Complexity): تعتمد العديد من طرق التحرير عالية الدقة على عملية "العكس" (استعادة ضجيج الـ latent من الصورة)، وهي عملية مكلفة حاسوبياً وعرضة لأخطاء إعادة البناء في نماذج RF مقارنة بنماذج الانتشار (Diffusion Models).
• عدم تطابق المسار (Trajectory Mismatch): غالباً ما يؤدي التحسين المباشر للـ latent المستهدف إلى عدم تطابق بين مسار أخذ العينات (sampling trajectory) والتوزيع المستهدف المثالي، مما يسبب انحرافاً دلالياً أو تقارباً ضعيفاً.

2. المنهجية: Delta Rectified Flow Sampling (DRFS)

يقترح المؤلفون إطار عمل DRFS، وهو إطار عمل جديد، لا يتطلب عملية عكس (inversion-free) ولا يتطلب تدريباً (training-free)، ويعمل ضمن نموذج التدفق المصحح (Rectified Flow). يعالج DRFS قيود RFDS من خلال آليتين أساسيتين:

أ. دالة طاقة دلتا (طرح البواقي - Delta Energy Function)

مستوحى من "دلتا ديسويل ديسينج سكور" (Delta Denoising Score - DDS) في نماذج الانتشار، يعيد DRFS تعريف هدف التحسين. فبدلاً من تقليل الخطأ بين السرعة المتوقعة وهدف معين (مما يؤثر على الصورة بأكملها)، يقوم DRFS بتقليل الفرق بين البواقي (residuals) للمطالبات (prompts) المصدر والمستهدفة.

• الآلية: يحدد دالة طاقة بناءً على الفرق بين الباقي المستهدف ($r_{tgt}$) والباقي المصدر ($r_{src}$).
• الأثر: من خلال طرح الباقي المصدر من الباقي المستهدف، يتم إلغاء المكونات المشتركة بينهما (أي الخلفية والمناطق غير المتغيرة) فعلياً في التدرج (gradient). وهذا يضمن أن تكون تدرجات التحسين غير صفرية فقط في المناطق التي تتطلب تعديلاً، مما يحافظ على التفاصيل عالية التردد ويمنع التنعيم المفرط.

ب. حد الإزاحة المعتمد على الزمن ($c_t$)

لمعالجة عدم تطابق المسار حيث ينحرف الـ latent المتداخل عن المسار المستهدف المثالي، يقدم DRFS حد إزاحة (shift term) إلى حالة الـ latent المستهدفة.

• الصيغة: يتم تعريف الـ latent المستهدف المعدل كالتالي: $\hat{x}^{tgt}_t = a_t x^{tgt}_0 + b_t \epsilon + c_t(x^{tgt}_0 - x^{src}_0)$.
• الوظيفة: يعمل الحد $c_t(x^{tgt}_0 - x^{src}_0)$ كمتغير تحكم يدفع الـ latent المشوش (noisy latent) ليكون أقرب إلى مسار الهدف مع تقدم عملية التحسين.
• التصميم: المعامل $c_t$ يعتمد على الزمن (على سبيل المثال، $c_t \propto t(1-t)$). يبدأ من 0، ثم يزداد لمحاذاة المسار في منتصف عملية التحسين، ثم يتلاشى إلى 0 عندما تقترب $t$ من 0. هذا يمنع تضخيم الخطأ في خطوات الضجيج العالي المبكرة مع ضمان محاذاة قوية مع التوزيع المستهدف لاحقاً.

ج. عملية التحسين

• بدون عملية عكس (Inversion-Free): لا يتطلب DRFS مرحلة عكس صريحة. فهو يبدأ الـ latent المستهدف كصورة المصدر ($x^{tgt}_0 = x^{src}_0$) ويقوم بتحسينه مباشرة باستخدام التدرج التقريبي لدالة طاقة DRFS.
• المجدول (Scheduler): يستخدم مجدول زمن تنازلي (descending timestep scheduler)، يبدأ بخطوات ضجيج عالية للتغييرات الهندسية الكلية وينتقل إلى خطوات ضجيج منخفضة لصقل الأنسجة الدقيقة.

3. المساهمات الرئيسية

1. هدف جديد لتحرير RF: تقديم هدف طرح البواقي (residual subtraction) الخاص بالتدفق المصحح. على عكس طرح دلتا الساذج، فإنه يطرح البواقي الكاملة بين سرعة النموذج وديناميكيات البيانات، مما ينتج عنه حد انجراف (drift term) خاص بـ RF يلغي المكونات المشتركة.
2. حالة تقييم مزاحة: صياغة حد إزاحة يعتمد على الزمن ($c_t$) يصحح عدم تطابق المسار. هذا يعمل على استقرار التحسين وتعزيز الاتساق الدلالي دون التضحية بدقة الخلفية.
3. التوحيد النظري: توفر الورقة إطاراً نظرياً موحداً:
   • عند ضبط $c_t = 0$، نستعيد Delta Denoising Score (DDS) (مما يربط بين نموذج الانتشار القائم على الدرجة ونموذج RF القائم على السرعة).
   • عند ضبط $c_t = t$ (تحت بارامترات معينة لـ RF)، نستعيد FlowEdit كحالة خاصة دقيقة، مما يوحد طرق التحرير القائمة على ODE والتحسين القائم على التقطير.

4. النتائج التجريبية

قام المؤلفون بتقييم DRFS على مقياس PIE (700 صورة متنوعة) ومجموعة بيانات إضافية مكونة من 300 صورة، مقارنة بأحدث طرق الانتشار والتدفق المصحح (مثل FlowEdit و FTEdit و iRFDS و RF-Inv).

• الأداء الكمي:
  • جودة التحرير: حقق DRFS أعلى تشابه CLIP للمناطق المعدلة (23.83 في SD3)، مما يشير إلى التزام فائق بالمطالبة المستهدفة.
  • الدقة والحفاظ: تفوق بشكل كبير على iRFDS وغيره من النماذج المرجعية في الحفاظ على الخلفية (LPIPS أقل، SSIM أعلى، MSE أقل). على سبيل المثال، في SD3، خفض DRFS قيمة LPIPS من 186.39 (في iRFDS) إلى 93.81، مما يظهر انخفاضاً هائلاً في التنعيم المفرط.
  • الحفاظ على الهيكل: حافظ DRFS على سلامة هيكلية أفضل مقارنة بـ FlowEdit و FTEdit.
• الأداء النوعي: أظهرت المقارنات البصرية أن DRFS يحافظ على الأنسجة والتفاصيل الدقيقة (مثل الفراء، وأوراق الشجر) التي تقوم طرق RFDS وغيرها بتنعيمها. كما نجح في التعامل مع عمليات تحرير معقدة مثل استبدال الأشياء، ونقل الأسلوب، وتغيير الفصول.
• الكفاءة: يتميز DRFS بكفاءة حاسوبية، حيث يتطلب 50 خطوة تحسين فقط (مقارنة بـ 200+ للطرق القائمة على DDS) ويستغرق حوالي 7.3 ثانية لكل عملية تحرير على وحدة معالجة رسوميات A6000، وهو أسرع من iRFDS (145 ثانية) ومنافس لـ FlowEdit (4.9 ثانية).

5. الأهمية

• حل مفارقة التنعيم المفرط: نجح DRFS في حل المقايضة بين قوة التحرير والحفاظ على التفاصيل في نماذج التدفق المصحح، وهي مشكلة كانت تعيب طرق التقطير السابقة.
• منظور موحد: من خلال الربط الرياضي بين DDS و FlowEdit و DRFS، تقدم الورقة رؤية نظرية متماسكة لتحرير الصور، حيث تُظهر أن الطرق القائمة على ODE والطرق القائمة على التقطير هي حالات خاصة من إطار عمل عام لتقليل الطاقة.
• القابلية للتطبيق العملي: كونه طريقة لا تتطلب عملية عكس ولا تتطلب تدريباً ولا تتطلب أي تعديلات معمارية على النماذج المدربة مسبقاً، فإن DRFS عملي للغاية للتطبيق الفوري في تطبيقات تحرير الصور (T2I) في العالم الحقيقي.

باختصار، يمثل DRFS تقدماً كبيراً في تحرير الصور من النص إلى الصورة عبر الاستفيد من دالة طاقة قائمة على دلتا وحد إزاحة لتصحيح المسار، لتحقيق تحرير عالي الدقة وقابل للتحكم في نماذج التدفق المصحح دون العبء الحسابي لعملية العكس.