Coarse-Guided Visual Generation via Weighted h-Transform Sampling

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التوليد البصري الموجه بالبيانات الخشنة عبر أخذ عينات تحويل h الموزون" (Coarse-Guided Visual Generation via Weighted h-Transform Sampling).

1. بيان المشكلة

تتناول الورقة تحدي التوليد البصري الموجه بالبيانات الخشنة (Coarse-Guided Visual Generation). الهدف هو تخليق عينات بصرية عالية الدقة ("دقيقة" - fine) من مراجع خشنة ("خشنة" - coarse) متدهورة أو منخفضة الدقة أو غير مكتملة (مثل الصور الضبابية، المدخلات منخفضة الدقة، الفيديوهات المشوهة، أو الأقنعة غير المكتملة).

تعاني الأساليب الحالية من ثلاث قيود رئيسية:

1. الأساليب القائمة على التدريب: تتطلب بيانات "خشنة-دقيقة" مقترنة لمهام محددة. وهذا يترتب عليه تكاليف تدريب عالية ويفتقر إلى القدرة على التعميم لأنواع التدهور الجديدة.
2. حلال مشكلات المسائل العكسية (بدون تدريب): تعتمد على معرفة "المؤثر الأمامي" (forward operator) بدقة (مثل خفض العينة بطريقة bicubic، أو التغبيش الغاوسي) لتقريب التوزيع اللاحق. هذا يحد من المتانة عندما تكون عملية التدهور غير معروفة أو معقدة.
3. التخليق الموجه بالبداية (مثل SDEdit): يقوم بحقن الضجيج في العينة الخشنة ثم إزالة الضجيج منها. هذا يخلق مقايضة غير مستقرة: فالضجيج الزائد يفقد إشارة التوجيه، بينما الضجيج القليل جداً يؤدي إلى تحسينات ضعيفة في الجودة.

2. المنهجية: أخذ عينات تحويل h الموزون (Weighted h-Transform Sampling)

يقترح المؤلفون طريقة خالية من التدريب (training-free) وخالية من الحاجة لمؤثر (operator-free) تعتمد على تحويل Doob's h-transform، وهي أداة رياضية تُستخدم لتقييد العمليات العشوائية للوصول إلى حالة هدف محددة.

المفهوم الجوهري

تقوم الطريقة بتعديل مسار أخذ العينات لنموذج انتشار (diffusion model) أو نموذج مطابقة التدفق (flow matching) مدرب مسبقاً لتوجيه عملية التوليد نحو العينة الدقيقة المثالية ($y$) باستخدام العينة الخشنة ($\tilde{y}$) كمرشد.

الخطوة 1: الصياغة النظرية (h-Transform)
في عملية أخذ عينات الانتشار القياسية، تُحكم العملية العكسية بواسطة معادلة تفاضلية عشوائية (SDE) أو معادلة تفاضلية عادية (ODE). لضمان انتهاء العملية عند هدف محدد $y$، يضيف تحويل Doob's h-transform حداً من "الانجراف" (drift) إلى المعادلة الأصلية:
$$d\mathbf{x} = [\mathbf{f}(\mathbf{x}_t, t) - g^2(t)\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t) - g^2(t) h_{\mathbf{x}_0=y}] dt + g(t)d\bar{\mathbf{w}}$$
حيث يعمل $h_{\mathbf{x}_0=y} = \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_0 = y | \mathbf{x}_t)$ كقوة جذب تسحب العينة نحو $y$. ومع ذلك، فإن $y$ (الحقيقة الأرضية) غير معروفة، مما يجعل هذا الحد غير قابل للحساب (untractable).

الخطوة 2: التقريب القابل للحساب
بما أن $y$ غير معروفة، يقرب المؤلفون $h_{\mathbf{x}_0=y}$ غير القابل للحساب باستخدام العينة الخشنة $\tilde{y}$:
$$h_{\mathbf{x}_0=y} \approx h_{\mathbf{x}_0=\tilde{y}}$$
باستخدام قاعدة بايز وخصائص عملية الانتشار الأمامية (بافتراض توزيع شرطي غاوسي)، استنتجوا حلاً مغلقاً لـ $h_{\mathbf{x}_0=\tilde{y}}$:
$$h_{\mathbf{x}_0=\tilde{y}} = \frac{1}{\sigma_t^2}(\alpha_t \tilde{y} - \mathbf{x}_t) - s_\theta(\mathbf{x}_t, t)$$
حيث $s_\theta$ هو متنبئ الدرجة (score predictor) المدرب مسبقاً، و $\alpha_t, \sigma_t$ هي معاملات جدول الضجيج.

الخطوة 3: تحليل خطأ التقريب
حلل المؤلفون المسافة الإقليدية بين الانجراف الحقيقي ($h_{\mathbf{x}_0=y}$) والانجراف التقريبي ($h_{\mathbf{x}_0=\tilde{y}}$). ووجدوا أن خطأ التقريب ($\mathcal{J}$) يرتبط عكسياً مع مستوى الضجيج ($\sigma_t$):

• الضجيج العالي ($\sigma_t \to 1$): يكون الخطأ صغيراً؛ حيث تعتبر العينة الخشنة $\tilde{y}$ بديلاً جيداً لـ $y$.
• الضجيج المنخفض ($\sigma_t \to 0$): يزداد الخطأ بشكل كبير؛ حيث يؤدي الاعتماد فقط على $\tilde{y}$ إلى حدوث تشوهات أو انحراف عن البنية الحقيقية.

الخطوة 4: أخذ عينات تحويل h الموزون
للتخفيف من الخطأ عند مستويات الضجيج المنخفضة، قدم المؤلفون دالة وزن مدركة لمستوى الضجيج $\lambda_\sigma$. تصبح معادلة ODE النهائية لأخذ العينات:
$$d\mathbf{x} = \left[ \mathbf{f}(\mathbf{x}_t, t) - \frac{1}{2}g^2(t) \left( s_\theta + \lambda_\sigma \cdot h_{\mathbf{x}_0=\tilde{y}} \right) \right] dt$$

• عندما يكون الضجيج عالياً (الخطوات الأولى)، يكون $\lambda_\sigma \approx 1$، مما يدمج التوجيه الخشن بقوة.
• عندما يكون الضجيح منخفضاً (الخطوات المتأخرة)، يكون $\lambda_\sigma \to 0$، مما يقلل من تأثير التقريب الذي قد يكون خاطئاً للحفاظ على جودة التخليق.
• تم تعريف دالة الوزن كـ $\lambda_\sigma = \sigma_t^\alpha$، حيث $\alpha$ هو معلم فائق (hyperparameter) يتحكم في التوازن.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقترح أخذ عينات تحويل h الموزون، وهو أول منهج خالٍ من التدريب يستفيد من تحويل Doob's h-transform للتوليد الموجه بالبيانات الخشنة دون الحاجة لمعرفة مؤثر التدهور الأمامي.
2. تصميم مدرك للخطأ: اشتق نظرياً العلاقة بين خطأ التقريب ومستوى الضجيج، مقدماً جدول وزن ديناميكي للموازنة بين الالتزام بالتوجيه وجودة التوليد.
3. القدرة على التعميم: أثبت التوافق مع كل من نماذج الدرجة (Score-based models) (مثل DDPM، SDE) ونماذج مطابقة التدفق (Flow Matching models) (مثل Rectified Flow)، مما يجعله قابلاً للتطبيق على مجموعة واسعة من بنيات التوليد الحديثة.
4. خالٍ من التدريب: يلغي الحاجة لجمع مجموعات بيانات مقترنة أو ضبط النماذج (fine-tuning)، معتمداً فقط على نماذج غير مشروطة أو نماذج نص-إلى-بصري مدربة مسبقاً.

4. النتائج التجريبية

تم تقييم الطريقة في مهام صور وفيديو متنوعة:

• ترميم الصور (مجموعة بيانات FFHQ):
  • المهام: رفع الدقة (Super-resolution)، ملء الفراغات (Inpainting)، إزالة التغبيش الغاوسي (Gaussian Deblur)، وإزالة تغبيش الحركة (Motion Deblur).
  • النماذج المرجعية: تمت المقارنة مع حلال مشكلات المسائل العكسية (مثل DPS، ILVR، إلخ) والأساليب الموجهة بالبداية (SDEdit).
  • النتائج: تفوقت على SDEdit في معظم المقاييس (FID، LPIPS) وكانت منافسة للأساليب المتطورة التي تعتمد على المؤثر (مثل DPS) دون معرفة المؤثر الأمامي.
• توليد الفيديو المتحكم به عبر الكاميرا (مجموعة بيانات DL3DV):
  • المهمة: توليد فيديوهات تتبع حركات كاميرا محددة باستخدام فيديو مشوه خشن كمرشد.
  • النماذج المرجعية: تمت المقارنة مع الأساليب القائمة على التدريب (GWTF) والأساليب الخالية من التدريب (TTM).
  • النتائج: حققت أفضل أداء في اتساق الحركة (خطأ التدفق البصري/Optical Flow error) والتشابه الهيكلي (FVD، MSE)، حيث ولدت فيديوهات ذات محاذاة أفضل مع الحقيقة الأرضية مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • أكدت أن المعلم الفائق للوزن $\alpha$ حاسم؛ فإذا كان منخفضاً جداً تدهورت الجودة (خطأ عالٍ)، وإذا كان عالياً جداً قلّ الالتزام بالتوجيه. تم العث الوزن الأمثل حول $\alpha=5$.
• التوافق: طُبقت بنجاح على Wan2.2 (نموذج مطابقة تدفق) و CogVideoX (نموذج قائم على الدرجة)، مما يثبت طبيعة الطريقة المستقلة عن النموذج (model-agnostic).
• تعديل الصور: تم توسيعها لتشمل تعديل الصور بناءً على النصوص، مما أظهر نتائج تنافسية ضد أساليب التعديل القائمة على العكس (inversion-based editing).

5. الأهمية

تقدم هذه الورقة حلاً موحداً، متيناً، وذا أساس نظري للتوليد البصري الشرطي. من خلال فصل آلية التوجيه عن الحاجة لمؤثرات تدهور محددة أو بيانات تدريب مقترنة، فإنها تقلل بشكل كبير من العوائق أمام تطبيق نماذج الانتشار في مهام الترميم والتعديل في العالم الحقيقي. إن تقديم آلية الوزن المدرك لمستوى الضجيج يقدم نموذجاً جديداً للتعامل مع أخطاء التقريب في أخذ العينات الموجه، مما قد يؤثر على الأبحاث المستقبلية في التوليد الشرطي والمسائل العكسية.