Asynchronous Denoising Diffusion Models for Aligning Text-to-Image Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "نماذج الانتشار غير المتزامنة لمحاذاة توليد الصور من النصوص" (AsynDM)، المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

على الرغم من نجاح نماذج الانتشار (Diffusion Models) في توليد صور عالية الجودة، إلا أنها تعاني تكراراً من عدم المحاذاة بين النص والصورة (text-to-image misalignment). فغالباً ما تفشل الصور المولدة في مطابقة المطالبات (prompts) الخاصة بالمستخدم بدقة فيما يتعلق بخصائص محددة مثل عدد الأشياء، أو الألوان، أو العلاقات المكانية، أو السلوكيات المعقدة (مثل "قرش يركب دراجة").

يجادل المؤلفون بأن السبب الجذري لهذا عدم المحاذاة هو إزالة الضجيج المتزامنة (synchronous denoising). في نماذج الانتشار القياسية:

• تتطور جميع البكسلات في وقت واحد من ضجيج عشوائي إلى صورة واضحة باتباع نفس الجدول الزمني العالمي للخطوات الزمنية.
• أثناء التوليد، يجب أن تعتمد المناطق المرتبطة بالمطالبة (مثل الأشياء الموصوفة تحديداً) على مناطق غير ذات صلة (مثل الخلفية) التي تكون عند نفس مستوى الضجيج.
• ولأن الخلفية لا تزال مشوشة وغامضة في المراحل المبكرة، فإنها توفر مراجع سياقية ضعيفة. هذا النقص في السياق الواضح بين البكسلات يمنع المناطق المرتبطة بالمطالبة من صقل دلالاتها (semantics) بدقة، مما يؤدي إلى أخطاء في المحاذاة.

2. المنهجية: نماذج الانتشار غير المتزامنة (AsynDM)

تقترح AsynDM إطار عمل قابل للتوصيل والتشغيل (plug-and-play)، ولا يتطلب ضبطاً (tuning-free)، يعيد صياغة عملية إزالة الضجيج من خلال تخصيص خطوات زمنية متميزة لمختلف البكسلات. الفكرة الجوهرية هي إزالة الضجيج من المناطق المرتبطة بالمطالبة بشكل تدريجي أكثر من المناطق غير المرتبطة، مما يسمح للأخيرة بأن تصبح واضحة أولاً وتعمل كـ "سياق" عالي الجودة للأولى.

أ. تخصيص الخطوات الزمنية على مستوى البكسل

يعيد المؤلفون صياغة عملية الانتشار (تحديداً عينة DDPM) للسمارح باستخدام تنسور (tensor) من الخطوات الزمنية $t_i \in \mathbb{R}^{h \times w}$ بدلاً من خطوة زمنية عالمية قياسية.

• انتقال الحالة: بدلاً من الانتقال من $x_t \to x_{t-1}$، ينتقل النموذج من $x_i$ إلى $x_{i+1}$ حيث يكون لكل بكسل حالته الزمنية المحلية الخاصة $t_i$.
• خاصية ماركوف (Markov Property): تظل العملية سلسلة ماركوف حيث يتم تعريف الحالة بـ $(x_i, t_i)$، ويعتمد سياسة الانتقال على كل من حالة الصورة والجدول الزمني المحلي.

ب. جدولة الخطوات الزمنية (Timestep Scheduling)

يقدم المؤلفون آلية لجدولة هذه الخطوات الزمنية ديناميكياً:

• المجدول المقعر (Concave Scheduler): تتبع المناطق المرتبطة بالمطالبة دالة مقعرة $f(i)$ (مثل الدالة التربيعية)، مما يبطئ تقدم إزالة الضجيج الخاص بها. هذا يسمح لها بتجميع سياق أكثر وضوحاً من البيئة عبر خطوات أكثر.
• المجدول الخطي (Linear Scheduler): تتبع المناطق غير المرتبطة بالمطالبة (الخلفية) مجدولاً خطياً قياسياً، مما يسمح لها بإزالة الضجيج بسرعة والوصول إلى حالة واضحة في مرحلة مبكرة.
• الضمان الرياضي: يثبت البحث (Proposition 1) أن أي نقطة في مسار إزالة الضجيج يمكنها الوصول إلى الحالة النهائية ($t=0$) عن طريق إزاحة دالة مقعرة، مما يضمن بقاء العملية صالحة.

ج. استخراج الأقنعة والتعديل الديناميكي

لتنفيذ ذلك، يجب على النموذج تحديد البكسلات "المرتبطة بالمطالبة" في كل خطوة دون إشراف خارجي:

• أقنعة الانتباه المتقاطع (Cross-Attention Masks): تستخرج الطريقة الأقنعة من وحدات الانتباه المتقاطع في نموذج الانتشار المدرب مسبقاً. تبرز خرائط الانتباه $A$ البكسلات الأكثر تأثراً بكلمات (tokens) معينة في المطالبة.
• توليد القناع: يتم إنشاء قناع ثنائي $M$ عن طريق تحديد عتبة (thresholding) خرائط الانتباه المقابلة لكلمات الكائنات في المطالبة.
• التعديل التكيفي: في كل خطوة إزالة ضجيج $i$، يقوم القناع $M_i$ بتوجيه المجدول:
  • البكسلات حيث $M_i=1$ (مرتبطة) تستخدم المجدول المقعر.
  • البكسلات حيث $M_i=0$ (غير مرتبطة) تستخدم المجدول الخطي.
  • مع وضوح الصورة، يتطور القناع، مما يعمل على صقل المناطق التي تحتاج إلى إزالة ضجيج أبطأ.

3. المساهمات الرئيسية

1. تشخيص عدم المحاذاة: حددت الورقة إزالة الضجيج المتزامنة كعائق رئيسي للمحاذاة بين النص والصورة، مجادلة بأن التعامل المتساوي مع جميع البكسلات يحد من الاستخدام الفعال للسياق بين البكسلات.
2. إطار العمل غير المتزامن (AsynDM): إطار عمل مبتكر لا يتطلب تدريباً يقدم خطوات زمنية على مستوى البكسل. فهو يعدل ديناميكياً سرعة إزالة الضجيج للمناطق المختلفة بناءً على صلتها بالمطالبة.
3. سياق أوضح بين البكسلات: من خلال إزالة الضجيج من مناطق الخلفية بشكل أسرع، توفر الطريقة للمناطق المرتبطة بالمطالبة سياقاً "أكثر وضوحاً"، مما يمكنها من التقاط الدلالات الدقيقة (العدد، اللون، التفاعل) بشكل أفضل.
4. القوة والمتانة (Robustness): تعمل الطريقة بفعالية عبر مختلف النماذج الأساسية (النمابنية على UNet مثل SD 2.1، SDXL؛ والنماذج المبنية على DiT مثل SD 3.5) ومختلف أنواع المطالبات (العدد، السلوك، التواجد المشترك).

4. النتائج التجريبية

قيم المؤلفون AsynDM مقابل خطوط أساس (baselines) قوية (Standard DM, DM with concave scheduler, Z-Sampling, SEG, S-CFG, CFG++) على أربع مجموعات من اختبارات المطالبات: Animal Activity, DrawBench, GenEval, و MSCOCO.

• الأداء الكمي: تفوقت AsDM باستمرار على جميع خطوط الأساس عبر أربعة مقاييس:
  • BERTScore: تحسين التشابه الدلالي.
  • CLIPScore: محاذاة أفضل بين النص والصورة.
  • ImageReward: درجات تفضيل بشري أعلى.
  • QwenScore: مكاسب كبيرة في تسجيل المحاذاة القائم على النماذج اللغوية الكبيرة (مثل +0.5773 في Animal Activity).
• النتائج النوعية: تظهر المقارنات البصرية أن AsDM تنجح في توليد مطالبات معقدة تفشل فيها النماذج الأخرى (مثل العدد الصحيح للأشياء، ألوان محددة، وتفاعلات معقدة مثل "قرش يركب دراجة").
• الكفاءة: تضيف الطريقة عبئاً حسابياً ضئيلاً جداً. استغرق توليد 1,280 صورة 78 دقيقة للنموذج الأصلي مقابل 86 دقيقة لـ AsDM، مما يشير إلى كفاءة عالية.
• جودة الصورة: ظلت درجات FID-30K مقاربة للنموذج الأساسي، مما يؤكد أن الطريقة لا تقلل من دقة الصورة الإجمالية.
• دراسات الاستئصال (Ablation Studies):
  • الأقنعة الثابتة مقابل الديناميكية: حتى مع استخدام قناع ثابت (مستخرج من النموذج الأساسي)، حسنت AsDM من المحاذاة، مما يثبت متانتها تجاه الأقنعة غير المثالية.
  • متغيرات المجدول: تعمل الطريقة مع المجدولات التربيعية، والخطية المجزأة، والأسية، وإن كانت الدالة التربيعية قد أعطت أفضل النتائج.
  • التفاوت في الخطوات الزمنية: يمكن أن يؤدي التفاوت المفرط في الخطوات الزمنية (فرق كبير جداً بين المناطق السريعة والبطيئة) إلى إدخال الضجيج؛ ويقترح المؤلفون استراتيجية وزن لموازنة ذلك.

5. الأهمية والعمل المستقبلي

• الأهمية: تقدم AsDM حلاً لا يتطلب تدريباً لمحدودية جوهرية في نماذج الانتشار. وهي تثبت أن عملية التوليد (الجدولة) لا تقل أهمية عن بنية النموذج نفسه. من خلال فصل سرعة إزالة الضجيج للمناطق الدلالية المختلفة، فإنها تعزز التحكم بشكل كبير دون الحاجة لإعادة التدريب.
• التطبيقات: بعيداً عن التوليد، يظهر المؤلفون إمكانات في تحرير الصور (تقليل التشويه في عملية Inpainting) و تقليل تشوه الصور.
• الاتجاهات المستقبلية:
  • استبدال الدالة المقعرة الثابتة بـ نموذج قابل للتعلم للتنبؤ بالخطوات الزمنية المثلى بشكل تكيفي.
  • توسيع إطار العمل للتعامل مع علاقات الأشياء المعقدة (مثل استخدام الرسوم البيانية الموجهة غير الحلقية DAGs) بدلاً من مجرد المناطق الثنائية (مرتبطة/غير مرتبة).
  • معالجة التفاوتات الشديدة في الضجيج من خلال الضبط الدقيق (fine-tuning).

في الختام، تمثل AsDM تحولاً في النموذج الفكري من إزالة الضجيج المتزامنة العالمية إلى الصقل غير المتزامن المحلي، مستفيدة من التسلسل الهرمي الزمني لتقليل الضجيج لتحقيق محاذاة فائقة بين النص والصورة.