Rethinking Global Text Conditioning in Diffusion Transformers

ملخص تقني: إعادة التفكير في التكييف النصي العالمي في نماذج محولات الانتشار (Diffusion Transformers)

نُشر في: ICLR 2026
المؤلفون: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, et al. (Yandex Research, Adobe Research)

1. المشكلة: التكييف العالمي "الفائض عن الحاجة"

في نماذج محولات الانتشار (DiTs) الحديثة، يتم تنفيذ التكييف النصي عادةً عبر مسارين متوازيين:

1. التكييف القائم على الانتباه (Attention-based conditioning): حيث يتم دمج تضمينات الرموز (مثل T5) عبر آلية الانتباه المتقاطع (cross-attention).
2. التكييف القائم على التعديل (Modulation-based conditioning): حيث يُستخدم تضمين واحد مجمع (مثل CLIP) لضبط وتغيير الميزات عبر طبقات التعديل (على غرار StyleGAN).

بدأت النماذج الحديثة الرائدة في التخلي عن التضمين المجمع (العالمي)، والاعتماد كلياً على آلية الانتباه. استقصى المؤلفون ما إذا كان هذا الخيار التصميمي صحيحاً؛ حيث كشف تحليلهم أن التضمين المجمع، في الاستخدام التقليدي، يساهم بشكل ضئيل جداً في الأداء — خاصة في المطالبات (prompts) الطويلة — مما يشير إلى أن آلية الانتباه كافية بالفعل للمحاذاة الدلالية. ومع ذلك، يجادلون بأن التضمين المجمع ليس عديم الفائدة، بل يتم عدم استغلاله بالشكل الأمثل.

2. المنهجية: توجيه التعديل (Modulation Guidance)

يقترح المؤلفون طريقة مبتكرة لإعادة توظيف التضمين النصي المجمع: بدلاً من استخدامه كإشارة تكييف ثابتة، يستخدمونه كـ آلية توجيه ديناميكية في فضاء التعديل.

المكونات التقنية الرئيسية:

• التوجيه في فضاء التعديل: استناداً إلى قابلية التفسير في نموذج CLIP، يقترح المؤلفون أن التضمين المجمع يمكن أن يعمل كـ "مصحح". وقد اقترحوا صيغة قابلة للتشغيل المباشر (plug-and-play) ولا تتطلب تدريباً لتغيير مسار الانتشار نحو الأنماط المرغوبة:
  $$\hat{y}(p, t) = y(p, t) + w \cdot [y(p^+, t) - y(p^-, t)]$$
  حيث $y$ هو متجه التعديل، و $p^+$ هو المطالبة الإيجابية (مثل "سينمائي" - cinematic)، و $p^-$ هي المطالبة السلبية (مثل "دقة منخفضة" - low-res)، و $w$ هو مقياس التوجيه.
• توجيه التعديل الديناميكي: لمنع التوجيه من السيطرة على المطالبة الأصلية (مما يسبب عيوباً بصرية)، قدموا استراتيجيات ديناميكية على مستوى الطبقات. فبدلاً من استخدام مقياس ثابت $w$، يقومون بتطبيق التوجيه بشكل انتقائي عبر طبقات المحول (transformer layers). على سبيل المثال، يستخدمون دالة خطوة (step function) لتخطي الطبقات الأولية والتركيز على التوجيه في الطبقات المتوسطة والمتأخرة حيث يتم تشكيل التفاصيل الدلالية (مثل الأيدي أو الأنسجة).
• الدمج في النماذج الخالية من CLIP: بالنسبة للنماذج التي تخلت تماماً عن التضمين المجمع (مثل COSMOS)، يقترح المؤلفون طريقة تدريب خفيفة الوزن؛ حيث يتم تجميد النموذج الأصلي وتدريب شبكة MLP صغيرة لربط تضمين CLIP المجمع بفضاء تضمين الخطوة الزمنية (timestep embedding) باستخدام هدف قائم على التقطير (distillation-based objective).

3. المساهمات الرئيسية

1. رؤية تحليلية: إثبات أن التضمينات المجمعة غير نشطة إلى حد كبير في بنيات DiT الحالية لمهام تحويل النص إلى صورة القياسية.
2. توجيه التعديل: تقديم طريقة لا تتطلب تدريباً "لإعادة تنشيط" تأثير CLIP للتحكم في الجماليات، والتعقيد، وسمات الكائنات المحددة.
3. الاستراتيجيات الديناميكية: تطوير جداول زمنية للتوجيه خاصة بالطبقات، تعمل على تحسين التوازن بين الجودة الجمالية ودقة المطالبة.
4. تعدد الاستخدامات: إظبات أن الطريقة تعمل عبر نماذج تحويل النص إلى صورة (FLUX, SD3.5)، وتحويل النص إلى فيديو (Hunyuan, CausVid)، وتحرير الصور الموجه بالتعليمات.

4. النتائج

حقق المنهج مكاسب كبيرة عبر اختبارات متعددة دون الحاجة إلى ضبط دقيق (fine-tuning) مكثف:

• الجودة العامة: في التقييمات البشرية جنباً إلى جنب، أدى "توجيه الجماليات" (Aesthetics Guidance) إلى تحسين ملحوظ في الجودة المدركة والتعقيد في نماذج مثل FLUX و SD3.5.
• التحكم في السمات المحددة:
  • عدّ الكائنات: تحسنت الدقة بنسبة 22% في اختبارات التفضيل البشري.
  • تصحيح الأيدي: تحسن توليد الأيدي الواقعية بنسبة 18%.
• توليد الفيديو: حسن "درجة الديناميكية" (سلاسة الحركة والحركة) في نماذج الفيديو، والتي غالباً ما تعاني من فقدان الحركة بعد عملية التقطير.
• تحرير الصور: عالج بفعالية مهام التحرير المعقدة (مثل استبدال كائنات متعددة) حيث تفشل غالباً تقنية التوجيه الحر من المصنف (CFG) القياسية.
• الكفاءة: لا تسبب الطريقة عبئاً زمنياً يذكر لأنها تعدل فقط متجهاً صغيراً يُستخدم في طبقات التعديل الموجودة بالفعل.

5. الأهمية

تغير هذه الورقة البحثية النموذج السائد لكيفية النظر إلى التكييف النصي العالمي في محولات الانتشار (Diffusion Transformers). فبدلاً من اعتبار التضمين المجمع مرساة دلالية زائدة، يعيد المؤلفون صياغته كـ "مقود تحكم" قابل للضبط. ومن خلال نقل التوجيه من فضاء الانتباه (المكلف حوسبياً والمعقد في التحسين) إلى فضاء التعديل، فإنهم يقدمون وسيلة بسيطة، وفعالة، وعالية الكفاءة لتعزيز الجودة البصرية والقدرة على التحكم في نماذج الذكاء الاصطناسي التوليدي.