💻 computer science

Rethinking Cross-Layer Information Routing in Diffusion Transformers

تقدم هذه الورقة البحثية آلية التوجيه التكيفي مع الانتشار (DAR)، وهي آلية متبقية قابلة للتعلم وتكيفية مع الخطوات الزمنية تحل محل عملية الجمع المتبقي التقليدية في محولات الانتشار (Diffusion Transformers) للتخفيف من مشكلات تدفق المعلومات، مما يحسن بشكل كبير من جودة توليد صور ImageNet وكفاءة التدريب مع الحفاظ على التفاصيل عالية التردد أثناء الضبط الدقيق.

المؤلفون الأصليون: Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فنان كيف يرسم لوحة من الصفر، بدءاً من سحابة ضبابية مليئة بالضجيج والتشويش، ثم يقوم بتنقيحها ببطء لتتحول إلى صورة حادة وواضحة. هكذا تعمل مولدات الصور بالذكاء الاصطناعي الحديثة (التي تسمى محولات الانتشار - Diffusion Transformers).

لفترة طويلة، كان "عقل" هذا الروبوت الفنان مبنياً باستخدام مخطط قياسي موروث من النماذج اللغوية (مثل تلك التي تكتب المقالات). هذا المخطط يخبر الروبوت كيف ينقل المعلومات من طبقة في دماغه إلى الطبقة التالية. الأمر يشبه سباق التتابع حيث يضيف كل عداء رسالته الخاصة إلى العصا ثم يمررها لمن بعده.

قرر مؤلفا هذه الورقة البحثية، تشاو شو (Chao Xu) وفريقه، إلقاء نظرة فاحصة على سباق التتابع هذا. واكتشفوا أن الطريقة القياسية لتمرير العصا هي في الواقع طريقة معطلة، فقاموا ببناء طريقة جديدة وأكثر ذكاءً للقيام بذلك تسمى التوجيه المتكيف مع الانتشار (DAR - Diffusion-Adaptive Routing).

إليك تفصيل بسيط لنتائجهم وحلهم:

١. المشكلة: "سباق تتابع ضوضائي"

في التصميم القياسي، ومع ازدياد وضوح الصورة (بالانتقال من الضجيج العالي إلى الضجيج المنخفض)، تبدأ المعلومات التي تمر عبر طبقات عقل الروبوت بالتصرف بشكل غريب. حدد المؤلفون ثلاثة "أعراض" محددة:

مقبض الصوت يعلق على أقصى درجة (تضخم المقدار): تخيل أن العدائين في سباق التتابع يصرخون رسائلهم بصوت أعلى فأعلى مع كل خطوة. وبحلول الوقت الذي تصل فيه الرسالة إلى الطبقة النهائية، تصبح صاخبة جداً (ضخمة رياضياً) لدرجة أنها تطغى على كل شيء آخر. يتعين على الروبوت العمل بجهد هائل فقط لإبقاء مستوى الصوت تحت السيطرة.
الإشارة تتلاشى (تلاشي التدرج): في سباق التتابع، إذا أسقط آخر عداء العصا، فإن العدائين الأوائل لا يعرفون أنهم ارتكبوا خطأً. وبالمثل، في التصميم القياسي، تصبح "التغذية الراجعة" التي تخبر الطبقات الأولى بكيفية التحسن ضعيفة جداً بحلول الوقت الذي تعود فيه عبر السلس la، مما يجعل الطبقات الأولى تتوقف عن التعلم بفعالية.
الجميع يقول الشيء نفسه (التكرار): نظرًا لأن الرسالة تصبح صاخبة ومشوهة، تبدأ الطبقات المختلفة من الدماغ في إنتاج مخرجات متطابقة تقريباً. الأمر يشبه وجود ٢٠ شخصاً في اجتماع، لكنهم جميعاً يكررون نفس الجملة مراراً وتكراراً. هذا هدر لقدرات الدماغ.

وجد المؤلفون أيضاً أن سباق التتابع القياسي هذا "أعمى عن الوقت". فهو يعامل مرحلة البداية الضبابية للرسم بنفس الطريقة التي يعامل بها المرحلة النهائية الحادة. ولكن في الواقع، يحتاج الروبوت إلى التركيز على الأشكال الكبيرة عندما تكون الصورة ضبابية، وعلى التفاصيل الدقيقة عندما تكون الصورة حادة. التصميم القديم لم يستطع تغيير تروس السرعة.

٢. الحل: "مراقب حركة المرور الذكي" (DAR)

اقترح الفريق نظام DAR، الذي يستبدل عملية "الإضافة والتمرير" البسيطة في سباق التتابع بـ مراقب حركة مرور ذكي ومتكيف.

بدلاً من إضافة كل الرسائل السابقة بشكل أعمى، يسأل النظام الجديد: "بالنظر إلى أننا في هذه المرحلة المحددة من عملية الرسم (الخطوة الزمنية)، أي الرسائل السابقة مفيدة حقاً الآن؟"

إنه مدرك للوقت: يعرف المراقب ما إذا كانت الصورة لا تزال سحابة ضبابية أم أنها أوشكت على الانتهاء. إذا كانت ضبابية، فإنه يركز على طبقات "الصورة الكبيرة". وإذا كانت حادة، فإنه يركز على طبقات "التفاصيل الدقيقة".
إنه انتقائي: لا يضيف كل شيء فحسب. فهو يستخدم آلية "انتباه ناعم" (مثل تسليط الضوء) لاختيار أفضل المعلومات السابقة وتجاهل الباقي.
إنه مرن: لا يجبر الطبقات على أن تكون مختلفة، بل يغير فقط كيفية تواصلها مع بعضها البعض. وهذا يعني أنه يمكن دمجه في النماذج الموجودة دون كسرها.

٣. النتائج: فن أسرع وأفضل

اختبر الفريق هذا النظام الجديد على مجموعة بيانات صور قياسية (ImageNet). وكانت النتائج مبهرة:

جودة أفضل: كانت الصور المولدة أكثر حدة وواقعية بشكل ملحوظ (مقاسة بدرجة تسمى FID، حيث يكون الرقم الأقل أفضل). لقد حسنوا هذه الدرجة بهامش كبير مقارنة بالنموذج القياسي.
تدريب أسرع بكثير: وصل النموذج إلى نفس الجودة العالية للنموذج القديم في ٨.٧٥ مرة أقل من الخطوات. إنه يشبه تعلم رسم لوحة فنية رائعة في يوم واحد بدلاً من ثمانية أيام.
يعمل مع التحديثات الأخرى: اختبروا DAR جنباً إلى جنب مع طريقة شائعة أخرى تسمى REPA (التي تساعد الروبوت على التعلم من الفنون الموجودة). عملت الطريقتان معاً بشكل مثالي، مما جعل التدريب أسرع (بمقدار ضعفين) دون حدوث أي تعارض.

٤. ميزة إضافية: الحفاظ على حدة التفاصيل

أظهرت الورقة أيضاً أنه عند استخدام هذا النظام الجديد لعملية "التقطير" (ضغط نموذج ضخم إلى نموذج أصغر وأسرع)، كان النظام الجديد أفضل بكثير في الحفاظ على التفاصيل عالية التردد.

فكر في الأمر كأنك تقوم بتصوير مستند ضوئياً. الطريقة القديمة كانت تجعل النصوص الدقيقة والحواف الحادة ضبابية. أما طريقة DAR الجديدة فقد حافظت على النصوص واضحة والحواف حادة، حتى بعد عملية الضغط.

الملخص

باختصار، تجادل الورقة بأن الطريقة التي تمرر بها نماذج توليد الصور بالذكاء الاصطناعي المعلومات بين طبقات دماغها كانت قديمة. كانت صاخبة للغاية، وضعيفة في التغذية الراجعة، ومتكررة. ومن خلال تقديم نظام توجيه ذكي ومتكيف مع الوقت (DAR) يختار المعلومات الصحيحة في الوقت المناسب، جعلوا الذكاء الاصطناعي يتعلم بسرعة أكبر وينتج صوراً أفضل، مع الحفاظ على بساطة البنية الأساسية وتوافقها مع التحديثات الحديثة الأخرى.

ملخص تقني: إعادة التفكير في توجيه المعلومات عبر الطبقات في محولات الانتشار (Diffusion Transformers)

بيان المشكلة
أرست محولات الانتشار (DiTs) دعائمها كعمود فقري لتوليد الصور الحديث، مع وجود أبحاث مكثفة تعيد النظر في التجزئة (tokenization)، وآليات الانتباه، والتحكم (conditioning)، والأهداف. ومع ذلك، فإن المجرى المتبقي (residual stream) — وهو الآلية التي تحكم كيفية تراكم المعلومات عبر الطبقات — ظل دون تغيير جوهري عن تصميم المحولات (Transformer) الأصلي. ويحدد المؤلفون أن عملية الإضافة المتبقية المسبقة المعيرة (pre-normalized residual addition) التقليدية، والموروثة من ممارسات معالجة اللغات الطبيعية (NLP)، لا تتناسب مع الديناميكيات المتغيرة زمنياً لعملية الانتشار.

من خلال تحليل تجريبي منهجي لتدفق المعلومات عبر الطبقات بشكل مشترك على طول العمق وخطوة إزالة الضجيج (denoising timestep)، يشخص البحث ثلاث أعراض ملموسة للتوجيه المتبقي التقليدي في نماذج DiT:

تضخم الحجم الأمامي الرتيب (Monotonic Forward Magnitude Inflation): تنمو أحجام الحالات المخفية بنحو 100 ضعف تقريباً من الكتلة الأولى إلى الأخيرة، مما يجبر الكتل الأعمق على إنتاج مخرجات خام أكبر بشكل متزايد للحفاظ على تأثيرها، وهو ما يعكس ظاهرة "تخفيف ما قبل المعيرة" (PreNorm dilution) المشاهدة في النماذج اللغوية الكبيرة (LLMs).
تلاشي التدرج الخلفي الحاد (Sharp Backward Gradient Decay): تتلاشى التدرجات بشكل كبير بعد الكتل القليلة الأولى، مما يترك الطبقات الأعمقة بإشارات تحسين أضعف بكثير.
التكرار الواضح بين الكتل (Pronounced Block-wise Redundancy): تنتج كتل المحولات المتجاورة تمثيلات متشابهة للغاية (تشابه جيب التمام > 0.9)، مما يشير إلى أن التوجيه القياسي يفشل في تنويع الميزات عبر العمق.

علاوة على ذلك، يكشف التحليل أن المصادر المثلى للمعلومات لطبقة معينة تتغير بشكل منهجي مع خطوة إزالة الضجيج (من ميزات الهيكل الخشن عند الضجيج العالي إلى ميزات التفاصيل الدقيقة عند الضجيء المنخفض). وتفشل الروابط المتبقية القياسية، التي تطبق أوزاناً موحدة وغير مرتبطة بالزمن، في التكيف مع هذه المتطلبات المتغيرة.

المنهجية: التوجيه المتكيف مع الانتشار (DAR)
لمعالجة هذه المشكلات، يقترح المؤلفون التوجيه المتكيف مع الانتشار (DAR)، وهو بديل جاهز للتركيب (drop-in replacement) للاتصال المتبقي القياسي. وبخلاف التراكم الجمعي الثابت، يقوم DAR بتجميع قابل للتعلم، ومتكيف مع الخطوة الزمنية، وغير تراكمي لمجموع مخرجات الطبقات الفرعية السابقة.

وتشمل المكونات التصميمية الرئيسية ما يلي:

الانتباه (Softmax Attention) عبر العمق: بدلاً من جمع المخرجات السابقة بأوزان الوحدة، يقوم DAR بحساب تجميع بوزن softmax لمخرجات الطبقات الفرعية السابقة ( $v_i$ ). يتم تحديد أوزان التجميع بواسطة استعلام ( $q_l$ ) مشتق من الحالة المخفية الحالية، ومفاتيح ( $k_i$ ) مشتقة من المخرجات السابقة المعيرة.
الوعي بالخطوة الزمنية (Timestep Awareness): إدراكاً بأن خطوة إزالة الضجيج $t$ $t$ هي إشارة تحكم حاسمة، تم تصميم بارامتر الاستعلام ليكون واعياً بـ $t$ $t$ . وقد استكشف المؤلفون ثلاثة متغيرات:
- الثابت (Static): متجه قابل للتعلم لكل طبقة (مستقل عن الزمن).
  টি الديناميكي (Dynamic): الاستعلام هو إسقاط لمخرج الطبقة الفرعية السابقة، مما يرث ضمناً معلومات الخطوة الزمنية المشفرة في الحالة المخفية.
- الحقن الصريح (Explicit Injection): تعزيز الاستعلام الثابت بتضمين الخطوة الزمنية $e(t)$ .
  وتشير التجارب إلى أن الوعي بالخطوة الزمنية أمر بالغ الأهمية، حيث تفوقت المتغيرات الديناميكية والصريحة على الأساس الثابت غير المدرك للزمن.
التجميع المجزأ (Chunked Aggregation): لإدارة التكلفة الحسابية للانتباه إلى جميع الطبقات $L$ السابقة، يدعم DAR متغيراً مجزأً. يتم تقسيم الطبقات الفرعية إلى أجزاء (chunks)، ويتجه الموجه (router) للانتباه إلى ملخصات الأجزاء السابقة بالإضافة إلى المخرجات الخام داخل الجزء الحالي. ويشير التحليل النظري إلى وجود حجم جزء أمثل (وُجد تجريبياً أنه $S=4$ لنموذج SiT-XL/2) يوازن بين دقة التوجيه وتكلفة الضغط.
التوافق (Compatibility): يعمل DAR حصرياً على طول بُعد العمق، مما يحافظ على بنية المحول المتجانسة والمتناحية. وهو مصمم ليكون متوافقاً مع التحسينات الحديثة الأخرى، مثل REPA (محاذاة التمثيل)، دون الحاجة إلى اقتران يدوي للطبقات أو تغيير هدف التدريب.

النتائج الرئيسية
تم التقييم على ImageNet 256 × 256 باستخدام بنية SiT-XL/2:

تحسين الجودة: يحقق المتغير الثابت من DAR قيمة 7.56 FID (بدون توجيه خالي من المصنف)، وهو تحسن بمقدار 2.11 نقطة عن النموذج المرجعي SiT-XL/2 (9.67 FID).
سرعة التقارب: يطابق DAR جودة النموذج المرجعي عند وصوله للتقارب في حوالي 8.75 ضعف أقل من دورات التدريب.
التآزر مع REPA: عند دمجه فوق REPA، يحقق DAR تسارعاً في التدريب بمقدار ضعفين (2×) في المراحل المبكرة، مما يثبت أن تحسينات التوجيه عبر الطبقات هي مستقلة عن أهداف محاذاة التمثيل.
المقارنة مع وصلات U-Net المتخطية (Skips): يتفوق DAR على النماذج التي تستخدم وصلات تخطي مصممة يدوياً مثل (U-Net-like skip connections) (على سبيل المثال، U-DiT-L)، مع الحفاظ على فوائد القابلية للتوسع لبنية المحول المتجانسة.
التقطير (Distillation): في مرحلة ما بعد التدريب واسعة النطاق لـ T2I (توزيع مطابقة التوزيع على Qwen-Image)، يساعد DAR في الحفاظ على التفاصيل عالية التردد (الحواف الحادة، الأنسجة الدقيقة) التي غالباً ما تُفقد في عمليات التقطير المكثفة ذات الخطوات القليلة.

الأهمية والادعاءات
يفترض البحث أن توجيه المعلومات عبر الطبقات هو محور تصميم غير مستكشف كفاية في نماذج الانتشار، وهو يعمل بشكل مستقل عن أهداف محاذاة التمثيل والتحجيم المعماري الموجودة. ومن خلال تشخيص الاعتلالات الزمانية والمكانية المحددة للمجرى المتبقي القياسي في نماذج DiT، يوضح المؤلفون أن استبدال الجمع الثابت بالتجميع المتكيف المشروط بالخطوة الزمنية يحسن بشكل كبير من سرعة التقارب وجودة التوليد النهائية.

يرفع هذا العمل "التوجيه عبر الطبقات" من مجرد عرف موروث إلى بُعد تصميمي صريح. ويشير إلى أن صلابة البقايا (residuals) القياسية هي عامل مقيد لنماذج الانتشار، وأن آليات التوجيه المتكيفة مثل DAR ضرورية لإطلاق الإمكانات الكاملة لبنى DiT العميقة، خاصة مع توسعها إلى مجموعات أكثر عمقاً وأنظمة ما بعد تدريب أكثر تعقيداً.

١. المشكلة: "سباق تتابع ضوضائي"

٢. الحل: "مراقب حركة المرور الذكي" (DAR)

٣. النتائج: فن أسرع وأفضل

٤. ميزة إضافية: الحفاظ على حدة التفاصيل

الملخص

أبحاث مشابهة