DiffSparse: Accelerating Diffusion Transformers with Learned Token Sparsity
يقدم DiffSparse إطار عمل قابلاً للتفاضل وقابلاً للتدريب من البداية إلى النهاية، يعمل على تحسين تشتت الرموز على مستوى الطبقات ويستخدم استراتيجية تدريب مكونة من مرحلتين لتسريع نماذج محولات الانتشار بشكل كبير مع الحفاظ على جودة التوليد أو حتى تحسينها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك شيف ماهر يحاول خبز كعكة مثالية ومعقدة (صورة) من وعاء يحتوي على مكونات خام (ضجيج عشوائي). لكي تضبط الكعكة تماماً، عليك تذوق الخليط، وتعديل السكر، ثم خلطه مجدداً، وتذوقه مرة أخرى، وتكرار هذه العملية حوالي 20 مرة قبل أن تصبح جاهزة. هكذا تعمل نماذج الانتشار (Diffusion Models): فهي تتبع نهجاً خطوة بخطوة لإنشاء الصور، لكنها بطيئة للغاية وتستهلك الكثير من قوة الكمبيوتر، مثل الركض في ماراثون فقط لصنع شطيرة.
تقدم الورقة البحثية طريقة جديدة تسمى DiffSparse. فكر في الأمر كأنه مساعد شيف ذكي يساعد الشيف الماهر على خبز الكعكة بشكل أسرع بكثير دون إفساد المذاق.
إليك كيف يعمل DiffSparse، مقسماً إلى مفاهções بسيطة:
1. المشكلة: "إعادة العمل الذي قمت به بالفعل"
في الطريقة الحالية لخبز هذه الكعكات، يتذوق الشيف الخليط في كل خطوة. ولكن هنا تكمن المشكلة: بين الخطوة 10 والخطوة 11، لا يتغير الخليط كثيراً. الشيف يضيع وقته في إعادة تذوق وخلط أجزاء من الخليط هي في الأصل مثالية بالفعل.
حاولت المحاولات السابقة لتسريع ذلك "تخطي" بعض الخطوات أو حفظ بعض الملاحظات (التخزين المؤقت/Caching)، لكنها كانت خرقاء. كانت تشبه شيفاً يقرر: "حسناً، سأتوقف عن تذوق السكر للخطوات الثلاث القادمة"، لكنه يفعل ذلك بشكل عشوائي أو بناءً على قاعدة جامدة. أحياناً يتخطى الكثير، فتصبح طعمة الكعكة غريبة. وأحياناً لا يتخطى بما يكفي، فتظل العملية بطيئة.
2. الحل: "التخطي الذكي" (تشتت الرموز - Token Sparsity)
DiffSparse يشبه إعطاء الشيف مساعداً ذكياً يعرف بالضبط أي أجزاء من الخليط تحتاج إلى الاهتمام وأي أجزاء يمكن تركها وشأنها.
- الرموز (Tokens) هي مثل المكونات: في عالم الكمبيوتر، يتم تقسيم الصورة إلى قطع صغيرة تسمى "رموزاً".
- وظيفة المساعد: بدلاً من أن يقوم الشيف بإعادة خلط كل المكونات في كل خطوة، ينظر المساعد إلى الخليط ويقول: "مهلاً، هذه القطعة المحددة من حبيبات الشوكولاتة لم تتغير منذ الخطوة 10. دعنا نستخدم الذاكرة القديمة لها ونتخطى إعادة خلطها".
- النتيجة: يقوم الشيف بخلط الأجزاء التي تحتاج فعلياً إلى تغيير فقط. هذا يوفر كمية هائلة من الطاقة (قوة الحوسبة).
3. كيف يتعلم المساعد (الدماغ)
سحر DiffSparse ليس فقط في كيفية التخطي؛ بل في كيفية تعلم كيفية القيام بذلك.
- لا مزيد من التخمين: كانت الطرق القديمة تتطلب من البشر كتابة قواعد مثل "تخطَّ 20% من عملية الخلط في الخطوة 5". أما DiffSparse فهو يتعلم القواعد بنفسه. إنه مثل طالب يشاهد الشيف يخبز 10,000 كعكة ويكتشف: "أوه، لقد فهمت نمطاً! الدقيق يحتاج إلى اهتمام مستمر، لكن مستخلص الفانيليا مستقر بعد الخطوة 3".
- المخطط الديناميكي (Dynamic Planner): يستخدم النظام "مخططاً" رياضياً (يسمى البرمجة الديناميكية) للنظر إلى عملية الخبز بأكملها دفعة واحدة. ويسأل: "إذا وفرت الطاقة هنا، فهل يمكنني إنفاق القليل من الطاقة هناك لضمان أن تكون الكعكة مثالية؟" إنه يوازن الميزانية بدقة لضمان أن تبدو الكعكة (الصورة) مذهلة رغم أننا بذلنا مجهوداً أقل.
4. التدريب على مرحلتين (حصة التدريب)
للتأكد من أن المساعد لن يصبح كسولاً ويفسد الكعكة، يستخدم الباحثون طريقة تدريب خاصة من خطوتين:
- المرحلة الأولى: يتدرب المساعد على نسخة "بكامل الجهد" من الكعكة ليتعلم كيف تبدو الكعكة المثالية.
- المرحلة الثانية: يبدأ المساعد في ممارسة تقنية "التخطي"، ولكن يتم فحصه باستمرار مقابل الكعكة المثالية للتأكد من أنه لم ينسَ كيفية الخبز.
النتائج: أسرع، أفضل، وأذكى
اختبر الباحثون هذه الطريقة على عدة مولدات صور شهيرة (مثل PixArt و FLUX). وكانت النتائج مبهرة:
- السرعة: خفضوا العمل الحوسبي بنسبة تقارب 50% (أي نصف الوقت تقريباً!).
- الجودة: للمفاجأة، لم تكن الصور "مقبولة" فحسب؛ بل كانت في كثير من الأحيان أفضل من النسخ الأصلية البطيئة. فمن خلال تركيز قوة الكمبيوتر فقط على الأجزاء التي تحتاج إليها، انتهت الصورة النهائية بشكل أكثر حدة وتفصيلاً.
باختصار
تخيل أنك تسير في متحف.
- الطريقة القدعة: تتوقف وتحدق في كل لوحة لمدة 10 ثوانٍ، حتى تلك التي رأيتها مئات المرات.
- DiffSparse: لديك دليل يهمس في أذنك: "هل تعرف تلك اللوحة؟ لقد رأيتها بالفعل. استمر في المشي. لكن توقف وانظر بتمعن إلى هذه اللوحة الجديدة".
DiffSparse هو ذلك الدليل الذكي. إنه يعلم نماذج الذكاء الاصطناعي التوقف عن إضاعة الوقت في الأشياء التي لم تتغير، مما يسمح لها بإنشاء صور جميلة في جزء بسيط من الوقت، دون التضحية بالجودة. إنه يحول الماراثون المرهق والبطيء إلى سباق سريع وفعال.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.