💻 computer science

Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model

تقترح الورقة البحثية ECAD، وهي طريقة تخزين مؤقت تطورية تعتمد على الخوارزمية الجينية، والتي تتعلم جداول استدلال مثالية خاصة بالنماذج لتسريع نماذج الانتشار الجاهزة بشكل كبير مع الحفاظ على جودة صورة عالية والتعميم عبر الدقات والبنيات المختلفة دون الحاجة إلى تعديلات في المعلمات.

المؤلفون الأصليون: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anirud Aggarwal, Abhinav Shrivastava, Matthew Gwilliam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول خبز كعكة معقدة للغاية ومتعددة الطبقات. للحصول على النتيجة المثالية، تنص الوصفة على أنه يجب عليك خلط، وطي، وخبز العجين في 20 خطوة منفصلة. كل خطوة تتطلب منك فتح الفرن، والتحقق من درجة الحرارة، وتحريك الوعاء، وقياس المكونات مرة أخرى.

القيام بهذا 20 مرة يستغرق وقتاً طويلاً ويستهلك الكثير من الطاقة. ولكن هنا تكمن المشكلة: في الخطوات من 5 إلى 10، لا يتغير العجين فعلياً في الواقع. أنت تقوم أساساً بنفس حركة التحريك مراراً وتكراراً.

المشكلة:
تعمل مولدات الصور بالذكاء الاصطناعي الحالية (مثل تلك التي تصنع الصور من النصوص) تماماً مثل وصفة الكعكة هذه. فهي تستغرق من 20 إلى 50 خطوة لإنشاء صورة. في كثير من تلك الخطوات، يقوم الكمبيوتر بعمل مكرر، حيث يعيد حساب أشياء استنتجها بالفعل قبل لحظة واحدة. هذا يجعل إنشاء الصور بطيئاً ومكلفاً.

الحل القديم (الطاهي "الجامد"):
كانت المحاولات السابقة لتسريع ذلك تشبه طاهياً قرر قائلاً: "حسناً، من الخطوة 5 إلى 10، سأتوقف عن التحريك وأعيد استخدام الوعاء الأخير".

المشكلة: هذا الأسلوب جامد للغاية. أحياناً، قد يحتاج العجين إلى تحريكة بسيطة في الخطوة 7، لكن الطاهي توقف. عندها تخرج الكعكة مسطحة أو غريبة. وفي أحيان أخرى، استمر الطاهي في التحريك في الخطوة 8 بينما كان بإمكانه توفير الوقت. إنه نهج "مقاس واحد يناسب الجميع"، وهو إما يفسد الجودة أو لا يوفر وقتاً كافياً.

الحل الجديد: ECAD (الطاهي "التطوري"):
يقترح مؤلفو هذه الورقة البحثية، ECAD، طريقة أكثر ذكاءً. فبدلاً من أن يخمن بشرٌ أي الخطوات يجب تخطيها، هم يتركون التطور يحدد ذلك.

فكر في ECAD كأنها مسابقة طبخ قائمة على البقاء للأصلح:

المتسابقون (المجتمع): تخيل أن لديك 72 طاهياً مختلفاً. كل طاهٍ لديه "جدول زمني" مختلف قليلاً لموعد التحريك ومتى يعيد استخدام الوعاء القديم.
- الطاهي (أ) يتخطى التحريك في الخطوات 5، 6، و7.
- الطاهي (ب) يتخطى في الخطوات 4، 8، و12.
- الطاهي (ج) يتخطى في أماكن عشوائية.
اختبار التذوق (التقييم): تعطي جميع هؤلاء الطهاة نفس الطلب (على سبيل المثال، "بقرة زرقاء في حقل"). يقومون بخبز كعكاتهم (إنشاء الصور).
- بعض الكعكات تبدو مذهلة ولكنها استغرقت وقتاً طويلاً.
- بعضها كان سريعاً جداً ولكن شكله يشبه الخبز المحروق.
- البعض الآخر وجد "النقطة المثالية": سريعة ولذيذة في آن واحد.
التكاثر (التطور): يختار الحكام (الكمبيوتر) الطهاة الأفضل أداءً. يأخذون أفضل أجزاء من جدول الطاهي (أ) ويمزجونها مع جدول الطاهي (ب) لإنشاء "طهاة صغار" للجولة التالية.
- إذا كان الطاهي (أ) بارعاً في تخطي الخطوة 6، فإن الطاهي الصغير سيرث تلك المهارة.
- إذا كان الطاهي (ب) سيئاً في تخطي الخطوة 4، فسيتم استبعاد هذا الخطأ.
الطفرة (التحولات العشوائية): من حين لآخر، يحصل طاهٍ صغير على فكرة جديدة عشوائية (طفرة)، مثل تجربة تخطي الخطوة 9 بدلاً من الخطوة 8. أحياناً تكون هذه الفكرة كارثية، ولكن في أحيان أخرى، تكون اختصاراً عبقرياً جديداً.
النتيجة (جبهة باريتو): بعد مئات الجولات من هذه المنافسة، لا يكتفي ECAD بإيجاد جدول زمني واحد مثالي فحسب، بل يجد قائمة كاملة من الخيارات (تسمى جبهة باريتو - Pareto Frontier).
- الخيار 1: "أريد سرعة فائقة، حتى لو كانت الكعكة أقل هشاشة قليلاً". (سرعة عالية، انخفاض طفيف في الجودة).
- الخيار 2: "أريدها بجودة تقارب الأصلية، ولكن أسرع بمرتين". (متوازن).
- الخيار 3: "أريد أقصى سرعة ممكنة". (أقصى سرعة، انخفاض كبير في الجودة).

لماذا يعد هذا أمراً هاماً؟

لا يتطلب تدريباً: على عكس الطرق الأخرى التي تتطلب من الذكاء الاصطناوي العودة إلى المدرسة وإعادة تعلم كيفية الخبز (وهو ما يستغرق أسابيع وأجهزة كمبيوتر ضخمة)، يقوم ECAD فقط بتعديل الجدول الزمني. نموذج الذكاء الاصطناعي نفسه لا يتغير. الأمر يشبه إعطاء نفس الطاهي دليلاً تعليمياً أفضل.
إنه يتكيف: إذا قمت بتغيير الوصفة من كب كيك صغيرة إلى كعكة زفاف ضخمة (تغيير دقة الصورة)، فإن جداول ECAD لا تزال تعمل بشكل جيد بشكل مدهش. إنه مثل طاهٍ تعلم خبز كعكة صغيرة ولكنه يستطيع فوراً معرفة كيفية رفع النطاق لمناسبة كبيرة دون الحاجة لإعادة التدريب.
يعمل على أي شيء: لقد اختبروه على ثلاثة "مطابخ" مختلفة (نماذج ذكاء اصطناعي مختلفة: PixArt-α، وPixArt-Σ، وFLUX.1-dev) وعمل بشكل رائع على جميعها.

الخلاصة:
ECAD يشبه توظيف فريق من العلماء لمراقبة خط إنتاج وتحديد أي الآلات يمكن إطفاؤها لبضع ثوانٍ دون إفساد المنتج. بدلاً من التخمين، هم يتركون النظام يطور الجدول الزمني المثالي للتشغيل والإيقاف.

النتيجة؟ يمكنك إنشاء صور عالية الجودة باستخدام الذكاء الاصطناعي أسرع بمرتين إلى 3 مرات من ذي قبل، مع انخفاض ضئيل جداً في الجودة، ويمكنك اختيار مقدار السرعة التي تريدها مقابل مقدار الجودة التي أنت مستعد للتضحية بها. إنه يحول عملية بطيئة وجامدة إلى عملية مرنة وفعالة.

إليك ملخص تقني مفصل لورقة البحث "Evolutionary Caching to Accelerate Your Off-the-Shelf Diffusion Model" (ECAD)، المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

تنتج نماذج توليد الصور القائمة على الانتشار (خاصة نماذج Diffusion Transformers أو DiTs) محتوى اصطناعيًا عالي الجودة، لكنها تعاني من تكاليف حوسبة عالية وبطء في زمن الاستجابة (latency) أثناء الاستنتاج بسبب الطبيعة التكرارية لعملية إزالة الضجيج (التي تتطلب عادةً 20-50 خطوة).

تنقسم استراتيجيات التسريع الحالية إلى فئتين:

المعتمدة على التدريب: مثل طرق تقطير المعرفة (knowledge distillation) أو تدريب وحدات مساعدة للتنبؤ بالاتصالات القفزية (skip connections). تتطلب هذه الطرق إعادة تدريب مكلفة، وغالبًا ما تؤدي إلى تدهور الجودة، ولا يمكن نقلها بسهولة بين بنيات النماذج المختلفة.
الخالية من التدريب (التخزين المؤقت - Caching): وهي الطرق التي تعيد استخدام الميزات الداخلية (مثل خرائط الانتباه، أو مخرجات التغذية الأمامية) عبر خطوات الاستنتاج لتخطي العمليات الحسابية. ومع ذلك، تعتمد الأساليب الحالية على قواعد استدلالية يدوية جامدة (مثل "خزن كل $k$ خطوة" أو "خزن بلوكات معينة"). تقدم هذه الطرق مقايضات ثابتة ومنفصلة بين السرعة والجودة، وتفتقر إلى القدرة على التعميم عبر بنيات النماذج أو الدقات المختلفة، وتتطلب ضبطًا يدويًا مكثفًا للمعلمات الفائقة (hyperparameters).

يتمثل التحدي الجوهري في اكتشاف حد باريتو سلس (smooth Pareto frontier) لجداول التخزين المؤقت، يوفر تحكمًا دقيقًا في المقايضة بين السرعة والجودة دون تعديل أوزان النموذج أو الحاجة إلى قواعد استدلالية يحددها البشر.

2. المنهجية: ECAD

يقترح المؤلفون إطار عمل Evolutionary Caching to Accelerate Diffusion models (ECAD)، وهو إطار يعيد صياغة التخزين المؤقت كمسألة تحسين متعدد الأهداف يتم حلها عبر خوارزمية جينية (Genetic Algorithm - GA).

المفهوم الجوهري

بدلاً من تحديد وقت التخزين المؤقت يدويًا، يعامل ECAD جدول التخزين المؤقت كـ "تنسور ثنائي" (binary tensor) $S \in \{0, 1\}^{N \times B \times C}$ ، حيث:

$N$ : عدد خطوات الانتشار.
$B$ : عدد بلوكات الـ Transformer.
$C$ : عدد المكونات القابلة للتخزين لكل بلوك (الانتباه الذاتي Self-Attention، الانتباه المتقاطع Cross-Attention، والتغذية الأمامية Feed-Forward).
0 يشير إلى إعادة استخدام قيمة مخزنة؛ و 1 يشير إلى إعادة الحساب.

مسار عمل ECAD (الخوارزمية 1)

التهيئة (Initialization): يتم إنشاء مجتمع من جداول التخزين المؤقت المكون من $n$ من الجداول. يمكن أن يكون هذا التوزيع عشوائيًا أو مستندًا إلى قواعد استدلالية من أعمال سابقة (مثل FORA أو TGATE).
التقييم (Evaluation): لكل جدول في المجتمع:
- توليد صور باستخدام مجموعة صغيرة من المطالبات المعايرة (على سبيل المثال، 100 مطالبة نصية فقط).
- حساب مقياس الجودة: "Image Reward" (وهو مقياس متعلم يرتبط بالتفضيل البشري).
- حساب مقياس التكلفة: عمليات الضرب والجمع (MACs) أو زمن الاستجابة (latency).
التطور (NSGA-II): يتطور المجتمع عبر $G$ $G$ من الأجيال باستخدام خوارزمية NSGA-II:
- الاختيار (Selection): اختيار تورنمنت (Tournament selection) بناءً على هيمنة باريتو (non-dominated sorting) ومسافة الازدحام (crowding distance).
- العبور (Crossover): يقوم عبور رباعي النقاط (4-point crossover) بدمج جداول الآباء لإنشاء الأبناء.
- الطفرة (Mutation): طفرة قلب البت (Bit-flip mutation) تغير قرارات التخزين المؤقت بشكل عشوائي.
المخرجات: تعيد الخوارزمية حد باريتو (Pareto Frontier) من الجداول المثلى، مما يسمح للمستخدمين باختيار نقطة محددة بناءً على قيود زمن الاستجابة/الجودة المطلوبة.

الاختيارات التصميمية الرئيسية

خالٍ من التدريب: لا يقوم ECAD بتحديث أوزان النموذج ولا يحسب التدرجات. هو لا يتطلب صورًا مرجعية، بل يتطلب فقط مطالبات نصية.
دقة على مستوى المكونات: على عكس الطرق التي تخزن بلوكات كاملة، يقوم ECAD بتحسين التخزين على مستوى المكون (SA, CA, FFN) لكل بلوك وكل خطوة زمنية، مما يتيح جداول أكثر تخصيصًا.
محايد تجاه المقياس: رغم أن الورقة تستخدم "Image Reward"، إلا أن الإطار يدعم أي مقياس جودة (مثل التقييمات البشرية أو درجات CLIP).

3. المساهمات الرئيسية

تحول في النموذج الفكري: الانتقال من التخزين القائم على القواعد الاستدلالية إلى نهج قائم على التحسين باستخدام الخوارزميات الجينية لاكتشاف جداول مثالية لباريتو.
القدرة على التعميم: تتعمم الجداول المتعلمة بفعالية على:
- الدقات المختلفة: الجداول المحسنة عند دقة 256×256 تعمل بشكل جيد عند دقة 1024×1024 دون الحاجة لإعادة التحسين.
- متغيرات النماذج: الجداول المحسنة على PixArt-α يمكن نقلها إلى PixArt-Σ مع حد أدنى من فقدان الأداء، مع إمكانية الضبط الدقيق بسرعة.
التحكم الدقيق: يوفر طيفًا مستمرًا من مقايضات السرعة والجودة بدلاً من الخيارات الثابتة والمنفصلة.
صفر تكلفة إضافية (Zero Overhead): لا يضيف أي عبء ذاكرة أثناء الاستنتاج ولا يتطلب إعادة تدريب النموذج.

4. النتائج التجريبية

قيم المؤلفون ECAD على نماذج PixArt-α و PixArt-Σ و FLUX.1-dev عبر اختبارات معيارية مثل COCO و MJHQ-30k و PartiPrompts.

أبرز الأداء

PixArt-α (256×256):
- يحقق أسرع جدول في ECAD تسريعًا قدره 2.58x (تقليل زمن الاستجابة من 165 مللي ثانية إلى 64 مللي ثانية) مع تحسين COCO FID بمقدار 4.47 نقطة مقارنة بأفضل طريقة سابقة (ToCa).
- يتفوق على النماذج غير المسرعة في السرعة مع الحفاظ على أو تحسين مقاييس الجودة (Image Reward, CLIP).
FLUX.1-dev:
- يحقق تسريعًا يصل إلى 3.37x مع جودة تنافسية.
- يظهر أداءً متفوقًا في GenEval و DPG Bench مقارنة بالطرق المتزامنة مثل TaylorSeer، التي تعاني من انخفاض كبير في الجودة عند التسريع العالي.
نقل الدقة (Resolution Transfer): تم تطبيق جدول تم تحسينه لنموذج FLUX.1-dev عند دقة 256×256 على توليد بدقة 1024×1024. وقد تفوق على الطرق المحسنة خصيصًا للدقة العالية (مثل ToCa) في كل من السرعة و Image Reward، مما يثبت قوة التعميم.
نقل النموذج (Model Transfer): أدى نقل جدول من PixArt-α إلى PixArt-Σ إلى عقوبات طفيفة جدًا في الأداء، والتي تم استردادها بسرعة من خلال 50 جيلًا إضافيًا فقط من التحسين.

دراسات الاستئصال (Ablation Studies)

تنوع المطالبات: يكفي وجود 100 مطالبة متنوعة؛ المصدر المحدد (سواء كان بشريًا أو مولدًا بواسطة LLM) أقل أهمية من الكمية.
الدقة (Granularity): أدى تقليل عدد المطالبات إلى 10 إلى تدهور كبير، لكن تقليل عدد الصور لكل مطالبة كان له تأثير ضئيل.
التهيئة (Initialization): التهيئة الاستدلالية تؤدي إلى تقارب أسرع من التهيئة العشوائية، لكن أخذ العينات الموحدة (uniform sampling) عبر التكلفة الحسابية أفضل من أخذ العينات العشوائية البسيطة.

5. الأهمية والأثر

القابلية للتوسع: يقدم ECAD حلاً قابلاً للتوسع لنشر نماذج الانتشار في البيئات ذات زمن الاستجابة المحدود (مثل الهواتف المحمولة أو التطبيقات في الوقت الفعلي) دون تكلفة إعادة التدريب.
سهولة الوصول: من خلال إلغاء الحاجة لتحديث أوزان النموذج أو مجموعات التدريب الضخمة، يساهم ECAD في جعل الوصول إلى استنتاج نماذج الانتشار عالية الأداء متاحًا للجميع.
جاهزية المستقبل: الإطار محايد تجاه بنية النموذج (DiT أو U-Net) والوسائط (صور أو فيديو)، مما يجعله أداة متعددة الاستخدامات في المشهد المتطور للذكاء الاصطناي التوليدي.
الكفاءة: تكلفة التحسين لمرة واحدة (حوالي 470 ساعة من وحدة معالجة الرسومات لجدول تنافسي) يتم استهلاكها على ملايين عمليات الاستنتاج، مما يوفر توفيرًا هائلاً في الطاقة والوقت على المدى الطويل.

في الختام، يضع ECAD معيارًا جديدًا لـ التسريع الخالي من التدريب لنماذج الانتشار، موضحًا أن البحث التطوري يمكنه تلقائيًا اكتشاف استراتيجيات تخزين مؤقت متفوقة على القواعد الاستدلالية التي يصممها البشر من حيث السرعة والجودة معًا.