Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion
تُعد Diffusion Templates إطار عمل موحد ومفتوح المصدر للإضافات يعمل على فصل نماذج الانتشار الأساسية عن القدرات القابلة للتحكم من خلال واجهة معيارية، مما يتيح التكوين التركيبي السلس والنقل الانسيابي لمختلف طرق التحكم (مثل Loora وKV-Cache) عبر مختلف هياكل النماذج الأساسية.
المؤلفون الأصليون:Zhongjie Duan, Hong Zhang, Yingda Chen
تخيل أن لديك كاميرا رقمية احترافية وعالية الجودة. هذه الكاميرا مذهلة في التقاط صور جميلة، لكنها تفعل شيئاً واحداً فقط: تلتقط ما هو موجود أمامها.
إذا كنت تريد التقاط صورة بـ "مظهر عتيق" (vintage look)، فسيتعين عليك حالياً شراء كاميرا جديدة تماماً. وإذا كنت تريد التقاط صورة بـ "خلفية ضبابية"، فقد تحتاج إلى كاميرا متخصصة أخرى. وإذا كنت تريد القيام بالأمرين معاً، فستكون حاملاً حقيبة ثقيلة من الكاميرات المختلفة، وهي لا تعمل دائماً مع بعضها البعض.
قوالب الانتشار (Diffusion Templates) تشبه ابتكار نظام ملحقات عالمي (Universal Plugin System) لتلك الكاميرا. بدلاً من شراء كاميرات جديدة، يمكنك ببساطة تركيب "وحدات عدسات" (Lens Modules) خفيفة الوزن أو "رقائق فلاتر" (Filter Chips) كلما احتجت إليها.
الأجزاء الثلاثة الرئيسية (نظام الكاميرا)
قام الباحثون بتقسيم العملية إلى ثلاث خطوات بسيطة:
نموذج القالب (صانع الملحقات): فكر في هذا كجهاز صغير يأخذ طلبك المحدد — مثل "اجعل هذا أكثر سطوعاً" أو "اجعل هذا يبدو كأنه رسم تخطيطي" — ويترجمه إلى لغة تفهمها الكاميرا.
ذاكرة التخزين المؤقت للقوالب (المحول العالمي): هذا هو الاختراع الأهم. في الماضي، كان كل "ملحق" يتحدث لغة مختلفة. هذا الإطار ينشئ "محولاً عالمياً". وسواء كان ملحقك عبارة عن شريحة صغيرة أو عدسة صغيرة، فإنه يحول تعليماته إلى تنسيق قياسي يمكن للكاميرا توصيله فوراً.
خط أنابيب القوالب (جسم الكاميرا الذكي): هذه هي الكاميرا الرئيسية. لا تحتاج الكاميرا لمعرفة كيف تعمل الملحقات؛ هي فقط تعرف كيف تستقبلها. يمكنك تركيب "ملحق السطوع" و"ملحق الرسم التخطيطي" في نفس الوقت، وستقوم الكاميرا بدمجهما بشكل مثالي لتعطيك صورة مرسومة ومشرقة.
ماذا يمكن لهذه "الكاميرا العالمية" أن تفعل؟
قام الباحثون ببناء "حديقة نماذج" (Model Zoo) — وهي في الأساس صندوق ضخم من الملحقات المختلفة — لاستعراض مدى تعدد استخدامات هذا النظام. لقد أنشأوا ملحقات لـ:
المهندس المعماري (التحكم الهيكلي): يخبر النموذج بالضبط أين يجب أن توضع الخطوط والأشكال (مثل الاستنسل).
فني الإضاءة (السطوع واللون): يرفع أو يخفض "مفتاح التحكم في السطوع" أو يغير الحالة المزاجية من دافئة إلى باردة. la المحرر (تحرير الصور وإعادة الملء): يسمح لك بتغيير أجزاء محددة من الصورة (مثل وضع قبعة على قطة) دون إفساد بقية الصورة.
الساحر (الدقة الفائقة والحدة): يأخذ صورة ضبابية وصغيرة ويجعلها "بلمسة سحرية" واضوة وعالية الدقة.
المنسق (المرجع الجمالي والمحتوى): يجعل الصورة تبدو "أجمل" بناءً على الذوق البشري أو ينسخ "الطابع العام" لصورة أخرى تقدمها له.
المسافر عبر الزمن (التحكم في العمر): يمكنه جعل الشخص في الصورة يبدو كطفل أو كمسن بمجرد تحريك مقياس التدرج.
لماذا يهم هذا الأمر؟
قبل هذا، إذا ابتكر العلماء طريقة جديدة للتحكم في الذكاء الاصطناعي، كان عليهم إعادة بناء "المحرك" بالكامل من الصفر. كان الأمر فوضوياً، بطيئاً، ويصعب فيه دمج عناصر التحكم المختلفة.
مع قوالب الانتشار (Diffusion Templates)، يظل "المحرك" (نموذج الذكاء الاصطناعي) كما هو، وتصبح "أدوات التحكم" (الملحقات) وحدات نمطية. وهذا يعني:
إنها أسرع: لا يتعين عليك إعادة اختراع العجلة في كل مرة.
قابلة للخلط والمطابقة: يمكنك الجمع بين "ملحق الألوان" و"ملحق العمر" و"ملحق الرسم التخطيطي" وكلها في آن واحد.
مقاومة للمستقبل: عندما يظهر محرك ذكاء اصطناٍ جديد وأفضل في العام المقبل، لن تضطر إلى رمي ملحقاتك؛ بل ستكتفي بتركيبها في المحرك الجديد!
ملخص تقني: قوالب الانتشار (Diffusion Templates): إطار عمل موحد للملحقات البرمجية للتحكم في نماذج الانتشار
1. بيان المشكلة
إن النظام البيئي الحالي لنماذج الانتشار القابلة للتحكم (مثل ControlNet، وLoRA، وIP-Adapter، وT2I-Adapter) يعاني من تجزئة شديدة. ورغم فعاليتها، إلا أن هذه الأساليب تُطور عادةً كأنظمة معزولة خاصة بالهيكل الأساسي (backbone-specific). وتؤدي هذه التجزئة إلى عدة اختناقات حرجة:
عدم التوافق: تستخدم الطرق المختلفة مسارات تدريب، وتنسيقات معاملات، وخطافات تشغيل (runtime hooks) متباينة.
نقص القابلية لإعادة الاستخدام: من الصعب نقل قدرة تحكم من نموذج أساسي واحد (مثل Stable Diffusion) إلى نموذج آخر (مثل FLUX) دون إعادة هندسة كبيرة.
مشكلات التركيب (Compositionality): إن الجمع بين عناصر تحكم متعددة (مثل التحكم الهيكلي + ضبط الألوان + تحرير الصور) يمثل "مشكلة هندسة يدوية". ويتطلب دمجها تعديل مسار عملية إزالة الضجيج (denoising pipeline) الأساسي لحل النزاعات بين مسارات التكييف المتنافسة.
2. المنهجية
يقترح المؤلفون قوالب الانتشار (Diffusion Templates)، وهو إطار عمل موحد للملحقات البرمجية يعامل قدرات التحكم كأجزاء مستقلة وقابلة لإعادة الاستخدام بدلاً من كونها تعديلات مرتبطة بالهيكل الأساسي. يقوم إطار العمل بفصل استدلال النموذج الأساسي عن حقن القدرات من خلال ثلاثة مكونات أساسية:
ذاكرة التخزين المؤقت للقالب (الواجهة): بدلاً من فرض بنية محددة، يحدد إطار العمل واجهة وسيطة معيارية. والناقل الأبرز هو KV-Cache، الذي يسمح بالدمج على مستوى التسلسل (sequence-level concatenation). ومع ذلك، فإن إطار العمل قابل للتوسع ويمكنه أيضاً دعم تنسيقات أخرى مثل أوزان LoRA.
نموذج القالب (الملحق البرمئي): وحدة نمطية تقوم برسم خرائط لمدخلات مهام محددة (مثل خرائط العمق، أو القيم القياسية، أو الصور المرجعية) إلى ذاكرة تخزين مؤقت للقالب (Template Cache). يوفر كل نموذج واجهتين معياريتين: process_inputs (المعالجة المسبقة بدون تدرج) و forward (الحساب القائم على التدرج للتدريب أو الاستدلال).
مسار القالب (المنسق): بيئة تشغيل موحدة تقوم بتحميل نموذج قالب واحد أو أكثر، وتنفيذها لإنتاج مخازن مؤقتة، ودمج تلك المخازن (على سبيل المثال عبر الدمج/concatenation)، وحقنها في نموذج الانتشار الأساسي.
استراتيجية التدريب: يستخدم إطار العمل نهج الفرع الجانبي حيث يظل النموذج الأساسي مجمدًا، ويتم تحسين فروع القوالب الجديدة فقط باستخدام خسارة التدريب المسبق الأصلية.
3. المساهمات الرئيسية
تجريد نظام موحد: تقديم بنية قائمة على الملحقات البرمجية لنماذج الانتشار، مستوحاة من النمطية المشهودة في أطر عمل الوكلاء واستخدام الأدوات لنماذج اللغات الكبيرة (LLM).
فصل الطبقات: النجاح في تفكيك التوليد القابل للتحكم إلى طبقتين متمايزتين: بناء القدرة (نموذج القالب) و استهلاك القدرة (مسار القالب).
حديقة نماذج متنوعة: تطوير وإصدار مجموعة واسعة من نماذج القوالب المدربة على هيكل FLUX.2، مما يثبت تعدد استخدامات إطار العمل عبر أنواع مختلفة من المدخلات (الهيكلية، والقياسية، والمشروطة بالصور).
4. النتائج ودراسات الحالة
أثبت المؤلفون فعالية إطار العمل من خلال "حديقة نماذج" شاملة تغطي مهاماً متنوعة:
التحكم الهيكلي: خرائط العمق، والخطوط العريضة، والوضعية (pose)، والخرائط الطبيعية (normal maps) عبر حقن KV-Cache.
التحكم في السمات (القياسي): تحكم دقيق في السطوع، واللون (قنوات RGB)، والحدة (كثافة الحواف)، والعمر (دلالات صور الوجوه البشرية).
المهام المشروطة بالصور:
تحرير الصور: تحقيق تسريع بمقدار 1.8 ضعف مقارنة بطرق التحرير القياسية.
الارتقاء بالدقة (Super-Resolution): استعادة التفاصيل عالية التردد عبر رفع الدقة القائم على القالب.
مرجع المحتوى: نموذج "الصورة-إلى-LoRA" الذي يحول الصورة المرجعية إلى LoRA لنقل الأسلوب أو الهوية.
الترميم المحلي (Local Inpainting): الجمع بين تحكم النموذج المتعلم والتقنيات القائمة على الأقنعة (masking) لتحرير دقيق.
المواءمة الجمالية: استخدام LoRA كناقل لمواءمة النتائج المولدة مع مقاييس التفضيل البشري.
دمج القوالب: إثبات القدرة على دمج قوالب متعددة (مثل: الارتقاء بالدقة + الحدة + المواءمة الجمالية) في آن واحد دون الحاجة لإعادة تصميم المسار يدوياً.
5. الأهمية
يمثل "قوالب الانتشار" تحولاً من التحكم المتمحور حول النموذج إلى التحكم المتمحور حول النظام. فمن خلال توفير "عقد" مستقر بين الملحقات البرمجية والهياكل الأساسية، يساهم إطار العمل في:
خفض حواجز الدخول لتطوير طرق تحكم جديدة.
تمكين القدرة على التركيب السلس، مما يسمح للمستخدمين بتكديس قدرات متنوعة (هيكلية، أسلوبية، وسمات) بكل سهولة.
ضمان مستقبل النظام البيئي، حيث يمكن لهياكل الانتشار الجديدة والأكثر قوة (مثل نماذج الفيديو) اعتماد هذه القوالب إذا التزمت بواجهة ذاكرة التخزين المؤقت المعيارية.