💻 computer science

SteeringDiffusion: A Bottlenecked Activation Control Interface for Diffusion Models

تقدم هذه الورقة البحثية SteeringDiffusion، وهي واجهة تحكم ذات هيكل خلفي مجمد وفعالة في المعلمات، تتعلم رمزاً كامناً مشروطاً بالوصف (prompt) لتمكين مقايضات سلسة، رتيبة، وقابلة للتعديل أثناء وقت التشغيل بين المحتوى والأسلوب في نماذج الانتشار، متفوقة بذلك على الأساليب الحالية مثل LoRA في القدرة على التحكم والاستقرار.

المؤلفون الأصليون: Fangzheng Wu, Brian Summa

نُشر 2026-05-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fangzheng Wu, Brian Summa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً ماهراً (نموذج الانتشار - Diffusion Model) موهوب للغاية في طهي أي طبق تطلبه منه، لكنه متمسك بأسلوبه الخاص. أنت تريد تغيير نكهة طبخه — ربما إضافة أسلوب "الفانيليا" أو أسلوب "الحار" — لكنك لا تريد إعادة تدريب الشيف من الصفر (لأن ذلك مكلف ومخاطرة)، ولا تريد إجباره على نسيان طريقة طبخه الأصلية.

معظم الطرق الحالية تشبه محاولة إعادة كتابة كتاب وصفات الشيف بالكامل. إذا غيرت الكثير، سيتفكك الطبق. وإذا غيرت القليل، لن تلتصق النكهة.

SteeringDiffusion هي طريقة ذكية وجديدة لمنح الشيف "مقبض تحكم في النكهة" دون المساس بكتاب وصفاته على الإطلاق.

الفكرة الجوهرية: "مقبض التحكم في النكهة"

بدلاً من إعادة كتابة عقل الشيف (أوزان النموذج)، قام المؤلفون ببناء لوحة تحكم خارجية صغيرة توضع فوق الشيف.

الشيف المجمد: محرك الطبخ الرئيسي (U-Net) مجمد تماماً. لا يتغير. وهذا يجعله آمناً.
المساعد الصغير (عنق الزجاجة): أضافوا مساعداً صغيراً وذكياً ينظر إلى طلبك (النص المكتوب) ويقوم بإنشاء "كود سري" صغير (متجه كامن - latent vector).
المقبض (القيم القياسية): هذا هو الجزء السحري. في اللحظة التي تطلب فيها من الشيف الطهي، تقوم بتدوير مقبض واحد (رقم يسمى $s$ ).
- المقبض عند 0: يطبخ الشيف تماماً كما اعتاد دائماً. لا تغيير.
- المقبض مرفوع للأعلى: يهمس المساعد بالتعليمات للشيف فقط خلال الخطوات النهائية الدقيقة للطهي (مثل إضافة التزيين النهائي أو التوابل).
- النتيجة: بينما تقوم بتدوير المقبض، ينتقل الطبق بسلاسة من "النكهة الأصلية" إلى "الأسلوب الجديد". إنه انتقال سلس ومتوقع، وليس قفزة مفاجئة.

لماذا هذه الطريقة أفضل من غيرها؟

تقارن الورقة البحثية "مقبض التحكم في النكهة" هذه بطرق أخرى شائعة لتغيير الفن الناتج عن الذكاء الاصطعي:

LoRA (إعادة كتابة الوصفة): تحاول LoRA تعديل كتاب وصفات الشيف الفعلي. إنها تعمل بشكل جيد، ولكن إذا حاولت جعل النكهة قوية جداً، سينهار الطبخ فجأة. الأمر يشبه تدوير مقبض الصوت الذي يعمل جيداً عند الإعدادات المنخفضة، ولكنه يبدأ بإصدار ضجيج وتكسر عند رفع الصوت؛ الانتقال ليس سلساً.
ControlNet (المطبخ الخارجي الضخم): يبني ControlNet مطبخاً كاملاً بجانب الشيف للمساعدة. إنها تعمل، لكنها ضخمة، ومكلفة، وغالباً ما تفسد الشكل الأصلي للطبق. الأمر يشبه إحضار شيف ثانٍ قد يصطدم بالطاولة ويسقطها بالخطأ.
SteeringDiffusion (مقبض التحكم في النكهة): هذه الطريقة صغيرة، رخيصة، وسلسة. يمكنك تدوير المقبض من 0 إلى 10، وسيصبح الأسلوب أقوى وأقوى دون أن يفسد الصورة الأصلية أبداً.

خدعة "السفر عبر الزمن"

أحد أذكى أجزاء هذا النظام هو متى يتدخل.
تخيل أنك ترسم لوحة.

المراحل المبكرة: أنت ترسم الخطوط العريضة والأشكال الكبيرة.
المراحل المتأخرة: تضيف الألوان، وضربات الفرشاة، والملمس.

SteeringDiffusion يدرك هذا. لديه "بوابة زمنية" تقول: "لا تلمس الرسم التخطيطي! اهمس فقط عن الأسلوب عندما نبدأ بإضافة الطلاء". هذا يضمن أن الصورة تحتفظ بشكلها (المحتوى) بينما يتغير أسلوبها (النمط). فلو حاول تغيير الأسلوب أثناء مرحلة الرسم التخطيطي، لانهارت الصورة بالكامل.

ماذا أثبتوا؟

اختبر الباحثون هذا على أنماط فنية شهيرة (مثل الانطباعية وUkiyo-e) باستخدام نموذجين مختلفين من الذكاء الاصطناعي (SD 1.5 و SDXL).

السلاسة: أثبتوا أن تدوير المقبض يخلق خطاً مثالياً وسلساً. كلما رفعته، أصبح الأسلوب أقوى، وأصبح النمط الأصلي أقل هيمنة قليلاً، لكنه لا يقفز أو ينكسر أبداً.
الكفاءة: يستخدم جزءاً ضئيلاً جداً من قوة الكمبيوتر المطلوبة للطرق الأخرى.
الاستقرار: استخدموا "فحص المسار" (مثل نظام GPS يتتبع خطوات الشيف) لإثبات أن هذه الطريقة لا تشتت مسار الشيف، بينما تجعل الطرق الأخرى الشيف يتوه عن مساره.

الخلاصة

SteeringDiffusion يشبه منح فنان ذكاء اصطناعي قوي ومجمد "منزلقاً" بسيطاً وآمناً وسلساً للتحكم في مقدار "الأسلوب" الذي يضيفه إلى الصورة. لست بحاجة لإعادة تدريب الفنان، ولا داعي للقلق بشأن إفساد الصورة. أنت فقط تقوم بتدوير المقبض، والنتيجة تتغير بشكل متوقع، من "الأصل الخالص" إلى "الأسلوب الكامل"، وكل ذلك في الوقت الفعلي.

ملخص تقني: SteeringDiffusion

بيان المشكلة

أثبتت نماذج الانتشار (Diffusion models) مكانتها كنموذج مهيمن لتوليد الصور عالية الجودة. ومع ذلك، فإن تكييف هذه النماذج مع أنماط بصرية أو مجالات جديدة يفرض تحديات كبيرة. إن عملية الضبط الدقيق الكامل (Full fine-tuning) التقليدية مكلفة حوسبياً وعرضة للإفراط في التخصيص (Overfitting). وبينما توفر طرق الضبط الدقيق الموفرة للمعلمات (PEFT) مثل LoRA وDiffFit والضبط الدقيق المتعامد (Orthogonal fine-tuning) بدائل أخف وزناً، إلا أنها تفشل في توفير سطح تحكم مستمر وقابل للتنقل (Continuous, traversable control surface) وقت الاستدلال. فالتغيير في نقطة التشغيل في هذه الطرق يتطلب عادةً إعادة تدريب أو ضبطاً خشناً للمعلمات الفائقة (Hyperparameters) بدلاً من التحرك على طول محور تحكم متماسك. وبالمثل، تفتقر أساليب مثل DreamBooth وTextual Inversion وControlNet إلى واجهة صريحة تسمح بالتنقل المستمر بين مقايضات المحتوى والأسلوب دون تعديل معلمات النموذج الأساسي.

السؤال الجوه lõي الذي يعالجه هذا العمل هو: هل يمكن توجيه نماذج الانتشار من خلال تعديل مستوى التنشيط (Activation-level modulation) للكشف عن سطح تحكم سلس ورتيب (Monotonic control surface)؟

المنهجية: التوجيه عبر التحكم الصريح ذو عنق الزجاجة (S-BEC)

يقترح المؤلفون SteeringDiffusion، وهي طريقة قائمة على مفهوم التوجيه عبر التحكم الصجمالي الصريح ذو عنق الزجاجة (S-BEC). وعلى عكس أساليب التكيف في فضاء الأوزان، يحافظ SteeringDiffusion على هيكل U-Net الأساسي مجمداً تماماً، ويقدم واجهة تحكم خفيفة الوزن عند مستوى التنشيط.

البنية الأساسية

العمود الفقري المجمد (Frozen Backbone): تظل نماذج Stable Diffusion (إما SD 1.5 أو SDXL) وVAE وCLIP text encoder دون تغيير.
كود كامن مشروط بالوصف (Prompt-Conditioned Latent Code): تقوم وحدة صغيرة قابلة للتعلم ( $g_\theta$ ) برسم خريطة من تضمين نصي مجمع (من مشفر CLIP المجمد) إلى كود توجيه منخفض الأبعاد $v \in \mathbb{R}^k$ . تشير النتائج التجريبية إلى أن بعداً صغيراً ( $k \approx 8\text{--}16$ ) يعد كافياً.
تعديل التنشيط (Activation Modulation): يتم إسقاط هذا الكود الكامن $v$ $v$ إلى معاملات أفينية ( $\gamma, \beta$ $γ, β$ ) تعمل على تعديل التنشيطات الوسيطة عبر تحويلات من نوع FiLM/AdaGN. يتم تطبيق التعديل على ميزات GroupNorm-normalized في كتل المنتصف وكتل إعادة أخذ العينات الصاعدة (Up-sampling blocks) في الـ U-Net.
- قاعدة التحديث هي: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$ .
التهيئة الصفرية (Zero-Initialization): جميع إسقاطات التوجيه يتم تهيئتها صفرياً. وهذا يضمن أنه عند مقياس توجيه $s=0$ ، تكون المخرجات مطابقة تماماً للنموذج المجمد الأساسي، مما يضمن عدم حدوث أي تدهور عند تعطيل التحكم.
البوابات الزمنية (Temporal Gating): تقوم دالة بوابية تعتمد على الخطوة الزمنية $f(t)$ (دالة سيجمويد مزاحة ومدرجة) بكبح التعديل خلال خطوات إزالة الضجيج المبكرة (حيث يتشكل الهيكل العام) وتزيد من وتيرته خلال المراحل اللاحقة (حيث يتم صقل الملمس والأسلوب). وهذا يمنع اضطراب المحتوى.

التحكم عند الاستدلال

عند الاستدلال، يتحكم كمية قياسية واحدة $s$ في قوة التوجيه. وهذا يسمح للمستخدمين بالتنقل المستمر عبر مقايضة المحتوى والأسلوب دون إعادة تدريب أو تغيير أوزان النموذج.

المساهمات الرئيسية

إطار عمل التوجيه على مستوى التنشيط: يقدم البحث S-BEC كإطار تجريدي عام للتحكم في هياكل الانتشار المجمدة من خلال تعديل التنشيط الخفيف بدلاً من تحديثات الأوزان.
سطح تحكم سلس: يوضح المؤلفون أن هذا النهج يكشف عن سطح تحكم سلس، ورتيب، وغير متغير الأسلوب (Style-invariant). حيث يؤدي تغيير المقياس $s$ إلى مقايضة متوقعة بين الحفاظ على المحتوى وكثافة الأسلوب.
تشخيص استقرار الانعكاس (Inversion-Stability Diagnostic): تم تقديم مقياس تشخيصي جديد يعتمد على DDIM inversion لقياس اضطراب المسار. ويكشف هذا المقياس عن ارتباطات قوية مع مقدار التدخل ويكمل المقاييس الإدراكية القياسية.
التمييز بين النماذج: يوضح العمل أن الأساليب الموجودة (مثل LoRA وControlNet وRank-1 adapters) لا يمكنها إظهار سطح تحكم مماثل، مما يضع S-BEC كنموذج متميز ومتفوق.

النتائج التجريبية

أُجريت التجارب على Stable Diffusion 1.5 وSDXL باستخدام مجموعة بيانات ArtBench-10 (التي تغطي أنماطاً مثل Art Nouveau وImpressionism وRenaissance وUkiyo-e).

الرتابة (Monotonicity): عبر جميع الأنماط والأبعاد ( $k$ ) المختبرة، أدت زيادة مقياس التوجيه $s$ إلى زيادات رتيبة صارمة في تحول الأسلوب وانخفاضات في الحفاظ على المحتوى (CLIP-I)، مع عدم ملاحظة أي انتهاكات.
المقارنة مع LoRA: تحت ميزانيات المعلمات المتطابقة (Steering: 0.88M معامل مقابل LoRA: 0.80M معامل)، حقق SteeringDiffusion تحولاً في الأسلوب أعلى بنسبة 33-80% عند مستويات مماثلة من الحفاظ على المحتوى. والأهم من ذلك، بينما أظهر LoRA "انهيار الأسلوب" (سلوك غير رتيب وانخفاض حاد في الحفاظ على المحتوى) عند المضاعفات العالية، حافظ SteeringDiffusion على مقايضة سلسة.
المقارنة مع ControlNet وRank-1: تطلب ControlNet معلمات أكثر بـ 720 ضعفاً وتسبب في اضطراب أكبر للمحت content. أما Rank-1 adapters فقد حققت حوالي 69% فقط من تحول الأسلوب عند مستويات الحفاظ على المحتوى المتطابقة وتسببت في اضطراب شديد للمسار.
التعميم: تعمم سطح التحكم السلس بفعالية من SD 1.5 إلى هيكل SDXL الأكبر دون تعديلات معمارية.
الكفاءة: تضيف الطريقة عبئاً ضئيلاً على الاستدلال (~3 مللي ثانية) وتتدرب أسرع بحوالي ضعفين من نماذج LoRA المرجعية.

الأهمية والادعاءات

يضع البحث SteeringDiffusion كواجهة تحكم عملية وعامة الأغراض لنماذج الانتشار المجمدة. وتكمن أهميته الأساسية في إعادة صياغة القدرة على التحكم كـ مشكلة تصميم واجهة وليس كمشكلة عدد معلمات.

ويجادل المؤلفون بما يلي:

الهندسة منخفضة الأبعاد: من خلال تمرير جميع قرارات التوجيه عبر كود كامن واحد منخفض الأبعاد مشترك عبر الكتل، يخلق S-BEC واجهة تحكم صريحة مستقلة عن عمق الشبكة. وهذا يتناقض مع أساليب فضاء الأوزان (مثل LoRA) حيث يتوزع التحكم عبر آلاف المعلمات المستقلة، مما يؤدي إلى سلوك غير متماسك وغير رتيب عند الكثافة العالية.
تماسك المسار: يعد تعديل مستوى التنشيط اضطراباً للحالة الحالية دون تغيير الحقل المتجه (Vector field) لديناميكيات الانتشار. وهذا يحافظ على تماسك مسار إزالة الضجيج، على عكس تحديثات الأوزان أو الفروع الخارجية (ControlNet) التي يمكن أن تقدم مناطق أو جاذبات (Attractors) غير مستقرة.
المحاذاة الزمنية: تقوم البوابة المعتمدة على الخطوة الزمنية بمحاذاة التحكم مع الظهور الدلالي للأسلوب (المراحل المتأخرة)، مما يمنع تشابك المحتوى والأسلوب الذي يحدث مع الاضطرابات الموحدة.

يخلص البحث إلى أن واجهة تحكم صغيرة، وصريحة، وذات عنق زجاجة، ومحاذات زمنية، يمكنها إظهار سطح تحكم جيد السلوك على الهياكل الخلفية الكبيرة، مما يوفر بديلاً مستقراً لطرق PEft وأساليب التحرير الحالية. ويشير المؤلفون صراحةً إلى أن ادعاءاتهم تم التحقق منها لنقل الأسلوب، وأن التوسعات نحو السمات الأخرى (هوية الأشياء، التخطيط المكاني) أو قيود السلامة تتطلب مزيداً من التحقق التجريبي.