💻 computer science

SHIFT: Steering Hidden Intermediates in Flow Transformers

تقدم الورقة البحثية إطار عمل SHIFT، وهو إطار عمل خفيف الوزن ولا يتطلب تدريباً، يقوم بتوجيه نماذج الانتشار القائمة على بنية DiT من خلال التلاعب الديناميكي بالتنشيطات البينية أثناء الاستدلال لكبح المفاهيم غير المرغوب فيها، أو نقل نطاقات الأنماط، أو تعديل الكائنات مع الحفاظ على جودة الصورة الإجمالية والالتزام بالمطالبة النصية.

المؤلفون الأصليون: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً للغاية يدعى Flux. هذا الفنان يمكنه رسم صور واقعية للغاية بمجرد الاستماع إلى وصفك (المطالبة/البرومبت). إذا قلت له "قطة على لوح تزلج"، فسيقوم Flux برسم قطة مثالية على لوح تزلج.

لكن المشكلة هي: أحياناً، يصبح Flux مبدعاً أكثر من اللازم. إذا طلبت منه "مشهد حفلة"، فقد يتضمن بالخطأ شيئاً غير لائق، مثل العري، أو ربما يحب حقاً الرسم بأسلوب فان جوخ، حتى عندما طلبت أنت صورة فوتوغرافية حديثة.

في الماضي، إذا أردت منع Flux من القيام بهذه الأشياء المحددة، كان عليك إعادة الفنان إلى مدرسة الفنون لعدة أشهر من إعادة التدريب. كان عليك تعليمه: "لا، لا ترسم العري"، أو "توقف عن استخدام ضربات فرشاة فان جوخ". كان ذلك مكلفاً، بطيئاً، وغالباً ما كان يؤدي إلى إفساد قدرة الفنان على رسم أشياء جيدة أخرى.

إليك SHIFT.

تقدم الورقة البحثية SHIFT، والتي تشبه منح Flux نظارات سحرية وجهاز تحكم عن بعد بدلاً من إرساله مجدداً إلى المدرسة.

النظارات السحرية: "توجيه التنشيط" (Activation Steering)

تخيل عقل الفنان كأنه مكتبة ضخمة من الأفكار والصور. عندما يرسم Flux، فإنه يقلب باستمرار في هذه الصفحات.

الطريقة القديمة: لإيقاف Flux عن رسم العري، كان عليك تمزيق تلك الصفحات المحددة من المكتبة ولصق صفحات جديدة مكانها. كان ذلك يتلف الكتاب.
طريقة SHIFT: لا تتدخل SHIFT في المكتبة. بدلاً من ذلك، تستخدم "متجه توجيه" (steering vector). تخيل هذا كأنه بوصلة مغناطيسية تُمسك فوق يد الفنان.
- إذا بدأ Flux يفكر في "العري"، فإن البوصلة تسحب يد الفنان بلطف في اتجاه مختلف، نحو "ملابس" أو "محايد".
- إذا بدأ يفكر في "فان جوخ"، فإن البوصلة تدفعه نحو "الواقعية الفوتوغرافية".

الأمر الجوهر هو أن هذه البوصلة خفيفة الوزن. لا تحتاج إلى إعادة تدريب الفنان. أنت فقط تحسب اتجاه فكرة "العري" وفكرة "الأمان"، وتجد الفرق بينهما، ثم تنشئ متجهاً (سهماً رياضياً) يشير بعيداً عن الشيء السيئ.

جهاز التحكم عن بعد: "وقت الاستدلال" (Inference-Time)

الجزء الأروع هو أنه يمكنك تشغيل هذه البوصلة أو إطفاؤها أثناء رسم الفنان.

لا إعادة تدريب: لا تحتاج للانتظار لأسابيع. يمكنك إنشاء متجه توجيه في دقائق باستخدام بضع أمثلة فقط من المطالبات "السيئة" والمطالبات "الجيدة".
تحكم ديناميكي: يمكنك تحديد مدى قوة دفع البوصلة.
- دفعة لطيفة: "ربما حافظ على الحفلة ممتعة، ولكن بدون عري".
- دفعة قوية: "لا يوجد عري مطلقاً، حتى لو تطلب الأمر تغيير المشهد بأكمله".
توقيت ذكي: اكتشفت الورقة أن عقل Flux يعمل عبر خطوات. وجدت SHIFT أنك تحتاج فقط لتطبيق هذه البوصلة في البداية تماماً من عملية الرسم. بمجرد أن يبدأ الفنان في الضربات الأولى للفرشاة، تكون فكرة "العري" قد ترسخت بالفعل. إذا حاولت التوجيه لاحقاً، فسيكون الوقت قد فات. لكن إذا وجهته في البداية تماماً، فإن اللوحة بأكملها ستتجنب المفهوم السيئ بشكل طبيعي.

ماذا يمكن لـ SHIFT أن تفعل؟

اختبر المؤلفون هذه "البوصلة" في ثلاث مهام رئيسية:

"فلتر السلامة" (المحو/Erasure): علموا SHIFT كيفية إزالة المفاهيم الخطيرة أو المحمية بحقوق الطبع والنشر (مثل العري أو فنانين محددين) دون إفساد بقية الصورة. إنه يشبه وجود حارس عند الباب يطرد المشاغبين فقط، ويترك بقية الحاضرين في الحفلة وشأنهم.
"الحرباء الأسلوبية" (التحوير الأسلوبي/Stylization): استخدموها لإجبار Flux على الرسم بأسلوب معين (مثل "سايبر بانك" أو "رسم تخطيطي") حتى لو لم تطلب المطالبة ذلك. إنه يشبه قولك للفنان: "ارسم هذه القطة، ولكن اجعلها تبدو كقصة مصورة".
"إضافة الأشياء" (الإضافة/Addition): أظهروا أنها يمكن أن تضيف أشياء. إذا طلبت "قطة"، يمكن لـ SHIFT أن تدفع الفنان لإضافة "قبعة" للقطة، حتى لو لم تذكر "قبعة" صراحة.

اكتشاف "الريموت كنترول العالمي"

أحد الاكتشافات الأكثر إثارة للدهشة هو أن هذه البوصلة تعمل عبر إصدارات مختلفة من الفنان.

قاموا بإنشاء بوصلة للنسخة "السريعة" من Flux (وهي Flux.1[schnell]).
أخذوا نفس هذه البوصلة تماماً واستخدموها على النسخة "البطيئة، عالية الجودة" (وهي Flux.1[dev]).
لقد نجحت! وهذا يعني أنه يمكنك القيام بالعمل الشاق على كمبيوتر صغير وسريع، ثم تطبيق النتائج على نموذج ضخم وقوي. إنه يشبه ضبط محطة راديو على راديو محمول رخيص، ثم استخدام نفس الإعدادات على نظام صوتي منزلي ضخم.

الخلاصة

SHIFT هي طريقة بسيطة، سريعة، وغير مكلفة للتحكم في مولدات الصور بالذكاء الاصطناعي القوية. بدلاً من إعادة بناء عقل الذكاء الاصطناعي لإصلاح عاداته السيئة، نحن فقط نعطيه دفعة لطيفة في الاتجاه الصحيح أثناء عمله. إنها تجعل الذكاء الاصطناعي آمناً، ذا أسلوب مميز، ومطيعاً دون إبطائه أو كسر قدرته على خلق فن جميل.

إليك ملخص تقني مفصل لورقة البحث "SHIFT: Steering Hidden Intermediates in Flow Transformers".

1. بيان المشكلة (Problem Statement)

حققت نماذج الانتشار، ولا سيما نماذج محولات الانتشار (Diffusion Transformers - DiTs) الحديثة مثل FLUX وSD3.5، جودة استثنائية في توليد الصور. ومع ذلك، فإن حجمها الهائل وتدريبها على مجموعات بيانات ضخمة وغير مثالية يفرض مخاطر كبيرة، بما في ذلك توليد محتوى ضار أو محمي بحقوق الطبع والنشر أو محظور.

تواجه الحلول الحالية لـ محو المفاهيم (Concept Erasure - CE) قيوداً حرجة عند تطبيقها على نماذج DiT:

التكلفة الحسابية: تعتمد معظم الطرق (مثل ESD وConcept Ablation) على الضبط الدقيق القائم على التدرج (gradient-based fine-tuning). وبينما يعد هذا ممكناً للنماذج الأصغر القائمة على UNet (أقل من 1 مليار معلمة)، إلا أنه مكلف للغاية لنماذج DiT الضخمة (مثل FLUX الذي يحتوي على 12 مليار معلمة).
الاعتماد على التوجيه (Guidance Dependency): تتطلب العديد من طرق التحسين وجود "توجيه سلبي" أثناء التدريب. وهذا يفشل مع النماذج المقطرة (distilled models) (مثل FLUX.1[schnell]) التي تم تحسينها للعمل عند مقياس توجيه ثابت (غالباً 0.0)، مما يجعلها غير قادرة على استخدام آليات التوجيه المطلوبة لتقنيات المحو هذه.
عدم التوافق الهيكلي: تعتمد طرق توجيه التنشيط السابقة (المستوحاة من النماذج اللغوية الكبيرة LLMs) غالباً على آليات الانتباه المتقاطع (cross-attention) الخاصة بهياكل UNet. أما نماذج DiT فتستخدم محولات انتشار متعددة الوسائط (MM-DiT) مع آليات انتباه موحدة حيث تتشارك رموز النص والصورة في فضاء كامن واحد، مما يجعل نقاط التدخل التقليدية أقل فعالية.

2. المنهجية: إطار عمل SHIFT (Methodology: SHIFT Framework)

يقترح المؤلفون SHIFT، وهو إطار عمل خفيف الوزن يعمل وقت الاستدلال (inference-time)، يقوم بتوجيه توليد DiT عبر التلاعب بالتنشيطات البينية دون تعديل أوزان النموذج.

الهيكل الأساسي ونقاط التدخل

يستهدف SHIFT بنية MM-DiT (تحديداً Flux)، مع التركيز على نقطتين للتدخل حيث يتم نقل الدلالات النصية:

التضمين المجمع لمشفر النص (Text Encoder Pooled Embedding): وتحديداً المتجه المجمع (مثل رمز CLIP).
رموز النص في محول الانتشار (Diffusion Transformer Text Tokens): وهي تمثيلات رموز النص ( $Y_t$ ) بعد طبقة الانتباه المشتركة في هيكل DiT.

تُعرف عملية التوجيه كالتالي:
$\tilde{a} = a + \alpha \times v_{\text{steering}}$
حيث أن $a$ هو التنشيط، و $v_{\text{steering}}$ هو متجه التوجيه المتعلم، و $\alpha$ هي قوة التوجيه.

بناء المتجه (Vector Construction)

لتوليد متجه توجيه لمفهوم مستهدف (مثل "العري" أو "أسلوب فان جوخ"):

إنشاء مجموعة البيانات: يتم جمع مجموعة صغيرة من أزواج المطالبات التباينية (contrastive prompt pairs) (على سبيل المثال: $p^-$ بدون المفهوم مقابل $p^+$ مع المفهوم).
جمع التنشيطات: يعمل النموذج على هذه المطالبات، ويتم تسجيل التنشيطات عند نقاط التدخل المختارة.
تقدير المتجه: تم اقتراح طريقتين:
- الفرق المتوسط (Mean Difference): الفرق البسيط بين متوسط التنشيطات للمطالبات الإيجابية والسلبية.
- آلة ناقلات الدعم (SVM-Based): يتم تدريب SVM خطي على التنشيطات المجمعة لإيجاد المستوى الفائق الفاصل (separating hyperplane). ويكون متجه التوجيه هو المتجه العمودي الموحد (normalized normal vector) لهذا المستوى، مما يوفر اتجاهاً أكثر قوة للفصل.

التحكم في وقت الاستدلال والتنظيم (Inference-Time Control & Regularization)

يستخدم SHIFT آلية ديناميكية لمنع "الإفراط في التوجيه" (حيث تتدهور جودة الصورة أو تُفقد المفاهيم غير المستهدفة):

قوة مشفر النص: يتم قياسها بواسطة تشابه جيب التمام (cosine similarity) بين تضمين المطالبة الأولية وتضمين المفهوم المستهدف.
قوة DiT: يتم تنظيمها بواسطة إشارة مصنف خفيف الوزن (SVM). إذا اكتشف المصنف أن المفهما المستهدف لا يزال موجوداً في التنشيط الحالي ( $p_{cls}$ مرتفع)، يتم تضخيم قوة التوجيه. وإذا تم كبح المفهوم بالفعل، يتم تقليل التوجيه.
الثبات الزمني (Temporal Invariance): أحد الاكتشافات الرئيسية هو أن متجه توجيه واحد مستقل عن الزمن يمكن تطبيقه عبر جميع خطوات الانتشار، مما يبسط العملية بشكل كبير مقارنة بالتدخلات المحددة لكل خطوة زمنية.

3. المساهمات الرئيسية (Key Contributions)

إطار توجيه موحد: يعد SHIFT أول إطار عمل شامل لتوجيه نماذج DiT الأصلية والمقطرة (Flux.1[dev] و Flux.1[schnell]) عبر إزاحات التنشيط الكامنة، مما يلغي الحاجة إلى إعادة التدريب.
اكتشاف الثبات الزمني: أثبت المؤلفون أن المفاهيم الدلالية في نماجات DiT تُشفر كاتجاهات عالمية مستقرة في الفضاء الكامن (latent manifold). حيث يعمل متجه واحد بفعالية عبر جميع الخطوات الزمنية، مما يسهل عملية التوجيه.
نقل التقطير المتبادل (Cross-Distillation Transfer): تثبت الطريقة أن متجهات التوجيه المحسوبة على نموذج مقطر (Flux.1[schnell]) يمكن نقلها بنجاح إلى النسخة غير المقطرة (Flux.1[dev])، مما يتيح التحكم الفعال في البيئات محدودة الموارد.
تعدد الاستخدامات: بعيداً عن المحو، يدعم الإطار تنميط النطاق (مثل التغيير إلى أسلوب Cyberpunk)، إضافة كائنات (مثل إضافة قبعة)، وتبديل المفاهيم (مثل قط $\leftarrow$ كلب).

4. النتائج التجريبية (Experimental Results)

قيم المؤلفون SHIFT على كل من Flux.1[dev] و Flux.1[schnell] عبر مهام متعددة:

محو المفاهيم المجردة (العري):
- على معيار I2P، حقق SHIFT تثبيطاً أقوى بـ 3 إلى 4 مرات لمفهوم العري مقارنة بالنماذج المرجعية مثل ESD و CA و UCE.
- حافظ على التزام عالٍ بالمطالبة (بقيت درجات CLIP مستقرة) ولم يتسبب إلا في تدهور طفيف في FID مقارنة بأفضل النماذج المرجعية.
- والأهم من ذلك، أنه عمل بفعالية على Flux.1[schnell] (المقطر، guidance=0.0)، حيث تفشل طرق التحسين الأخرى.
محو المفاهيم الملموسة:
- تم اختبار إزالة كائنات محددة (مثل "Snoopy") مع الحفاظ على المفاهيم ذات الصلة (مثل "Mickey" و "Pikachu").
- تفوق SHIFT على النماذج المرجعية في تثبيط المفهوم المستهدف (درجة CLIP أقل للمستهدف) مع الحفاظ على جودة صورة أفضل (FID أقل) للمفاهيم غير المستهدفة.
التلاعب بالأسلوب والكائنات:
- نجح في إزالة أساليب الفنانين (Van Gogh) مع الحفاظ على أساليب أخرى (Picasso, Rembrandt).
- أظهر القدرة على إضافة كائنات صغيرة (نظارات، قبعات) وتبديل المفاهيم (شاب $\leftarrow$ عجوز، كلب $\leftarrow$ قط) بدقة عالية.
دراسات الاستئصال (Ablation Studies):
- اختيار الكتلة (Block Selection): يكون التوجيه أكثر فعالية عند تطبيقه في المراحل المبكرة من مسار الانتشار (الكتل 0–9). تطبيق التوجيه في الخطوات اللاحقة فقط أعطى نتائج ضعيفة.
- التنظيم (Regularization): كان استخدام مصنف SVM لضبط القوة الديناميكية أمراً حاسماً للحفاظ على جودة الصورة ومنع فقدان السمات غير المستهدفة.

5. الأهمية (Significance)

يمثل SHIFT تحولاً جذرياً في التحكم في النماذج التوليدية واسعة النطاق:

الكفاءة: يستبدل الضبط الدقيق المكلف حسابياً بتدخل خفيف الوزن في وقت الاستد، مما يجعله قابلاً للتوسع لنماذج تتجاوز 10 مليارات معلمة.
التوافق مع النماذج المقطرة: يحل التحدي الحرج المتمثل في التحكم في النماذج المقطرة التي لا يمكنها استخدام تقنيات المحو القائمة على التوجيه القياسية.
القدرة على التعميم: من خلال التعامل مع نماذج DiT بشكل مشابه للنماذج اللغوية الكبيرة (عبر توجيه التنشيط)، فإنه يفتح الباب لتطبيق تقنيات هندسة التمثيل (representation engineering) في المجال المتطور بسرعة لمحولات الانتشار.
السلامة: يوفر أداة عملية وقابلة للنشر للتخفيف من مخاطر السلامة في توليد الصور عالي الدقة دون المساس بالقدرات التوليدية الجوهرية للنموذج.

الكود متاح للجمهور، مما يسهل المزيد من الأبحاث في التحكم القائم على التنشيط لنماذج محولات الانتشار من الجيل القادم.