💻 computer science

Modular Energy Steering for Safe Text-to-Image Generation with Foundation Models

تقترح هذه الورقة إطار عمل معياريًا للاستدلال في وقت التشغيل لا يتطلب تدريبًا، يستفيد من التغذية الراجعة للتدرج من النماذج التأسيسية للرؤية واللغة المجمدة كإشارات إشرافية قائمة على الطاقة لتوجيه توليد الصور من النص نحو الأمان دون المساس بجودة الصورة أو قابلية توسع النموذج.

المؤلفون الأصليون: Yaoteng Tan, Zikui Cai, M. Salman Asif

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yaoteng Tan, Zikui Cai, M. Salman Asif

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فنانًا سحريًا وموهوبًا للغاية يُدعى "ديفيوجن" (Diffusion). يمكن لهذا الفنان رسم أي صورة تصفها له بالكلمات. إذا قلت له "قطة على لوح تزلج"، سيرسمها فورًا. وإذا قلت له "قلعة مصنوعة من الغيوم"، سيرسم ذلك أيضًا.

ولكن هناك مشكلة: "ديفيوجن" موهوب أكثر من اللازم. إذا طلبت منه شيئًا خطيرًا، أو غير قانوني، أو حتى غير لائق (مثل صورة لشخصية مشهورة دون إذنها، أو شيء خادش للحياء)، فسوف يرسمه "ديفيوجن" بكل سرور. فهو لا يمتلك "بوصلة أخلاقية" مدمجة؛ هو فقط ينفذ الأوامر.

الطرق القديمة: نهج "القوة الغاشمة" (Brute Force)

سابقًا، حاول الناس إصلاح هذا بطريقتين فوضويتين:

طريقة "إعادة التدريب": حاولوا تعليم "ديفيوجن" قواعد جديدة عبر إظهار آلاف الصور "السيئة" له وقول: "لا تفعل هذا!". الأمر يشبه محاولة إعادة تدريب كلب تعلم بالفعل كيف يجلب الأشياء؛ فغالبًا ما يجعل هذا الكلب ينسى كيفية القيام بالأشياء الجيدة، أو أنه ببساطة لا يتعلم القواعد الجديدة بشكل جيد بما يكفي.
طريقة "الحارس": وضعوا حارس أمن عند الباب (قبل أن يبدأ الفنان) وحارس آخر عند المخرج (بعد انتهاء اللوحة). لكن المحتالين الأذكياء (الهكرز) يمكنهم الهمس بشفرات سرية للفنان لا يفهمها الحارس، مما يؤدي لتجاوز الأمن.

الفكرة الجديدة: "المراقب الذكي" (التوجيه النمطي للطاقة - Modular Energy Steering)

تقدم هذه الورقة البحثية طريقة ذكية وجديدة للتحكم في الفنان دون إعادة تدريبه ودون الحاجء إلى مكتبة ضخمة من الصور السيئة.

فكر في الأمر كالتالي:

1. الفنان (المولد - The Generator)
"ديفيوجن" هو الفنان. إنه ثابت في الزمن؛ نحن لا نغير دماغه أو تدريبه. هو يستمر فقط في الرسم بناءً على مهاراته الأصلية.

2. المراقب (النموذج التأسيسي - The Spotter)
نحن نأتي بشخصية ثانية: "المراقب". هذا ذكاء اصطناعي آخر (مثل CLIP أو VLM) وهو خبير بالفعل في فهم الصور. هو يعرف كيف يبدو "الشخص العاري" أو كيف يبدو "إيلون ماسك". إنه مثل ناقد فني متمرس شاهد ملايين الصور.

3. الرقصة (العملية - The Process)
لا يرسم الفنان الصورة كاملة في خطوة واحدة، بل يرسمها عبر خطوات، بدءًا من كتلة ضبابية ثم يقوم بتنقيحها ببطء لتصبح صورة واضحة.

الخطوة 1: يرسم الفنان نسخة ضبابية من الصورة.
الخطوة 2: قبل أن ينتقل الفنان إلى الخطوة التالية، ينظر "المراقب" إلى تلك النسخة الضبابية ويسأل: "مهلًا، هل يبدو هذا وكأننا نصنع شيئًا لا ينبغي صنعه؟".
الخطوة 3: إذا قال المراقب: "نعم، هذا يبدو كشخصية مشهورة"، فإنه يدفع يد الفنان برفق في اتجاه مختلف. إنه مثل دفعة لطيفة تقول: "لا، اذهب في هذا الاتجاه بدلًا من ذاك".
الخطوة 4: يستمر الفنان في الرسم، الآن بعد أن تم توجيهه بعيدًا قليلاً عن الفكرة السيئة، لكنه لا يزال يتبع طلبك الأصلي.

تشبيه "الطاقة"

تسمي الورقة البحثية هذا "توجيه الطاقة" (Energy Steering). تخيل أن الفنان عبارة عن كرة تتدحرج على تلة.

الهدف: تريد للكرة أن تتدحرج إلى مكان محدد (صورة آمنة وجميلة).
الخطر: توجد "حفر" (مفاهيم غير آمنة مثل العري أو أشخاص محددين) على التلة.
الطريقة القديمة: تحاول رصف الحفر (إعادة التدريب)، وهو أمر صعب وقد يؤدي لتخريب الطريق بأكمله.
الطريقة الجديدة: تستخدم مغناطيسًا (المراقب). بينما تتدحرج الكرة، يشعر المغناطيس بالحفرة ويسحب الكرة برفق بعيدًا عنها، موجّهًا إياها بأمان نحو وجهتها. الطريق نفسه لا يتغير؛ أنت فقط أضفت مرشدًا ذكيًا.

لماذا هذا الأمر رائع؟

قابل للتركيب والتشغيل (Plug-and-Play): لا تحتاج لإعادة بناء الفنان. أنت فقط تقوم بتوصيل "المراقب".
مرن: إذا أردت حظر "إيلون ماسك" اليوم، فأنت تخبر "المراقب". إذا أردت حظر "الأسلحة" غدًا، يمكنك فقط تحديث قائمة "المراقب". لا حاجة لإعادة تدريب الفنان.
قوي: لأن "المراقب" ينظر إلى الصورة أثناء عملية صنعها، فإنه يكتشف الأفكيات السيئة مبكرًا، حتى لو حاولت خداع الفنان بكلمات غريبة.
يحافظ على الجودة: بما أننا لا نعبث بدماغ الفنان، فإن الصور تظل رائعة. لا تصبح ضبابية أو غريبة لمجرد أننا نلتزم بمعايير السلامة.

باختة القول

تتعلق هذه الورقة البحثية بمنح فنان ذكاء اصطناعي فائق القدرة مشرفًا ذكيًا في الوقت الفعلي. هذا المشرف لا يغير طريقة تفكير الفنان؛ بل يهمس له فقط: "مهلًا، هذا يبدو خطرًا بعض الشيء، لنحاول زاوية أخرى"، في كل خطوة من عملية الرسم. هذا يحافظ على سلامة الفن، وجودته، ومرونته، دون الحاجة لإعادة بناء النظام بأكمله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توجيه الطاقة النمطي لتوليد الصور من النصوص بشكل آمن باستخدام النماذج التأسيسية."

1. بيان المشكلة

تواجه نماذج توليد الصور من النصوص (T2I)، رغم قوتها، مخاطر أمنية كبيرة، بما في ذلك توليد محتوى غير لائق للعمل (NSFW)، أو مواد محمية بحقوق الطبع والنشر، أو تصوير غير مصرح به لأفراد حقيقيين. تعاني آليات السلامة الحالية من قيود حرجة:

مرشحات المدخلات/المخرجات: عرضة لنسب عالية من الإيجابيات الكاذبة وسهلة التجاوز عبر المطالبات الهجومية (Adversarial Prompts).
ضبط النموذج (Fine-tuning) أو إلغاء التعلم (Unlearning): يتطلب مجموعات بيانات منسقة لـ "النسيان" و"الاحتفاظ"، مما يؤدي غالباً إلى تدهور قدرات التوليد العامة للنموذج وقابليته للتوسع.
توجيه وقت الاستدلال الحالي: غالباً ما يقتصر على تحسين تضمين المطالبة (Prompt Embedding) (وهو أمر غير مثالي) أو يعتمد على مجموعات بيانات صور منسقة للتوجيه.

التحدي الجوهري هو تطوير آلية سلامة لا تتطلب تدريباً، ولا تتطلب مجموعة بيانات، وقابلة للتوسع، تعمل على كبح مفاهيم غير مرغوب فيها محددة (مثل العري، أو مشاهير معينين) دون تعديل أوزان المولد الأساسي أو التضحية بجودة التوليد.

2. المنهجية

يقترح المؤلفون إطار عمل توجيه الطاقة النمطي (Modular Energy Steering Framework) الذي يعمل في وقت الاستدلال. الرؤية الجوهرية هي أن النماذج الرؤيو-لغوية (VLMs) المجمدة والجاهزة مثل CLIP أو النماذج الرؤيو-لغوية الضخمة تشفر بالفعل معرفة دلالية غنية يمكن إعادة توظيفها كـ مقدرات للطاقة الدلالية لتوجيه عملية التوليد.

أ. الصياغة القائمة على الطاقة

يصيغ الأسلوب التحكم في السلامة كمسألة أخذ عينات قائمة على الطاقة. بدلاً من تعديل المولد، يتم إدخال حد توجيه للسلامة مشتق من تدرج دالة طاقة السلامة.

الهدف: تعديل مجال الدرجة (Score Field) التوليدي لمعاقبة وجود مفهوم غير آمن $y^*$ .
الصياغة: يتم تعديل الدرجة الشرطية كالتالي:
$\nabla_{x_t} \log p(x_t | c \neq y^*) \approx \nabla_{x_t} \log p(x_t | c) - \lambda \nabla_{x_t} \log p(y^* | x_t)$
هنا، تعمل $E_{safety}(x) = \log p(y^* | x)$ كعقوبة طاقة، و $\lambda$ تتحكم في قوة التوجيه.

ب. النماذج التأسيسية كمقدرات للطاقة

يستخدم إطار العمل النماذج التأسيسية المجمدة لتقدير الاحتمال $p(y^* | x)$ في كل خطوة أخذ عينات دون تدريب:

تقدير الكمون النظيف (Clean Latent Estimation): في كل خطوة انتشار $t$ ، يقدر الأسلوب البيانات الكمونية النظيفة $\hat{x}_{0|t}$ من الحالة الكمونية المشوشة.
حساب الطاقة الدلالية:
- القائم على CLIP: يستخدم دالة اللوغاريتم المتوسط الأسي (LME) لتجميع درجات التشابه بين الصورة ومجموعة من المطالبات النصية الإيجابية (غير الآمنة) والسلبية (الآمنة). الطاقة هي الفرق بين درجات الـ logit الإيجابية والسلبية.
- القائم على VLM: يصيغ فحص السلامة كمهمة التنبؤ بالرمز التالي (Next-token prediction). يتم استعلام الـ VLM بسؤال ثنائي (مثلاً: "هل تحتوي هذه الصورة على عري؟"). تُستخدم درجات الـ logits لرموز "نعم" مقابل "لا" لحساب الطاقة.
حقن التدرج (Gradient Injection): يتم تمرير تدرج تقدير هذه الطاقة عبر النموذج التأسيسي المجمد إلى الفضاء الكموني للصورة، مما يوفر إشارة توجيه تدفع التوليد بعيداً عن المنطقة غير الآمنة.

ج. تدفق الخوارزمية (الخوارزمية 1)

تتكامل العملية ضمن حلقة أخذ عينات ODE/SDE القياسية:

تهيئة الضجيج الكموني.
لكل خطوة زمنية، تقدير الكمون النظيف $\hat{x}_{0|t}$ .
تمرير $\hat{x}_{0|t}$ إلى المقدر الملحق (CLIP/VLM) لحساب لوجيت السلامة $p_t$ .
إذا أشارت $p_t$ إلى احتمالية عالية للمفهوم غير الآمن، يتم تطبيق تحديث تدرجي على الحالة الكمونية باستخدام حد توجيه السلامة.
المضي قدماً إلى الخطوة الزمنية التالية.

3. المساهمات الرئيسية

لا يتطلب تدريباً ولا مجموعة بيانات: لا يتطلب الأسلوب أي تحديث لأوزان النموذج ولا يتطلب مجموعات بيانات صور خاصة بالمجال. يتطلب فقط "قائمة سوداء" نصية للمفاهيم المراد كبحها.
توجيه الطاقة النمطي: يصيغ السلامة كمسألة أخذ عينات قائمة على الطاقة، مما يسمح بالتكامل المبدئي مع كل من نماذج الانتشار (Diffusion Models) ونماذج مطابقة التدفق (Flow-Matching Models).
القابلية للتوسع: يتوسع الإطار بشكل طبيعي نحو التوجيه متعدد المفاهيم. إضافة أهداف جديدة (مثل مشاهير جدد) يتطلب فقط توسيع مجموعة المطالبات النصية في المقدر، مما يتجنب مشكلات النسيان الكارثي المرتبطة بالتعلم المستمر.
المتانة: أظهرت الطريقة متانة هي الأفضل حالياً (State-of-the-art) ضد المطالبات الهجومية المصم टीमة لتجاوز فلاتر السلامة.

4. النتائج التجريبية

قيم المؤلفون إطار العمل على Stable Diffusion v1.4 و Stable Diffusion v3 (مطابقة التدفق).

كبح المحتوى غير اللائق (NSFW):
- حقق معدلات نجاح هجوم (ASR) أقل بكثير عبر أربعة اختبارات حمراء (P4D, Ring-A-Bell, MMA-Diffusion, UnlearnDiffAtk) مقارنة بالطرق السابقة مثل SAFREE و SafeDenoiser و CURE.
- على سبيل المثال، في اختبار MMA-Diffusion، خفض الأسلوب المقترح معدل ASR إلى 0.155 (لـ CLIP) و 0.115 (لـ VLM) مقارنة بـ 0.952 للنموذج الأصلي.
توجيه الهوية:
- نجح في كبح هويات مشاهير محددين (مثل إيلون ماسك، وتيلور سويفت) مع الحفاظ على توليد الهويات غير المستهدفة.
- أظهر توجيهاً مشتركاً فعالاً لما يصل إلى 9 هويات في وقت واحد دون تدهور في كبح الأهداف غير المستهدفة.
الحفاظ على الجودة:
- تم التقييم باستخدام مجموعة بيانات COCO-30K. حافظت الطريقة على درجات CLIP عالية (محاذاة النص والصورة) ودرجات FID تنافسية، مما يشير إلى أن توجيه السلامة لم يؤدِ إلى تدهور جودة التوليدات السليمة وغير المستهدفة.
القابلية للتوسع مع النماذج المتقدمة:
- تم تطبيق إطار العمل بنجاح على SD-v3 (وهو نموذج مطابقة تدفق بمعمارية DiT)، مما يثبت طبيعته غير المرتبطة بمعمارية محددة.

5. الأهمية والآثار المترتبة

النشر العملي: من خلال إلغاء الحاجة لإعادة التدريب أو مجموعات بيانات منسقة ضخمة، يقدم هذا النهج حلاً عملياً للغاية لنشر نماذج T2I آمنة في بيئات ديناميكية حيث تتغير متطلبات السلامة (مثل حظر مشاهير جدد) بشكل متكرر.
الاستفادة من النماذج التأسيسية: يمهد الطريق لاستخدام النماذج التأسيسية المجمدة ليس فقط كمصنفات، بل كـ مقدرات طاقة دلالية توفر تغذية راجعة فورية قائمة على التدرج للعمليات التوليدية.
إدارة المقايضات: بينما يضيف الأسلوب عبئاً حسابياً طفيفاً (حوالي 2.7 ثانية/صورة لـ CLIP، و10 ثوانٍ لـ VLM على SD-v1.4)، يرى المؤلفون أن هذه مقايضة جيدة لتحقيق تحكم في السلامة قوي ولا يتطلب تدريباً.

في الختام، تقدم هذه الورقة إطار عمل مبدئياً، نمطياً، وفعالاً للغاية لتوليد الصور من النصوص بشكل آمن، يستفيد من الفهم الدلالي للنماذج التأسيسية الموجودة لتوجيه التوليد بعيداً عن المفاهيم غير الآمنة دون المساس بفائدة النموذج الأساسي.