ملخص تقني: التوجيه الدلالي للتوليد القابل للتحكم

بيان المشكلة

حققت نماذج المحولات الانتشارية متعددة الوسائط (MM-DiTs)، مثل سلاسل Stable Diffusion 3 وFLUX، معايير جديدة في توليد الصور من النصوص، متفوقة على نماذج U-Net التقليدية من حيث الجودة والدقة. ومع ذلك، فإن قدراتها التوليدية الهائلة تفرض مخاطر أمنية كبيرة، بما في ذلك إمكانية تخليق محتوى غير لائق (NSFW)، أو أعمال محمية بحقوق الطبع والنشر، أو صور لأشخاص حقيقيين.

تواجه طرق محو المفاهيم الحالية قيوداً حرجة عند تطبيقها على نماذج MM-DiT:

1. تعديل المعلمات: تتطلب معظم الطرق ضبطاً دقيقاً (fine-tuning) أو تعديلاً لأوزان النموذج. وغالباً ما تكون هذه الطرق مرتبطة ببنية معينة، ومكلفة حوسبياً، وغير عملية للنماذج المنشورة على نطاق واسع.
2. قيود الأساليب الخالية من الضبط (Tuning-Free): تعاني الأساليب الحالية التي لا تتطلب ضبطاً وتعتمد على التدخل عبر المطالبات (مثل المطالبات السلبية) من صعوبات مع نماذج MM-DiT. فبسبب التدريب المسبق المكثف، تقوم نماذج MM-DiT بدمج المفاهيم بعمق داخل تمثيلاتها الداخلية، مما يجعلها مقاومة لهندسة المطالبات السطحية. علاوة على ذلك، فإن المساحة الدلالية الموسعة والمشفرات النصية المعتمدة على السياق (مثل T5-XXL) في نماذج MM-DiT تجعل المطالبات السلبية غير فعالة في التقاط الارتباطات الضمنية وتنوع المفاهيم.
3. عدم التوافق الهيكلي: الطرق المصممة للنماذج اللغوية الكبيرة (LLMs) أو بنى U-Net صغيرة النطاق لا تترجم بشكل جيد إلى عملية إزالة الضجيج المستمرة والمتكررة وبنية تعدد الوسائط في نماذج MM-DiT.

المنهجية

يقترح المؤلفون منهجية توجيه دلالي خالية من الضبط تعمل على التلاعب مباشرة بالتمثيلات الداخلية للنموذج أثناء الاستدلال. وتستند هذه المنهجية إلى تحليل معمق لبنية MM-DiT وآليات توليدها.

1. تحليل الأدوار حسب الكتل والخطوات الزمنية

من خلال التحليل التجريبي (حقن الضجيج وتصور خرائط الانتباه)، حدد المؤلفون بنية هرمية في نماذج MM-DiT:

• الكتل المبكرة (Early Blocks): تشفر الهياكل الصورية العالمية.
• الكتل المتأخرة (Late Blocks): تصقل التفاصيل الدقيقة.
• الكتل الوسطى (Middle Blocks): تشفر بشكل أساسي التمثيلات الدلالية الجوهرية للمفاهيم المستهدفة.
• الخطوات الزمنية المتوسطة (Intermediate Timesteps): توفر التمثيل الأكثر دقة لدلالات الهدف، موازنةً بين التماسك الهيكلي والتفاصيل البصرية.

2. بناء متجه التوجيه

بدلاً من العمل على رموز الصورة الزائدة (مثل 4096 رمزاً)، تستفيد المنهجية من ندرة فرع النص (154-333 رمزاً).

• إعداد البيانات: تم إنشاء مجموعة بيانات من الأزواج من المطالبات، حيث تحتوي إحدى المطالبات على المفهوم غير المرغوب فيه ($C^-$) والأخرى تحتوي على مفهوم آمن مرغوب فيه ($C^+$) مع سياق متطابق.
• الاستخراج: يعالج النموذج هذه الأزواج عبر كتلة متوسطة ($b$). ويتم استخراج متجهات المخرجات لرموز نصية محددة مختلفة من فرع النص.
• اشتقاق المتجه: يتم بناء متجه توجيه ($v_{steer}$) عن طريق حساب متوسط الفرق بين تمثيلات المفهوم الآمن والمفهوم غير المرغوب فيه:
  $$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{حيث } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$$
  هنا، $l$ هو معامل قوة التوجيه الذي يتم تحديده تجريبياً.

3. حقن متجه التوجيه

لضمان التوجيه المتماسك دون تشويه الصورة، يتم حقن المتجه استراتيجياً:

• الاستراتيجية المكانية: يتم حقن المتجه في الكتل المبكرة والوسطى المتتالية. إن الحقن في الكتل الوسطى/المتأخرة فقط يكون غير فعال بسبب الهياكل الراسخة، بينما يؤدي الحقن في الكتل المبكرة فقط إلى تشويه هيكلي. يضمن التأثير التراكمي عبر كتل متعددة إحداث إزاحة موحدة في الدلالات.
• الاستراتيجية الزمنية: بالاستفادة من مسار أخذ العينات لتدفق التصحيح (rectified flow) في MM-DiTs (والذي يتبع مسارات مستقيمة وحتمية)، يتم تطبيق نفس متجه التوجيه المحسوب عند خطوة زمنية متوسطة باستمرار عبر جميع خطوات إزالة الضجيج. يضمن هذا التماسك الزمني ويتجنب الحاجة إلى بناء متجه لكل خطوة زمنية.

المساهمات الرئيسية

1. توجيه دلالي خفيف الوزن: إطار عمل خالٍ من الضبط مصمم خصيصاً لبنى MM-DiT واسعة النطاق، يحقق محواً متحكماً به للمفاهيم أثناء الاستدلال دون تعديل معلمات النموذج.
2. رؤية هيكلية: تستغل المنهجية خصائص محددة لـ MM-DiTs، بما في ذلك التقسيم حسب الكتلة للأدوار التوليدية (تركيز الدلالات في الكتل الوسطى)، والتفاوت المعلوماتي بين الوسائط (استخدام الرموز النصية النادرة)، ومسار أخذ العينات المستقيم لتدفق التصحيح.
3. كفاءة المتجه الواحد: تحقق المنهجية محواً فعالاً باستخدام متجه توجيه واحد يتم حقنه في الكتل الرئيسية، مما يؤدي إلى عبء حوسبي ضئيل.
4. تقييم شامل: أظهرت التجارب المكثفة أداءً يضاهي أحدث ما توصل إليه العلم في محو مفاهيم متنوعة (المشاهب، الأنماط الفنية، العري) مع الحفاظ على جودة الصورة والمتانة.

النتائج التجريبية

تم تقييم المنهجية على Stable Diffusion-v3.5-medium وFLUX.1 عبر ثلاث فئات: المشاهير، النمط الفني، والعري.

• فعالية المحو: تفوقت المنهجية على النماذج المرجعية (بما في ذلك Safe Latent Diffusion، وTraSCE، والمطالبة السلبية، وطرق تعديل النماذج مثل UCE وESD) في مقاييس المحو (GIPHY، وLLaVA، ومصفوفة غرام، وNudeNet). على سبيل المثال، في FLUX.1، حققت درجة GIPHY بلغت 0.014 لمحو المشاهب مقارنة بـ 0.117 لـ UCE و0.433 لـ SLD.
• جودة الصورة: حافظت المنهجية على الجمالية والجودة الإجمالية للصورة، محققة درجات FID منخفضة (مما يشير إلى تأثير ضئيل على توليد الصور غير المرتبطة) ودرجات CLIP تنافسية.
• المتانة: أظهرت المنهقية متانة فائقة ضد أربعة أنواع من الهجمات العدائية (Ring-A-Bell، وMMA-Diffusion، وI2P، وP4D) التي تستهدف العري، محققة أدنى درجات NudeNet بين جميع الطرق المختبرة.
• القدرة على التحكم: على عكس الطرق التي تكتفي بقمع المفاهيم، تسمح هذه المنهجية بـ التوجيه متعدد الأنماط، مما يتيح تحويل المفهوم الممحو إلى نمط آمن محدد من اختيار المستخدم (على سبيل المثال، تحويل "نمط فان جوخ" إلى "رسوم كرتونية" أو "ألوان مائية").

الأهمية والادعاءات

يزعم البحث أن هذا العمل يسد فجوة حرجة في سلامة وقابلية التحكم في نماذج توليد الصور من النصوص من الجيل القادم. ومن خلال نقل النموذج من هندسة المطالبات الخارجية إلى التدخل المباشر في التمثيل الداخلي، تعالج المنهجية قيود الأساليب الحالية الخالية من الضبط في نماذج MM-DiT.

يؤكد المؤلفون أن نهجهم:

• يتجنب التكلفة الحوسبية وعوائق النشر المرتبطة بالضبط الدقيق للنماذج الكبيرة.
• يوفر دفاعاً قوياً ضد الهجمات العدائية التي تتجاوز فلاتر المطالبات.
• يقدم أساساً لأبحاث مستقبلية في التوليد القابل للتحكم، موضحاً أن التحكم الدلالي الدقيق يمكن تحقيقه بتدخل ضئيل (متجه واحد) من خلال فهم الميكانيكا الجوهرية للنموذج.

وتخلص الورقة إلى أن التوجيه الدلالي هو استراتيجية قابلة للتطبيق وفعالة لضمان النشر الآمن لنماذج MM-DiT القوية دون المساس بقدراتها التوليدية.