Z-Erase: Enabling Concept Erasure in Single-Stream Diffusion Transformers

إليك ملخص تقني مفصل لورقة البحث "Z-Erase: تمكين محو المفاهيم في نماذج محولات الانتشار أحادية المسار (Single-Stream Diffusion Transformers)."

1. بيان المشكلة

يشهد مجال توليد الصور من النصوص (T2I) تحولاً سريعاً من البنى ثنائية المسار (مثل Stable Diffusion وFlux) إلى محولات الانتشار أحادية المسار (مثل Z-Image وHunyuanImage-3.0). في هذه النماذج الجديدة، يتم دمج رموز (tokens) النصوص والصور في تسلسل موحد واحد ومعالجتها بواسطة هيكل محول متجانس ببارامترات مشتركة.

بينما يعد محو المفاهيم (إزالة المحتويات غير المرغوب فيها مثل المحتوى الإباحي، أو الكيانات المحمية بحقوق الطقوق، أو التحيزات) أمراً راسخاً في نماذج U-Net والنماذج ثنائية المسار، فإن التطبيق المباشر لطرق المحو الحالية على النماذج أحادية المسار يتسبب في "انهيار التوليد" (Generation Collapse).

• العقبة الجوهرية: في النماذج أحادية المسار، تتشارك معالجة النصوص والصور في أوزان الإسقاط نفسها ($W_Q, W_K, W_V$) ضمن آلية الانتباه الذاتي (self-attention).
• نمط الفشل: إن محاولة ضبط هذه الأوزان المشتركة عبر التعلم الدقيق (fine-tuning) لقمع مفهوم نصي معين تؤدي حتماً إلى تشويه مسار التركيب البصري، مما يؤدي إلى ضجيج كارثي، أو عيوب بصرية شديدة، أو عدم القدرة الكاملة على توليد الصور.
• التحدي الثانوي: حتى لو كان التوليد مستقراً، فإن فضاء الانتباه الموحد يجعل من الصعب للغاية موازنة المقايضة بين محو مفهوم مستهدف والحفاظ على فائدة النموذج للمحتويات غير ذات الصلة.

2. المنهجية: Z-Erase

يقترح المؤلفون Z-Erase، وهو أول إطار عمل لمحو المفاهيم مصمم خصيصاً لنماذج التوليد أحادية المسار. ويتكون من مكونين رئيسيين:

أ. إطار عمل محو المفاهيم المنفصل المسارات (Stream Disentangled)

لمنع انهيار التوليد، قدم المؤلفون تدخلاً هيكلياً يفصل بين تحديثات المعلمات لكل من مساري النص والصورة.

• الآلية: يستخدمون عامل اختيار قائم على الرموز (بوابة ثنائية) يقيد تحديثات التكيف منخفض الرتبة (LoRA) حصرياً للحالات المخفية النصية ($H_{txt}$) مع تجميد الهيكل البصري ($H_{img}$).
• الصياغة الرياضية: بالنسبة لمصفوفة الوزن $W$، يتم تطبيق التحديث كـ $H' = HW + S_T H(\Delta W)$، حيث تقوم $S_T$ بتصفير التحديثات للرموز الصورية.
• النتيجة: يخلق هذا "فضاء تحسين آمناً" حيث لا تؤدي تدرجات المحو إلى اضطراب مسار التركيب البصري المشترك، مما يسمح لأهداف المحو الحالية (مثل التوجيه السلبي) بالعمل دون تدمير جودة الصورة.

ب. التعديل التكيفي للمحو الموجه بـ "لاجرانج" (Lagrangian-Guided Adaptive Erasure Modulation)

داخل الفضاء الآمن، يعالج المؤلفون المقايضة الحساسة بين محو المفهوم المستهدف والحفاظ على المحتويات غير ذات الصلة.

• المشكلة: غالباً ما تؤدي الأوزان الثابتة لخسائر المحو والحفاظ على النتائج إلى نتيجة ثنائية: إما بقاء المفهوم (محو غير كافٍ) أو تدهور جودة الصورة (محو مفرط).
• الحل: يصيغ المؤلفون المشكلة كمسألة تحسين مقيد. الهدف هو تعظيم هبوط خسارة المحو ($L_{er}$) مع تقييد زيادة خسارة الحفاظ ($L_{pr}$) لتبقى ضمن حد سماح صارم $\epsilon$.
• الخوارزمية:
  • يشتق المؤلفون مسألة لاجرانج المزدوجة لإيجاد وزن ديناميكي $\lambda_t$.
  • بدلاً من الحسابات المكلفة من الدرجة الثانية، يستخدمون تقريب تايلور من الدرجة الأولى لتحديث $\lambda_t$ بناءً على التغير في خسارة الحفاظ بين الخطوات.
  • قاعدة التحديث: إذا زادت خسارة الحفاظ بشكل كبير، يزد de $\lambda$، مما يجبر اتجاه التحديث على إعطاء الأولوية للحفاظ. وإذا كان الحفاظ مستقراً، يتناقص $\lambda$، مما يسمح بمحو هجومي.
• الضمان النظري: تقدم الورقة برهاناً دقيقاً على أن هذه الخوارزمية تتقارب نحو نقطة استقرار باريتو (Pareto stationary point)، مما يضمن توازناً مبدئياً بين السلامة والفائدة.

3. المساهمات الرئيسية

1. تحديد التشابك الهيكلي: تحدد الورقة أن انهيار التوليد في النماذج أحادية المسار ينبع من أوزان الإسقاط المشتركة، وتثبت أن الضبط الدقيق الساذج أو قناع الانتباه البسيط (تصفير الأعمدة) هو أمر هش وغير فعال.
2. إطار العمل المنفصل المسارات: تدخل هيكلي مبتكر يعزل التحديثات النصية عن التركيب البصري، مما يسمح بتطبيق طرق المحو على البنى أحادية المسار لأول مرة.
3. خوارزمية التعديل التكيفي: خوارزمية ديناميكية موجهة بـ "لاجرانج" توازن تلقائياً بين قوة المحو وبين الحفاظ على الفائدة، مدعومة بتحليل التقارب لنقطة استقرار باريتو.
4. التحديد على مستوى الرموز (Token-Level Localization): يوضح المؤلفون أن خرائط الانتباه في النماذج أحادية المسار تسمح بتحديد دقيق للمفاهيم على مستوى الرموز، وهو ما يُستغل لتحسين هدف المحو.

4. النتائج التجريبية

تم تقييم الطريقة على Z-Image Turbo و HunyuanImage-3.0 عبر عدة اختبارات مرجعية:

• محو المحتوى الإباحي (العري والعنف):
  • حقق Z-Erase أدنى معدلات اكتشاف للعري والعنف بين جميع الطرق المختبرة (متفوقاً على UCE و ESD و EraseAnything).
  • والأهم من ذلك، حافظ على أداء رائد (SOTA) في مقاييس FID و CLIP على مطالبات MS-COCO القياسية، مما يثبت أنه لا يقلل من جودة الصورة العامة، بينما عانت المنافسة مثل UCE من انخفاض كبير في الجودة.
• محو المشاهير والهوية:
  • في مجموعة بيانات CelebA، حقق Z-Erase أعلى درجة توازن ($H_a$)، حيث محا الهويات المستهدفة بفعالية مع الحفاظ على القدرة على توليد وجوه أخرى.
• مفاهيم متنوعة:
  • نجح في محو فئات متنوعة بما في ذلك الكيانات (مثل "كنيسة")، الأنماط الفنية (مثل "فان جوخ")، والمفاهيم المجردة (مثل "الأخضر"، "الزمن").
• المتانة:
  • أظهر Z-Erase متانة فائقة ضد هجمات المطالبات العدائية (مثل Ring-A-Bell و ReFlux) مقارنة بطرق تصفير الرموز أو الضبط الدقيق الثابت.
• دراسة المستخدمين:
  • في تقييم بشري شمل 30 مشاركاً، حصل Z-Erase على أعلى التقييمات عبر خمسة أبعاد: الالتزام بالمطالبة، نظافة المحو، الحفاظ على العناصر غير ذات الصلة، جودة الصورة، وتنوع المخرجات.

5. الأهمية والأثر

• سد فجوة السلامة: مع تحول المحولات أحادية المسار إلى المعيار الجديد للنماذج التأسيسية نظراً لكفاءتها وجودتها، يوفر Z-Erase أول آلية سلامة قابلة للتطبيق للتحكم فيها. وبدون ذلك، ستكون هذه النماذج القوية غير قابلة للاستخدام في البيئات المنظمة بسبب عدم القدرة على إزالة المفاهيم الضارة.
• الذكاء الاصطناعي المسؤول: يُمكّن هذا العمل من نشر نماذج توليدية تحترم حقوق الطبع والنشر، والخصوصية، وإرشادات السلامة دون التضحية بالقدرات التوليدية التي تجعل هذه النماذج قيمة.
• التقدم النظري: تساهم الورقة في نظرية التحسين متعدد الأهداف في التعلم العميق من خلال تقديم خوارزمية عملية ومتقاربة لموازنة الأهداف المتعارضة في البنى العصبية شديدة التشابك.

باختالام، يحل Z-Erase مشكلة "انهيار التوليد" الحرجة في نماذج الانتشار أحادية المسار من خلال الفصل الهيكلي، ويقدم خوارزمية تكيفية مدعومة رياضياً لضمان أن محاذاة السلامة لا تأتي على حساب فائدة النموذج.