OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure

1. بيان المشكلة

تعد نماذج تحويل النص إلى صورة (T2I)، مثل Stable Diffusion، عرضة للاستحثاث العدائي (adversarial induction)، مما يؤدي إلى توليد محتوى ضار (مثل العري أو العنف). تهدف طرق مسح المفاهيم الحالية عادةً إلى كبح المفاهيم الحساسة من خلال تحديد وتصفير عصبونات أو سمات معينة. ومع ذلك، تعاني هذه الطرق من الأضرار الجانبية (collateral damage):

• تشابك السمات (Feature Entanglement): غالبًا ما تتشارك المفاهيم الحساسة والسمات الدلالية الحميدة (الآمنة) في فضاءات تنشيط فرعية داخل الشبكات العصبية العميقة. فهي ليست معزولة مكانياً، بل هي متراكبة بشكل غير متعامد.
• تدهور المتشعب (Manifold Degradation): يؤدي الكبح الساذج للعصبونات الحساسة دون قصد إلى تشويه "المتشعب الحميد" (benign manifold)، مما يغير السمات غير المرتبطة (مثل تغيير هوية الوجه، أو الخلفية، أو الإضاءة) ويؤدي إلى تدهور جودة التوليد الإجمالية.
• محدودية النهج الحالية: تفشل أساليب مثل ESD (مسح المفاهقات من الانتشار) أو UCE (تحرير المفهوم الموحد) غالباً في فصل المتجهات الحساسة عن الفضاء المماسي للسمات الآمنة، مما يؤدي إلى تسرب الإشارة والانزياح الدلالي.

2. المنهجية: OrthoEraser

يعيد OrthoEraser صياغة مسح المفاهيم كـ مشكلة إسقاط هندسي ضمن فضاء سمات منفصل. وهو يعمل عبر إطار عمل ثلاثي المراحل:

أ. كشف العصبونات الحساسة (عبر المشفرات التلقائية المتفرقة - SAEs)

بدلاً من العمل على التنشيطات الكثيفة، يستخدم OrthoEraser المشفرات التلقائية المتفرقة (SAE) لتفكيك التنشيطات متعددة المعاني الكثيفة إلى أساس عالي الأبعاد ومتفرق من السمات أحادية المعنى.

• اختيار الطبقة: يقوم بحساب درجة الحساسية (SS) بناءً على تباعد الانتباه بين رموز المعدلات الحساسة ورموز الكيانات المستهدفة لتحديد الطبقة المثلى ($l^*$) للتدخل.
• تحديد العصبون: داخل الطبقة المستهدفة، يحسب درجة التكرار الموزونة (WFS) لعصبونات الـ SAE. يتم تحديد العصبونات ذات أعلى تباين في التنشيط بين المطالبات الحساسة وغير الحساسة كـ مجموعة العصبونات الحساسة ($N_{sens}$).

ب. كشف العصبونات المقترنة

لمنع الضرر الجانبي، يحدد الأسلوب العصبونات المقترنة ($C$)—وهي سمات حميدة متشابكة بنيوياً مع السمات الحساسة.

• تحليل الاستئصال الصفري (Zero-Ablation Analysis): يقوم النظام مؤقتاً بإزالة مساهمة $N_{sens}$ من الحالة الكامنة وإعادة ترميزها.
• قياس الإزاحة: يقيس إزاحة التنشيط ($\delta_j$) للعصبونات المتبقية. تُحدد العصبونات الحميدة التي تظهر إزاحات كبيرة على أنها "مقترنة" لأنها تعتمد على الفضاء الفرعي الذي تمت إزالته بواسطة العصبونات الحساسة. وهذه تشكل مجموعة العصبونات المقترنة ($C$).

ج. التعامد التدرجي (الابتكار الجوهري)

بدلاً من قمع $N_{sens}$ بشكل أعمى، يقوم OrthoEraser بإجراء إسقاط متعامد تحليلي:

1. الفضاء الفرعي المحمي: تحدد أوزان فك التشفير للعصبونات المقترنة ($W_C$) فضاءً فرعياً محمياً. يتم حساب أساس متعامد $Q$ عبر تحليل QR ($W_C = QR$).
2. مصفوفة الإسقاط: يتم إنشاء مصفوفة إسقاط $P = QQ^\top$ لتمثيل المتشعب الحميد.
3. إسقاط الفضاء الصفري (Null Space Projection): يتم إسقاط الاتجاه الحساس الخام ($d_{raw}$)، المستمد من مجموع تنشيطات العصبونات الحساسة، على الفضاء الصفري لـ $P$.
   $$d^* = (I - P)d_{raw}$$
   هذه العملية تقطع رياضياً مكون المتجه الحساس الذي يتداخل مع الفضاء الفرعي الآمن، تاركة فقط اتجاه الحساس "النقي" المتعامد مع السمات الآمنة.
4. التدخل: يتم الحصول على الحالة الكامنة الآمنة النهائية ($\tilde{h}$) عن طريق طرح هذا المتجه المتعامد:
   $$\tilde{h} = h - \lambda d^*$$
   يضمن هذا أن إسقاط الحالة المعدلة على الفضاء الفرعي الحميد يظل ثابتاً.

3. المساهمات الرئيسية

• إعادة التفسير الهندسي: يقترح البحث أن مسح المفاهيم يجب أن يُنظر إليه كإسقاط متجهات التدخل على الفضاء الصفري للسمات الحميدة المحمية، بدلاً من مجرد قمع العصبونات.
• التفكيك القائم على SAE: يستفيد من المشفرات التلقائية المتفرقة (SAEs) لتحقيق تفكيك عالٍ الدقة للسمات، مما يسمح بالفصل الدقيق بين الوحدات الدلالية الحساسة والحميدة.
• كشف العصبونات المقترنة: آلية مبتكرة لتحديد السمات الحميدة المعرضة للتداخل، مما يسمح ببناء فضاء فرعي حماية ديناميكي.
• التعامد التحليلي: حل رياضي مغلق (مشتق عبر مضاعفات لاجرانج) يضمن أن التدخل لا يزعج الفضاء الخطي للسمات الحميدة الحرجة.

4. النتائج التجريبية

تم تقييم الطريقة على Stable Diffusion 1.4، و FLUX.1 Dev، و Show-o2، باستخدام مجموعات بيانات مثل I2P (السلامة)، و MS COCO (الدقة)، والاختبارات العدائية (Ring-A-Bell، P4D).

• دقة المسح: حقق OrthoEraser مستويات سلامة هي الأفضل في فئتها (SOTA). في مجموعة بيانات I2P، رصد 5 حالات فقط من العري (مقارنة بـ 646 في النموذج الأساسي و17 في أفضل طريقة سابقة SNCE). كما حقق رصداً يقترب من الصفر في فئات مثل "الثدي (ذكر/أنثى)" و"الأرداف".
• الحفاظ على الدقة (Fidelity): على عكس النماذج المرجعية التي تسبب تدهوراً في جودة الصور، حافظ OrthoEraser على سلامة المتشعب التوليدي.
  • درجة FID: حقق 1.15 (أفضل بمقدار عشرة أضعاف من أفضل طريقة تالية بلغت 16.64)، مما يشير إلى أدنى حد من انزياح التوزيع.
  • درجة CLIP: حافظ على درجة 31.33، وهي مطابقة تقريباً للنموذج الأصلي (31.34)، مما يثبت الحفاظ على التوافق الدلالي.
• القوة العدائية: قللت الطريقة بشكل كبير من معدلات نجاح الهجوم (ASR) في مجموعات البيانات العدائية، حيث انخفضت من 98.7% إلى 2.7% في اختبار Ring-A-Bell.
• التعميم: نجح النهج في التعميم على مسح العنف وبنيات نماذج مختلفة (FLUX، Show-o2) مع تأثير ضئيل على المنفعة العامة.

5. الأهمية

يعالج OrthoEraser المقايضة الأساسية بين السلامة والمنفعة في الذكاء الاصطنا دولار التوليدي. ومن خلال التعامل مع تشابك السمات كمشكلة هندسية وحلها عبر الإسقاط المتعامد التحليلي، فإنه يثبت إمكانية إزالة المفاهيم الحساسة دون تدمير القدرات العامة للنموذج.

• الصرامة النظرية: يوفر تبريراً رياضياً مغلقاً لسبب تفوق الإسقاط المتعامد على القمع التجريبي.
• الأثر العملي: يوفر حلاً خفيف الوزن وقت الاستدلال (بأقل تأثير على زمن التأخير) يمكن تطبيقه على نماذج T2I متنوعة دون الحاجة لإعادة التدريب، مما يجعله حلاً قابلاً للتطبيق لنشر نماذج توليدية آمنة في تطبيقات العالم الحقيقي.
• الاتجاه المستقبلي: يسلط البحث الضوء على أنه بينما تواجه SAEs الحالية قيوداً في التقاط المفاهيم شديدة التجريد، فإن الإطار العام غير مرتبط ببنية معينة وسوف يتحسن مع زيادة دقة الـ SAE وسعة القواميس.