💻 computer science

Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models

تقترح الورقة البحثية إطار عمل "محو المفاهيم الموضعي المدرك للجوار" (NLCE)، وهو إطار عمل لا يتطلب تدريباً يعمل بفعالية على إزالة المفاهيم المستهدفة من نماذج الانتشار من نص إلى صورة مع الحفاظ على المفاهيم المجاورة ذات الصلة دلالياً من خلال تعديل التضمين الموزون طيفياً والبوابة المكانية الموجهة بالانتباه.

المؤلفون الأصليون: Zhuan Shi, Alireza Dehghanpour Farashah, Rik de Vries, Golnoosh Farnadi

نُشر 2026-03-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuan Shi, Alireza Dehghanpour Farashah, Rik de Vries, Golnoosh Farnadi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك آلة فنية سحرية (ذكاء اصطناعي لتحويل النص إلى صورة) يمكنها رسم أي شيء تصفه. تطلب منها رسم "تشيواوا"، فتقوم برسمه. لكنك تدرك أنك لا تريد للآلة أن ترسم "التشيواوا" مرة أخرى أبداً بسبب قضية حقوق ملكية أو تفضيل شخصي. تريد أن "تعلم" الآلة كيف تنسى هذا النوع المحدد من الكلاب.

المشكلة؟ إذا قلت للآلة فقط "انسِ التشيواوا"، فقد تصاب بالارتباك وتبدأ في نسيان كل الكلاب الصغيرة، أو حتى تغير طريقة رسمها للقطط، لأن كل هذه المفاهيم متشابكة في عقل الآلة مثل كرة خيوط متشابكة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى NLCE (محو المفاهيم الموضعي المدرك للجيران). فكر في الأمر كأنه مشرط جراحي بدلاً من مطرقة ثقيلة.

إليك كيف تعمل، مقسمة إلى خطوات بسيطة مع تشبيهات:

المشكلة: تأثير "المطرقة الثقيلة"

كانت الطرق السابقة تشبه استخدام مطرقة ثقيلة لإزالة بلاطة محددة من لوحة فسيفساء. أنت تضرب بلاطة "التشيواوا"، لكن الاهتزاز يتسبب في تشقق بلاطات "البوميرانيان" و"التيرير" المجاورة لها. تنسى الآلة الهدف، لكنها تفسد أيضاً قدرتها على رسم أشياء مماثلة.

الحل: جراحة NLCE المكونة من ثلاث مراحل

تقترح المؤلفة عملية مكونة من ثلاث مراحل لإزالة المفهوم غير المرغوب فيه مع الحفاظ على سلامة مفاهيم "الجيران".

المرحلة 1: "المرشح الدلالي" (ضبط الدماغ)

التشبيه: تخيل أن عقل الذكاء الاصطناوي عبارة عن مكتبة حيث يتم تنظيم الكتب حسب الموضوع. "التشيواوا" و"البوميرانيان" يجلسان على نفس الرف، بالقرب من بعضهما البعض.
ماذا يفعل NLCE: بدلاً من حرق الرف بأكمله، فإنه يستخدم "مرشحاً طيفياً" خاصاً. إنه يخفت الأضواء بلطف في قسم "التشيواوا" بحيث لا تعود الآلة قادرة على رؤيته بوضوح بعد الآن.
خدعة الجيران: من الضروري جداً، أنه يقوم في الوقت نفسه برفع الأضواء في قسم "البوميرانيان" لضمان بقاء هذا المفهوم ساطعاً وواضحاً. الأمر يشبه قولك لأمين المكتبة: "أخفِ كتب التشيواوا، ولكن تأكد من أن كتب البوميرانيان سهلة الإيجاد بشكل إضافي".

المرحلة 2: "بقعة الضوء" (البحث عن البقايا)

التشبيه: حتى بعد خفض الأضواء، قد يظل هناك ظل باهت للتشيواوا عالقاً في عملية رسم الآلة.
ماذا يفعل NLCE: يقوم بعملية "تجربة تشغيل" سريعة لعملية الرسم ليرى بالضبط أين في الصورة لا تزال الآلة تفكر في "التشيواوا". إنه ينشئ "خريطة حرارية" أو بقعة ضوء تسلط الضوء فقط على البكسلات المحددة حيث يختبئ المفهوم غير المرغوب فيه.
لماذا هذا مهم: إنه لا يمسح الصورة بأكملها؛ بل يركز فقط على البقع المحددة حيث يظهر "شبح" التشيواوا.

المرحلة 3: "المنظف" (التنظيف النهائي)

التشبيه: تخيل أنك سكبت القهوة على مفرش طاولة أبيض. أنت لا ترمي المفرش بأكمله، بل تقوم فقط بفرك البقعة.
ماذا يفعل NLCE: بمجرد أن تجد "بقعة الضوء" (المرحلة 2) البقعة، يأتي "المنظف" (المرحلة 3) ويقوم بمسح تلك البكسلات المحددة بقوة. إنه يضمن اختفاء التشيواوا تماماً من تلك البقع، لكنه يترك بقية المفرش (الخلفية، الكلاب الأخرى، المناظر الطبيعية) دون مساس تماماً.

لماذا يعد هذا أمراً كبيراً؟

الدقة: إنه لا يحذف مفهوماً فحسب؛ بل يحذفه موضعياً. إذا طلبت صورة لـ "تشيواوا وكلب جولدن ريتريفر"، فإن NLCE يزيل التشيواوا ولكنه يترك الكلب الذهبي يبدو مثالياً. الطرق القديمة قد تجعل الكلب الذهبي يبدو غريباً أو تمسحه أيضاً.
لا حاجة لإعادة التدريب: لا تحتاج لقضاء أسابيع في إعادة تعليم الذكاء الاصطناعي من الصفر. تعمل هذه الطريقة فوراً أثناء رسم الذكاء الاصطناعي، مثل مرشح ذكي يتم تطبيقه في الوقت الفعلي.
السلامة والفن: هذا مفيد لإزالة أساليب الفنانين المحميين بحقوق النشر، أو حظر المحتوى الصريح، أو منع الذكاء الاصطناعي من توليد صور لمشاهير محددين، كل ذلك دون إفساد قدرة الذكاء الاصطناي على رسم أشياء أخرى.

الخلاصة

فكر في NLCE كأنه محرر ماهر يعرف بالضبط الكلمة التي يجب حذفها من جملة دون تغيير قواعد أو معنى الكلمات المحيطة بها. إنه يسمح لنا بـ "إلغاء تعلم" أشياء محددة من نماذج الذكاء الاصطناعي بأمان دون كسر بقية معارفها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعرف على الجار في محو المفاهيم الموضعي في نماذج الانتشار من النص إلى الصورة" (NLCE).

1. بيان المشكلة

تنطوي نماذج الانتشار من النص إلى الصورة (T2I)، المدربة على مجموعات بيانات ضخمة غير منقحة، على مخاطر مثل توليد محتوى ضار، أو إعادة إنتاج أعمال محمية بحقوق الطبع والنشر، أو محاكاة أنماط فنية معينة. يهدف محو المفاهيم (Concept Erasure) إلى إزالة هذه المفاهيم البصرية المحددة من القدرة التوليدية للنموذج دون الحاجة لإعادة التدريب.

بينما يحاول المحو الموضعي للمفاهيم (مثل GLoCE) قصر التعديلات على المنطقة المكانية التي يظهر فيها المفهوم للحفاظ على بقية الصورة، حدد المؤلفون نمط فشل حرج وهو: "فجوة الجار" (Neighbor Gap).

المشكلة: إن قمع مفهوم مستهدف (مثل سلالة كلب معينة) غالبًا ما يؤدي دون قصد إلى إضعاف أو تدهور توليد المفاهيم المجاورة دلاليًا (مثل سلالات الكلاب الأخرى المشابهة).
القصور: تفتقر الطرق الموضعية الحالية الخالية من التدريب إلى آليات للتمييز صراحةً بين المفهوم المستهدف وجيرانه الدلاليين، مما يؤدي إلى "أضرار جانبية" في المجالات دقيقة التفاصيل.

2. المنهجية: التعرف على الجار في محو المفاهيم الموضعي (NLCE)

إن NLCE عبارة عن مسار عمل مكون من ثلاث مراحل خالٍ من التدريب، مصمم لمحو المفاهيم المستهدفة مع الحفاظ بنشاط على البنية الدلالية للمفاهيم المجاورة. وهو يعمل بالكامل أثناء عملية الاستنتاج (Inference).

المرحلة الأولى: تعديل فضاء التمثيل (Representation-Space Modulation)

تعمل هذه المرحلة على مستوى الرمز (Token) لقمع الفضاء الجزئي المستهدف مع تعزيز دلالات الجيران.

تحديد الفضاء الجزئي المستهدف: يستخدم المؤلفون تفكيك القيم المفردة (SVD) على تضمينات رموز المفهوم المستهدف ( $F_c$ ) لبناء أساس متعامد منخفض الرتبة ( $U_{F_c}$ ).
الوزن الطيفي (Spectral Weighting): تقوم آلية التوسع الطيفي بتعديل المتجهات المفردة بناءً على أهميتها، مما ينشئ مؤثر إسقاط ( $P_{F_c}$ ) يخمد الاتجاه المستهدف.
تنقيب وإعادة حقن الجيران:
- يتم استرجاع الجيران ( $N_c$ ) من مستودع خاري (مثل ويكيبيديا) باستخدام تشابه جيب التمام (Cosine Similarity)، مع تصفيتهم حسب درجة الواقعية والشعبية، وإعادة ترتيبهم حسب تشابه CLIP البصري.
- يتم إنشاء مؤثر إسقاط للجار ( $P_{N_c}$ ) بشكل مشابه للمستهدف.
- المؤثر النهائي: تجمع الطريقة بين هذه العناصر لتشكيل مؤثر تعديل: $P_c = (I - \beta P_{F_c}) + \gamma P_{N_c}P_{F_c}$ . هذا يعمل على قمع الهدف مع إعادة حقن معلومات الجار في الفضاء الكامن.
التنفيذ: يتم تطبيق هذا المؤثر عالميًا على مصفوفات إسقاط المفتاح (Key) والقيمة (Value) في طبقات الانتباه المتقاطع (Cross-attention) لشبكة UNet.

المرحلة الثانية: البوابة المكانية الموجهة بالانتباه (Attention-Guided Spatial Gating)

حتى بعد تعديل التمثيل، قد تستمر تنشيطات المفهوم المتبقية في تدفق الانتباه. تعمل هذه المرحلة على تحديد موقعها وقمعها.

آلية المسارين:
1. المسار الأول (التشغيل التجريبي): يقوم النموذج بتشغيل تمريرة أمامية (Forward pass) باستخدام التضمينات المعدلة. يتم استخراج خرائط الانتباه من طبقة DownBlock-2 في UNet.
2. كشف المتبقيات: يتم تحديد الرموز ذات التنشيط العالي في الفضاء الجزئي الممحو كـ "رموز حية" (Live tokens).
3. بناء البوابة: يتم إنشاء خريطة بوابة مكانية ( $G_t$ ) عن طريق جمع خرائط الانتباه لهذه الرموز الحية. هذا يبرز البكسلات حيث لا يزال المفهوم الممحو "يتسرب".
4. المسار الثاني (القمع): يقوم النموذج بتشغيل مسار ثانٍ. يتم قمع أوزان الانتباه للرموز الحية فقط في المناطق المكانية التي حددتها خريطة البوابة ( $G_t$ )، مما يترك المناطق غير المتأثرة سليمة.

المرحلة الثالثة: تنظيف الميزات المبوّبة (Gated Feature Clean-up)

لضمان الإزالة غير القابلة للعكس لأي آثار متبقية، يتم تطبيق محو صارم.

توليد القناع: يتم رفع دقة البوابة المكانية من المرحلة الثانية وتطبيق عتبة (Threshold) لإنشاء قناع ثنائي.
المحو الصارم: في طبقات UNet النهائية، يتم ضبط الميزات الكامنة داخل المناطق المقنعة لتصبح صفرًا ( $h_t \leftarrow \mathbf{0}$ ). هذا يضمن إزالة أي إشارات مستهدفة متبقية فيزيائيًا من عملية التوليد دون التأثير على المناطق غير المستهدفة.

3. المساهمات الرئيسية

تحديد فجوة الجار: تحدد الورقة البحثية وتثبت رسميًا أن طرق المحو الموضعي غالبًا ما تؤدي إلى تدهور المفاهيم المرتبطة دلاليًا، وهي مشكلة تم التغاضي عنها سابقًا في الأساليب الخالية من التدريب.
إطار عمل NLCE: مسار عمل مبتكر وخالٍ من التدريب يدمج تعديل التمثيل الطيفي، والبوابة المكانية الموجهة بالانتباه، والتنظيف الصارم للميزات. إنه أول من قام بنمذجة وحماية "جوار" المفهوم صراحةً أثناء عملية المحو.
دعم متعدد المفاهيم معياري: يمتد إطار العمل بشكل طبيعي لمحو مفاهيم متعددة في وقت واحد عن طريق تركيب مؤثرات الإسقاط، مما يتجنب التداخل بين المفاهيم.

4. النتائج التجريبية

قيم المؤلفون NLCE عبر أربع اختبارات مرجعية متميزة:

مجموعات البيانات دقيقة التفاصيل (Oxford Flowers, Stanford Dogs):
- المقياس: دقة الهدف ( $A_{ct}$ )، دقة الاحتفاظ ( $A_{cr}$ )، والمتوسط التوافقي ( $H_o$ ).
- النتيجة: حقق NLCE أعلى $H_o$ و $A_{cr}$ بين جميع النماذج المرجعية (بما في ذلك MACE و GLoCE و RECE). لقد نجح في محو سلالات الكلاب/الزهور المحددة مع الحفاظ على جودة توليد عالية للسلالات/الزهور المشابهة بصريًا، بينما أظهرت المنافسة مثل GLoCE تدهورًا كبيرًا في الجيران.
محو هوية المشاهير:
- النتيجة: تفوق NLCE على النماذج المرجعية في إزالة شخصية مشهورة من صورة تضم عدة أشخاص مع الحفاظ على هوية الشخص غير المستهدف. حقق انخفاضًا في LPIPS (الاختلاف الإدراكي) في المناطق غير المستهدفة مقارنة بـ GLoCE و SLD.
المحتوى الصريح (اختبار I2P):
- النتيجة: قلل NLCE بشكل كبير من اكتشاف المحتوى العاري/الصريح (مقاسًا بواسطة NudeNet) مع الحفاظ على درجات CLIP عالية (المحاذاة بين النص والصورة) للمطالبات الآمنة، متفوقًا على الطرق التي إما فشلت في المحو أو أدت إلى تدهور جودة الصورة العامة.
محو النمط الفني:
- النتيجة: أزال NLCE بفعالية أنماطًا مثل "فان جوخ" أو "كيلي ميركنان" مع الحفاظ على القدرة على توليد أعمال بأنماط أخرى (مثل "بيكاسو")، مما أظهر تعميمًا قويًا.
الكفاءة:
- NLCE خالٍ من التدريب. ورغم أنه يتضمن عبئًا طفيفًا بسبب استرجاع الجيران وتنفيذ UNet بمسارين (~530 ثانية لـ 10 مفاهيم)، إلا أنه أسرع بكثير من الطرق القائمة على التدريب (مثل SPM التي تستغرق ~6951 ثانية).

5. الأهمية

السلامة والامتثال: يوفر NLCE حلاً عمليًا وفعالًا لنشر نماذج T2I في البيئات المنظمة حيث يجب إزالة مفاهيم معينة (فنانين محميين بحقوق الطبع والنشر، محتوى صريح، هويات خاصة) دون إعادة تدريب النموذج بالكامل.
الدقة الدلالية: من خلال معالجة "فجوة الجار"، يطور NLCE أحدث ما توصل إليه العلم في التحكم دقيق التفاصيل. فهو يثبت أن المحو لا يجب أن يكون أداة فجة تدمر الفروق الدلالية؛ بل يمكن أن يكون دقيقًا بما يكافي لإزالة كيان محدد مع الحفاظ على عائلته الدلالية.
القابلية للتوسع: كونه طريقة خالية من التدريب، فإنه يقدم بديلًا قابلًا للتوسع للضبط الدقيق (Fine-tuning)، مما يجعله متاحًا للنشر السريع والتكيف مع متطلبات المحو الجديدة.

في الختلاص، يسد NLCE الفجوة بين قمع المفاهيم العالمي والتحرير الموضعي، ويقدم إطار عمل قويًا يوازن بين اكتمال المحو والأمان الدلالي للمفاهيم المجاورة.