💻 computer science

Projected Gradient Unlearning for Text-to-Image Diffusion Models: Defending Against Concept Revival Attacks

تقدم هذه الورقة تقنية "إسقاط التدرج غير المتعلم" (Projected Gradient Unlearning - PGU) لنماذج الانتشار من النص إلى الصورة، وهي تقنية تقوية لاحقة تقوم بإسقاط تحديثات التدرج في المتمم المتعامد لتنشيطات المفاهيم المراد الاحتفاظ بها لمنع استعادة المفاهيم بفعالية أثناء عمليات الضبط الدقيق اللاحقة، مع تقليل التكاليف الحسابية بشكل كبير مقارنة بالطرق الحالية.

المؤلفون الأصليون: Aljalila Aladawi, Mohammed Talha Alam, Fakhri Karray

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aljalila Aladawi, Mohammed Talha Alam, Fakhri Karray

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً فائق الذكاء (ذكاء اصطناعي) تعلم رسم كل شيء في العالم. ولكن، لأسباب قانونية أو أخلاقية، تحتاج إلى جعل الفنان "ينسى" كيفية رسم أشياء محددة، مثل أسلوب فنان مشهور (فان جوخ) أو جسم معين (كرة جولف).

تستخدم "ممحاة" خاصة لمسح هذه المعرفة. ولكن تكمن المشكلة في أنه إذا طلبت من الفنان لاحقاً تعلم شيء جديد (ضبط دقيق/fine-tuning)، فإن المعرفة القديمة التي مُسحت ستظهر فجأة من جديد. الأمر يشبه محاولة "إلغاء خبز الكعكة"؛ إذا أضفت مكونات جديدة، فقد يظهر الدقيق القديم مجدداً في الخليط.

تقدم هذه الورقة البحثية دفاعاً جديداً يسمى "تدرج الإسقاط للنسيان" (Projected Gradient Unlearning - PGU) لمنع هذا "الاسترجاع المفاهيمي". وإليك كيف يعمل، مشروحاً ببساطة:

1. المشكلة: "الشبح في الآلة"

تخيل الذكاء الاصطناعي كمكتبة ضخمة من الأفكار. عندما تخبره أن "ينسى" فان جوخ، فإنه يحاول إزالة الكتب المتعلقة بفان جوخ. ومع ذلك، فإن المكتبة فوضوية؛ فالكتب المتعلقة بفان جوخ مختلطة بكتب عن "الرسم"، و"الألوان"، و"الفن".

إذا طلبت من الذكاء الاصطناعي لاحقاً التعلم عن "الفن الحديث"، فسيعيد اكتشاف كتب فان جوخ بالخطيد لأنها كانت لا تزال مختبئة في قسم "الرسم". وهذا ما يسمى "استرجاع المفهوم" (Concept Revival).

2. الحل: "الفضاء الحارس" (PGU)

يقترح المؤلفون حيلة ذكية. بدلاً من مجرد محاولة مسح الأشياء السيئة مرة أخرى، يقومون ببناء "حارس أمن" يقف بين الذكاء الاصطناعي وأي تعلم جديد.

إليك التشبيه:

مفاهيم "الاحتفاظ" (Retain Concepts): تخيل أنك تريد حماية قدرة الذكاء الاصطناعي على رسم "الغروب" (وهو أمر جيد). ستختار بعض الأمثلة لغروب الشمس التي تشبه بصرياً الشيء الذي تريد مسحه (على سبيل المثال، إذا كنت تريد مسح "فان جوخ"، ستختار "الغروب" لأن كلاهما يتشاركان في ضربات الفرشاة والألوان).
"فضاء التدرج الجوهري" (Core Gradient Space - CGS): ينظر الذكاء الاصطناعي إلى كيفية معالجته لهذه "الغروبات" ويرسم "منطقة آمنة" محددة في دماغه. تحتوي هذه المنطقة على جميع الاتجاهات التي يحتاجها الذكاء الاصطناعي ليستمر في رسم الغروب بشكل صحيح.
"الإسقاط" (الخطوة السحرية): الآن، عندما يحاول الذكاء الاصطناعي تعلم شيء جديد (مثل "الفن الحديث")، يقوم حارس الأمن بفحص الدرس الجديد.
- إذا حاول الدرس الجديد تحريك الذكاء الاصطناعي في اتجاه قد يعيد "فان جوخ" بالخطأ، فإن الحارس يمنعه.
- يجبر الحارس الذكاء الاصطناعي على التعلم فقط في الاتجاهات التي تكون متعامدة تماماً (بزاوية 9ة0 درجة) مع مسار "فان جوخ".
- النتيجة: يتعلم الذكاء الاصطناعي الشيء الجديد بشكل مثالي، ولكن من المستحيل مادياً أن يعيد تعلم المفهوم الممسوح بالخطأ. الأمر يشبه محاولة المشي باتجاه الشمال بينما أنت مجبر على التحرك شرقاً فقط؛ لن تتمكن أبداً من العودة إلى مسار الشمال.

3. لماذا "البصري" أهم من "المعنوي"

اكتشف الباحثون شيئاً مفاجئاً حول كيفية اختيار "المنطقة الآمنة" (مفاهيم الاحتفاظ).

الطريقة الخاطئة (الدلالية/المعنوية): إذا أردت مسح "كرات الجولف"، قد تفكر: "سأحتفظ بـ 'كرات التنس' لأن كلتيهما كرات رياضية".
- لماذا تفشل: بالنسبة للذكاء الاصطناعي، تبدو كرة التنس وكرة الجولف مختلفتين تماماً (واحدة وبرية وصفراء، والأخرى بيضاء ومنقرة). إنهما تعيشان في أجزاء مختلفة من دماغ الذكاء الاصطناعي.
الطريقة الصحيحة (البصرية): يجب أن تختار أشياء تشبهها، مثل "الكرات الزجاجية (الماربلز)"، أو "البيض"، أو "اللؤلؤ".
- لماذا تنجح: هذه الأشياء كلها مستديرة، بيضاء، وناعمة. إنها تُنشط نفس خلايا "الشكل" و"الملمس" في الذكاء الاصطناعي. ومن خلال حماية هذه الأشياء، فإنك تبني جداراً يغطي أيضاً خلايا "كرة الجولف".

التشبيه: إذا أردت منع نوع معين من اللصوص (كرة الجولف)، فأنت لا تحرس باب "الرياضة"، بل تحرس باب "المستدير والأبيض"، لأن هذا هو المكان الذي يعيش فيه اللص فعلياً.

4. السرعة والكفاءة

تقارن الورقة طريقتها بطريقة دفاعية عالية التقنية أخرى تسمى "التعلم من أجل النسيان الميتافيزيقي" (Meta-Unlearning).

التعلم الميتافيزيقي (Meta-Unlearning): يشبه استئجار فريق من الهكرز لمحاكاة كل طريقة ممكنة قد يحاول بها شخص ما استرجاع المفهوم الممسوح قبل أن تبدأ حتى. إنه دقيق للغاية ولكنه يستغرق ساعتين ويتطلب حواسيب فائقة القدرة.
PGU: يشبه تركيب قفل ذكي يمنع تلقائياً أي حركات مشبوهة. يستغرق 6 دقائق فقط ويعمل على جهاز كمبيوتر عادي.

5. متى يعمل بشكل أفضل؟

وجدت الورقة أن الأداة الأفضل تعتمد على ما الذي تقوم بمسحه:

للأساليب (مثل فان جوخ): يعد PGU بطلاً خارقاً. الأساليب منتشرة عبر دماغ الذكاء الاصطناعي (مثل وصفة معقدة). يقوم "حارس" PGU بصد جميع المسارات التي قد تعيد الأسلوب.
للأجسام (مثل كرات الجولف): يعد PGU جيداً جداً، لكنه ليس مثالياً. الأجسام تُخزن في مكان محدد ومضغوط في دماغ الذكاء الاصطناعي. في بعض الأحيان، قد لا يستطيع "الحارس" سد كل زوايا الهجوم لهذه الأجسام المحددة. في هذه الحالات، قد تكون طريقة "التعلم الميتافيزيقي" الأبطأ والأثقل هي الأفضل.

الخلاصة

تقدم هذه الورقة طريقة سريعة وفعالة لـ "تحصين" نماذج الذكاء الاصطناعي. بمجرد مسح مفهوم سيء، يمكنك تشغيل عملية الـ 6 دقائق هذه لضمان أنه مهما كان نوع البيانات الجديدة التي تغذي بها الذكاء الاصطنا لاحقاً، فإن ذلك المفهوم السيئ سيبقى ميتاً. الأمر يشبه وضع قفل دائم على الباب المؤدي إلى غرفة "المعرفة المحظورة"، بحيث حتى لو قمت بتجديد المنزل، يظل الباب مغلقاً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التحسين بالاشتقاق المتجهي المسقط لنموذج توليد الصور من النصوص: الدفاع ضد هجمات إحياء المفاهيم."

1. بيان المشكلة

إحياء المفاهيم في نماذج الانتشار (Diffusion Models):
بينما تنجح طرق "إلغاء التعلم" (unlearning) (مثل ESD، وUCE، وReceler) في إزالة مفاهيم محددة (مثل الأساليب المحمية بحقوق الطثق أو الكائنات) من نماذج انتشار توليد الصور من النصوص سابقة التدريب (مثل Stable Diffusion)، إلا أنها تعاني من ثغرة حرجة وهي: إحياء المفهوم (concept revival).

المشكلة: عندما يتم ضبط النموذج الذي تم إلغاء تعلمه لاحقاً على بيانات لاحقة (downstream data)—حتى لو كانت بيانات غير مرتبطة تماماً بالمفهوم الذي تم مسحه—فإن المفهوم الممسوح غالباً ما يعود للظهور.
السبب: تظل المفاهيم المتبقية في النموذج مرتبطة دلالياً أو بصرياً بالمفاهيم الممسوحة. وتعمل التدرجات (gradients) أثناء عملية الضبط الدقيق (fine-tuning) بشكل غير مقصود على إعادة تنشيط المسارات المستخدمة لتوليد المفهوم الممسوح.
محدودية الدفاعات الحالية: تتطلب الطرق القوية الحالية مثل Meta-Unlearning تحسيناً ثنائ المستوى (bi-level optimization) مكلفاً وتدرجات من الدرجة الثانية متداخلة، مما يجعلها غير مجدية حسابياً (تتطلب أكثر من 40 جيجابايت من ذاكرة VRAM وحوالي ساعتين من التدريب) وغالباً ما تعجز عن التمييز بين التكيف الخبيث والمشروع.

2. المنهجية: إلغاء التعلم بالاشتقاق المتجهي المسقط (PGU)

قام المؤلفون بتكييف إلغاء التعلم بالاشتقاق المتجهي المسقط (PGU)، المصمم أصلاً للتصنيف، ليناسب مجال الانتشار كخطوة تقوية لاحقة (post-hoc hardening). وهذا يعني أنه يُطبق بعد عملية إلغاء تعلم أولية قامت بالفعل بمسح مفهوم ما.

الحدس الهندسي الجوهري

يعتمد النهج على العلاقة الهندسية بين المفاهيم "المحتفظ بها" والمفاهيم "الممسوحة" في فضاء السمات الخاص بالنموذج:

التقارب البصري: إذا كان "المفهوم المحتفظ به" (نص توجيهي) مشابهاً بصرياً لـ "المفهوم الممسوح"، فإن تنشيطاتهما في شبكة U-Net تشغل مناطق متداخلة في فضاء السمات.
فضاء التدرج الجوهري (CGS): من خلال جمع التنشيطات من المفاهيم المحتفظ بها، يقوم المؤلفون ببناء CGS يمتد عبر اتجاهات التدرج ذات الصلة بتوليد المفهوم الممسوح.
الإسقاط المتعامد (Orthogonal Projection): أثناء عملية الضبط الدقيق اللاحقة، يتم إسقاط تحديثات التدرج على المتمم المتعامد لـ CGS. وهذا يضمن أن أي تحديثات للمعاملات (parameters) تتم أثناء الضبط الدقيق لا يمكنها استعادة السمات البصرية للمفهوم الممسوح، بغض النظر عن البيانات المستخدمة في الضبط الدقيق.

التعديلات الخوارزمية لنماذج الانتشار

لجعل PGU يعمل مع نماذج الانتشار (تحديداً شبكات U-Nets)، تم إجراء ثلاثة تعديلات رئيسية على PGU الأصلي المستخدم في مجال التصنيف:

صياغة دالة الخسارة (Loss Function):
- للنماذج التي تم مسحها باستخدام ESD: يستخدم دالة توجيه معدلة مع معاملات معلم (teacher) مجمدة للابتعاد عن الهدف.
- لنماذجي UCE/Receler: يستخدم خسارة إزالة الضجيج القياسية (standard denoising loss) على النصوص التوجيهية المحتفظ بها.
تحليل القيم المفردة (SVD) عبر تنشيطات U-Net: بدلاً من مخرجات الطبقات، يتم حساب SVD على التنشيطات التي يتم جمعها عبر خطافات الأمامي (forward hooks) أثناء عملية إزالة الضجيج. وهذا يقلل التعقيد الذاكري من $O(nd) $إلى$ O(d^2)$ لكل طبقة.
إعادة معايرة المعامل الفائق ( $\gamma$ ): يجب أن يكون عتبة $\gamma$ $γ$ (التي تحدد مقدار فضاء التدرج المحجوز للمعرفة المحتفظ بها) أقل لنماذج الانتشار مقارنة بالشبكات العصبية الالتفافية (CNNs) بسبب مشاركة السمات المكثفة عبر وصلات التخطي (skip connections) وانتباه التقاطع (cross-attention).
- مفاهيم الأسلوب (Style): $\gamma$ المثلى تقع في النطاق $[0.5, 0.7]$ .
- مفاهيم الكائنات (Object): $\gamma$ المثلى تقع في النطاق $[0.7, 0.9]$ .

سير العمل

المرحلة الأولى (لمرة واحدة): بناء الـ CGS. يتم تمرير النصوص التوجيهية المحتفظ بها عبر U-Net، وجمع التنشيطات، وحساب مصفوفات التباين (covariance matrices)، وإجراء تحليل القيم الذاتية (eigendecomposition) لاستخراج مصفوفات الإسقاط ( $P^l$ ).
المرحلة الثانية (لكل خطوة): أثناء الضبط الدقيق، يتم حساب التدرجات، ثم إسقاطها لتكون متعامدة مع CGS ( $\nabla w \leftarrow \nabla w - \nabla w \cdot P^l$ )، ثم تحديث الأوزان. هذا يضمن بقاء التحديثات على المفاهيم المحتفظ بها محفوظة تماماً مع حظر مسارات الإحياء.

3. المساهمات الرئيسية

أول تكييف لـ PGU لنماذج الانتشار: نجح في تكييف PGL لنماذج توليد الصور من النصوص مع تصميمات مبتكرة للخسارة، وSVD القائم على التنشيط، ومعايرة المعاملات الفائقة.
دفاع معياري فعال: خطوة تقوية خفيفة الوزن ولاحقة، متوافقة مع أي طريقة إلغاء تعلم أساسية (ESD، UCE، Receler). وهي تضيف عبئاً حسابياً ضئيلاً (ضرب المصفوفات لكل خطوة).
التحقق الشامل: تم الاختبار عبر ثلاث حالات تشغيلية:
- المعرضة للخطر (Vulnerable): ينجح المسح ولكن يحدث الإحياء (PGU يعالج هذا).
- القوية (Robust): يستمر المسح دون دفاع (PGU يحافظ على ذلك).
- الفاشلة (Failed): فشل إلغاء التعلم الأولي (PGU لا يحسن هذا، حيث يعمل كطبقة دفاع وليس كخوارزمية إلغاء تعلم).
رؤية حول اختيار المفاهيم المحتفظ بها: تقديم دليل تجريبي يثبت أن التشابه البصري في السمات (الشكل، الملمس) يتفوق على التجميع الدلالي (الفئة) في اختيار المفاهيم المحتفظ بها.

4. النتائج التجريبية

قيمت الدراسة نموذج Stable Diffusion v1.4 على مفهومين: فان جوخ (Van Gogh) (ترميز أسلوب موزع) و كرة الجولف (Golf Ball) (ترميز كائن مدمج).

الأداء على النماذج المعرضة للخطر:
- فان جوخ (أسلوب): حقق PGU حماية كاملة (0% إحياء) عبر جميع مراحل الضبط الدقيق، مما قلل ذروة دقة المصنف من 71.4% إلى 28.6%.
- كرة الجولف (كائن): أخر PGU عملية الإحياء بشكل كبير (من نقطة التحقق C1 إلى C4)، وهو تحسن بمقدار 4 أضعاف عند استخدام مفاهيم احتفاظ بصرية.
الأداء على النماذج القوية:
- حافظ PGU على الحماية أو حسنها قليلاً للنماذج القوية بالفعل (مثل ESD-X، وReceler)، مما يؤكد خاصية "عدم الإضرار".
المقارنة مع Meta-Unlearning:
- الكفاءة: يستغرق PGU حوالي 6 دقائق على الأجهزة الاستهلاكية (12GB VRAM) مقابل **ساعتين** على الأجهزة المؤسسية (>40GB VRAM) لـ Meta-Unlearning.
- التكامل:
  - يتفوق PGU في ترميز الأسلوب الموزع (فان جوخ) لأنه يحظر اتجاهات التدرج المتنوعة هندسياً.
  - يتفوق Meta-Unlearning في ترميز الكائنات المدمجة (كرة الجولف) لأنه يحا المحاكاة لأنماط هجوم محددة ضد المسارات المركزة.
- المحدودية: يصل PGU إلى "أرضية" (C4) بالنسبة لـ كرة الجولف، حيث يعجز عن حظر المخطط التدرجي الضيق المطلوب لإعادة بناء الربط بين النص والمرئي، بينما يحقق Meta-Unlearning إحياءً صفرياً.

5. الأهمية والآثار المترتبة

الامتثال القانوني: يوفر حلاً عملياً وقابلاً للتوسع لـ "الحق في النسيان" (GDPR/CCPA) في الذكاء الاصطناعي، مما يضمن عدم ظهور المحتوى الممسوح مرة أخرى أثناء تكييف النموذج.
فعالية التكلفة: يقلل بشكل كبير من الحاجة الحسابية لتأمين النماذج الملغاة، مما يجعله ممكناً للمؤسسات التي لا تملك مجموعات GPU ضخمة.
الدفاع الاستراتيجي: تؤسس الورقة البحثية إلى أن اختيار آلية الدفاع يجب أن يعتمد على بنية ترميز المفهوم:
- استخدم PGU للأساليب الفنية والسمات الموزعة.
- استخدم Meta-Unlearning (أو نهج هجين) للكائنات المنفصلة.
أفضل الممارسات: تسلط الضوء على أن اختيار "المفاهيم المحتفظ بها" بناءً على التشابه البصري (مثل استخدام "اللؤلؤ" أو "الرخام" لحماية "كرة الجولف") أكثر فعالية بكثير من التشابه الدلالي (مثل "كرة التنس").

في الختام، يقدم PGU دفاعاً هندسياً، فعالاً، ومعيارياً ضد إحياء المفاهيم، مما يسد فجوة حرجة في سلامة نماذج الانتشار الخاضعة للضبط الدقيق، مع توضيح المقايضات بين استراتيجيات تقوية إلغاء التعلم المختلفة.