🤖 AI

You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models

تقدم هذه الورقة GUARD، وهو إطار عمل جديد لمرحلة الاستنتاج يعمل على تخفيف حدة الحفظ في نماذج الانتشار من النص إلى الصورة من خلال الضبط الديناميكي لعملية إزالة الضجيج عبر التحديد الإحصائي وتخفيف حدة الانتباه المتقاطع، مما يمنع بفعالية إعادة إنتاج بيانات التدريب مع الحفاظ على جودة عالية للصور ومطابقتها للمطالبات.

المؤلفون الأصليون: Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً فائق الموهبة، درس ملايين اللوحات. إنه بارع جداً لدرجة أنه يمكنه إعادة رسم أي شيء تطلبه منه. ولكن هناك مشكلة: أحياناً، إذا أعطيته وصفاً محدداً للغاية، فإنه لا يكتفي برسم صورة جديدة فحسب، بل يقوم عن طريق الخطأ بنسخ لوحة معينة من مجموعة دراسته حرفياً.

يُسمى هذا "الحفظ الصم" (Memorization). وفي عالم الذكاء الاصطناعي، يعد هذا أمراً سيئاً لأنه قد يؤدي إلى قضايا انتهاك حقوق الطبع والنشر (نسخ أعمال فنية مملوكة للآخرين) أو تسريب الخصوصية (إعادة إنشاء صورة لشخص خاص).

لفترة طويلة، حاول الباحثون إصلاح ذلك إما عن طريق:

تدريب الفنان بشكل مختلف: محاولة منع الفنان من الحفظ في المقام الأول (مثل قولك لطالب "لا تنظر إلى ذلك الكتاب تحديداً"). وهذا أمر صعب لأننا غالباً ما نستخدم فنانين تم تدريبهم بالفعل من قبل شخص آخر.
النسيان لاحقاً: محاولة جعل الفنان "ينسى" صوراً معينة بعد عملية التدريب (مثل مسح ذاكرة). وهذا أمر بطيء، ومكلف، وغالباً لا يعمل بشكل مثالي.

يقدم هذا البحث حلاً ذكياً جديداً يسمى GUARD. فبدلاً من محاولة تغيير عقل الفنان، يقوم GUARD بتغيير كيفية رسم الفنان في الوقت الفعلي.

المشكلة: رموز "المُحفز" (Trigger Tokens)

اكتشف الباحثون أنه عندما يوشك الذكاء الاصطناعي على نسخ صورة معينة، فإنه يصبح مهووساً بكلمات معينة في طلبك (البرومبت). فكر في هذه الكلمات كأنها "كلمات مُحفزة" (Trigger Words).

تخيل أنك تطلب من الذكاء الاصطناعي رسم "قطة تجلس على سجادة حمراء".

في الرسم العادي، يعطي الذكاء الاصطناعي اهتماماً متساوياً لجميع الكلمات.
ولكن إذا كان الذكاء الاصطناعي قد حفظ صورة معينة لقطة على سجادة حمراء، فإنه فجأة يبدأ بالصراخ: "انظر إلى كلمة 'سجادة'! انظر إلى كلمة 'حمراء'!" إنه يركز كل انتباهه على تلك الكلمات المحددة، مما يعمل كاختصار لاستخراج الصورة القديمة بدقة من ذاكرته.

حاولت الطرق السابقة إصلاح ذلك عن طريق خفض "مستوى صوت" كل الكلمات في نهاية الجملة بشكل عشوائي (مثل رمز "نهاية النص"). لكن الباحثين وجدوا أن هذا يشبه محاولة إيقاف صنبور يسرب الماء عن طريق قطع المياه عن المنزل بأكمله. هذا يوقف التسرب، ولكنه أيضاً يقطع الماء عن المطبخ، مما يفسد جودة الصورة.

الحل: GUARD (التوجيه باستخدام ديناميكيات التجاذب والتنافر)

إن GUARD بمثابة مدير فني ذكي يقف بجانب الفنان (الذكاء الاصطนี้) أثناء عملية الرسم. وهو يستخدم قوتين لتوجيه الفرشاة:

قوة التنافر (الدفع بعيداً):
يرى المدير الفني أن الذكاء الاصطناعي أصبح مهووساً بتلك "الكلمات المُحفزة". فيقوم بدفع يد الذكاء الاصطناعي بلطف بعيداً عن المسار الذي يؤدي إلى الصورة المنسوخة القديمة.
- تشبيه: تخيل أن الذكاء الاصطناعي كلب يطارد سنجاباً معيناً. يقوم المدير الفني بسحب المقود لتوجيه الكلب بعيداً عن ذلك السنجاب.
قوة التجاذب (السحب نحو):
إذا قمت فقط بدفع الكلب بعيداً، فقد يصاب بالارتباك ويرتطم بشجرة (مما ينتج صورة سيئة أو ضبابية). لذا، يقوم المدير الفني بالإشارة أيضاً إلى سنجاب آخر جميل قريب يشبه الأول ولكنه ليس هو نفسه تماماً.
- تشبيه: "لا تنظر إلى ذلك السنجاب! انظر إلى هذا السنجب بدلاً منه!" هذا يضمن أن الرسم الجديد لا يزال يبدو كقطة على سجادة حمراء، لكنه مجرد قطة جديدة.

الجزء "الجراحي": إيجاد القمم

يكمن سحر GUARD في أنه لا يخمن أي الكلمات هي المحفزة. بل يستخدم راداراً إحصائياً لإيجادها فوراً.

الطريقة القديمة: "مهلاً، رب Maybe الكلمة الأخيرة هي المشكلة؟ لنخفض مستوى صوت الكلمة الأخيرة للجميع". (هذا أسلوب فظ وغير دقيق وغالباً ما يفشل).
طريقة GUARD: "انتظر، بالنسبة لهذا الطلب تحديداً، الذكاء الاصطناعي يبالغ في رد فعله تجاه كلمة 'سجادة' وكلمة 'حمراء'. لنخفض مستوى صوت هاتين الكلمتين فقط، الآن".

يُسمى هذا "تخفيف الحفظ الصم الجراحي" (Surgical Memorization Mitigation). إنه يشبه الجراح الذي يزيل ورماً دون قطع الأنسجة السليمة. فهو يستهدف المواضع الدقيقة التي تسبب مشكلة النسخ دون الإضراء بالجودة العامة للفن.

لماذا يعد هذا أمراً هاماً؟

يعمل على أي نموذج: لا تحتاج إلى إعادة تدريب الذكاء الاصطناعي. يمكنك استخدامه على أي مولد صور من نص إلى صورة موجود حالياً.
إنه سريع: يحدث هذا أثناء إنشاء الصورة، لذا لا يستغرق وقتاً إضافياً لـ "نسيان" الأشياء لاحقاً.
يحافظ على الجودة: بما أنه يستخدم "قوة التجاذب"، فإن الصور الجديدة لا تزال تبدو رائعة وتطابق وصفك تماماً. هي فقط ليست نسخاً من صور قديمة.

باخت مختصر

فكر في الذكاء الاصطناعي كطالب حفظ الكتاب المدرسي جيداً جداً. إذا سألته سؤالاً، فإنه يكتفي بسرد الصفحة كما هي.

الطرق القديمة حاولت جعل الطالب ينسى الكتاب تماماً (وهو أمر صعب) أو أخبرته أن يتجاهل الجملة الأخيرة من كل صفحة (وهذا أسلوب فج).
GUARD هو معلم يهمس في أذن الطالب: "مهلاً، أنت على وشك سرد تلك الصفحة بالضبط. لا تفعل ذلك! بدلاً من ذلك، استخدم خيالك لابتكار إجابة جديدة لا تزال تناسب السؤال".

النتيجة؟ الطالب (الذكاء الاصطناعي) يعطيك إجابة جديدة وأصلية في كل مرة، دون أن يغش عن طريق نسخ الكتاب.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "لا تحتاج إلى كل ذلك الانتباه: التخفيف الجراحي من الحفظ في نماذج الانتشار من النص إلى الصورة."

1. بيان المشكلة

تتعرض نماذج الانتشار التوليدية من النص إلى الصورة (T2I) لظاهرة "الحفظ" (memorization)، حيث تعيد إنتاج نسخ مطابقة أو شبه مطابقة لصور تدريب محددة عند استخدام النص الأصلي. وهذا يشكل مخاطر كبيرة تتعلق بـ:

الخصوصية: تسريب البيانات الحساسة.
حقوق الطبع والنشر: انتهاك أساليب الفنانين أو أعمالهم المحددة.

تقع استراتيجيات التخفيف الحالية ضمن ثلاث فئات، ولكل منها قيود:

طرق وقت التدريب (Training-time methods): غالبًا ما تكون "أدوات فجة" تؤدي إلى تدهور فائدة النموذج أو تكون غير عملية لأن الممارسين يعتمدون عادةً على نماذج مدربة مسبقًا لا يمكنهم التدخل فيها.
إلغاء التعلم (Machine Unlearning - Finetuning): مكلفة حاسوبيًا وغالبًا ما تفتقر إلى المتانة (يمكن أن تظهر المعلومات المحفوظة مرة أخرى).
طرق وقت الاستنتاج (Inference-time methods): هي النهج الأكثر عملية، لكن الأعمال السابقة (مثل Ren et al., 2024) تعتمد غالبًا على قواعد ثابتة (مثل كبح الانتباه فقط على رموز نهاية النص - End-of-Text) والتي تفشل في التعميم عبر أنواع الحفظ المختلفة (الحفظ الحرفي مقابل حفظ القوالب) والأنظمة المعمارية المختلفة.

2. المنهجية: إطار عمل GUARD

يقترح المؤلفون إطار عمل GUARD (Guidance Using Attractive-Repulsive Dynamics)، وهو إطار عمل جديد لوقت الاستنتاج يقوم بتعديل عملية إزالة الضجيج (denoising) لتوجيه التوليد بعيدًا عن البيانات المحفوظة دون إعادة تدريب النموذج.

الآلية الجوهرية: التوجيه التبايني (Contrastive Guidance)

يقوم توجيه المصنف الخالي من الفئات (Classifier-Free Guidance - CFG) القياسي بتوجيه التوليد نحو نص المطالبة (prompt). يقوم GUARD بتعديل ذلك عبر إدخال قوتين:

التنافر (الهدف السلبي - Repulsion): مصطلح يدفع التوليد بعيدًا عن توقع الضجيج للمطالبة الأصلية (المحفوظة) ( $\epsilon^-_\theta$ ).
التجاذب (الهدف الإيجابي - Attraction): مصطلح يسحب التوليد نحو توقع ضجيج جديد وآمن وعالي الجودة ( $\epsilon^+_\theta$ ).

يتم حساب توقع الضجيج الموجه $\hat{\epsilon}$ كالتالي:
$\hat{\epsilon} = \epsilon_\theta(x_t, e_\emptyset) + s(\epsilon^+_\theta - \epsilon_\theta) - r(\epsilon^-_\theta - \epsilon_\theta)$
حيث $s$ هي قوة التجاذب و $r$ هي قوة التنافر. "الهدف الإيجابي" أمر بالغ الأهمية؛ فبدونه، مجرد التنافر من البيانات المحفوظة يمكن أن يسبب "انهيار الدقة" (فقدان جودة الصورة أو التوافق مع المطالبة).

التجسيد الملموس: CA-in-GUARD

تقدم الورقة تنفيذًا محددًا يسمى CA-in-GUARD، والذي يحدد "الهدف الإيجابي" عبر آلية توهين الانتباه المتقاطع الجراحي (Surgical Cross-Attention Attenuation).

الرؤية: يتم دفع الحفظ بواسطة "رموز المحفز" (trigger tokens) التي تتلقى انتباهاً مرتفعاً بشكل غير متناسب. ركزت الأعمال السابقة فقط على رموز نهاية النص (EOT). وجد المؤلفون أن:
- الحفظ الحرفي (Verbatim memorization): يتضمن غالبًا قفزات في رموز EOT، ولكن أيضًا رموزًا أخرى محددة.
- حفظ القوالب (Template memorization): غالبًا لا تكون قفزات EOT هي المحرك الأساسي؛ بل تبرز رموز أخرى بدلاً من ذلك.
- الاستنتاج: كبح رموز EOT بشكل ثابت غير كافٍ وقد يكون عكسي النتائج أحيانًا.
الخوارزمية (الكشف والتوهين الجراحي):
1. الكشف الديناميكي عن القفزات (Dynamic Spike Detection): لكل مطالبة وفي كل خطوة لإزالة الضجيج، يحلل النظام توزيع الانتباه المتقاطع. يحسب النظام درجة شاذة إحصائية ( $Z$ -score) لكتلة انتباه كل رمز. الرموز التي تتجاوز عتبة ( $\tau$ ) تُصنف على أنها "قفزات" (spiky) (أي حرجة للحفظ).
2. التوهين الجراحي (Surgical Attenuation): يتم تقليل قيم لوجيت (logits) الانتباه لهذه الرموز المحددة بمعامل $\alpha$ قبل عملية الـ softmax.
3. توليد الهدف الإيجابي: تولد خريطة الانتباه الموهنة هذه $\epsilon^+_\theta$ (الهدف الآمن) المستخدم في صيغة GUARD.
الكفاءة: يقوم هذا الأسلوب بإجراء ثلاثة تقييمات لـ U-Net (غير مشروط، محفوظ، وموهن) في تمريرة أمامية واحدة مجمعة (batched forward pass)، مما يحافظ على انخفاض التكاليف الحسابية.

3. المساهمات الرئيسية

إطار عمل GUARD: إطار عمل عام لوقت الاستيداد يجمع بين التنافر من الاتجاهات المحفوظة والتجاذب نحو هدف آمن لمنع تدهور الجودة.
التحليل التجريبي للانتباه: دراسة تفصيلية تكشف أن محفزات الحفظ تختلف حسب النوع (حرفي مقابل قالب) وحسب البنية المعمارية. أثبتوا أن الاستراتيجيات الثابتة (مثل كبح EOT فقط) تفشل في حالة حفظ القوالب.
الكاشف الديناميكي للقفزات (Dynamic Spike Detector): طريقة إحصائية مبتعة تعمل في الوقت الفعلي لتحديد الرموز الحرجة للحفظ لكل مطالبة، بدلاً من الاعتماد على قواعد ثابتة.
CA-in-GUARD: التجسيد المحدد باستخدام توهين الانتباه الديناميكي، والذي يعمل كأداة تخفيف وآلية للحفاظ على الجودة في آن واحد.

4. النتائج التجريبية

قيم المؤلفون GUARD و CA-in-GUARD على Stable Diffusion v1.4 و v2.0 باستخدام مجموعة بيانات مكونة من 500 عينة محفوظة (تم تصفيتها لدرجات حفظ عالية، SSCD > 0.7).

المقاييس:
- SSCD: التشابه مع صورة التدريب الأصلية (الأقل هو الأفضل).
- CLIP Score: التوافق بين المطالبة والصورة (الأعلى هو الأفضل).
- FID: واقعية وتنوع الصور (الأقل هو الأفضل).
النتائج الرئيسية:
- تخفيف متفوق: يتفوق CA-in-GUARD باستمرار على النماذج المرجعية (baselines) مثل (Ren et al. و Wen et al. و Han et al.) في جميع الإعدادات.
  - مثال (SD v2.0 Template): قلل SSCD من 0.36 (في Ren et al.) إلى 0.19 (في CA-in-GUARD).
- الحفاظ على الجودة: على عكس التوهين البسيط الذي قد يضر بالجودة، فإن إطار عمل GUARD (مع مصطلح التجاذب) يحافظ على درجات CLIP و FID أو حتى يحسنها مقارنة بالنماذج المرجعية.
- المتانة: يعمل الأسلوب بفعالية لكل من الحفظ الحرفي (نسخة مطابقة) وحفظ القوالب (نسخ الأسلوب/الهيكل)، بينما فشلت الأساليب السابقة غالبًا في حفظ القوالب.
- المطالبات غير المحفوظة: لا يؤدي الأسلوب إلى تدهور الأداء في المطالبات التي ليست محفوظة، مما يعني أنه يمكن تطبيقه عالميًا دون الحاجة لمعرفة المطالبات الخطرة مسبقًا.

5. الأهمية

العملية: كونه حلاً يعتمد كليًا على وقت الاستنتاج، يمكن نشره على النماذج المدربة مسبقًا الموجودة حاليًا دون الحاجة لإعادة التدريب أو الضبط الدقيق، مما يجعله قابلًا للتطبيق للغاية في سلاسل الإنتاج الواقعية.
الدقة: الطبيعة "الجراحية" للنهج (توهين رموز محددة ديناميكيًا) تتجنب "الأضرار الجانبية" لجودة الصورة التي غالبًا ما تصاحب تقنيات التخفيف الفجة.
القدرة على التعميم: يعالج مشكلة "حفظ القوالب"، وهي مشكلة لم تُحل سابقًا حيث تعيد النماذج إنتاج هيكل بيانات التدريب حتى لو لم يُستخدم النص نفسه بالضبط.
الاتجاه المستقبلي: تشير الورقة إلى أن الرؤى المكتسبة (التلاعب بالانتباه الديناميكي) يمكن دمجها في طرق التدريب أو إلغاء التعلم لدفع حدود المقايضة بين الخصوصية والفائدة بشكل أكبر.

باختصار، يقدم GUARD حلاً قويًا وفعالًا وعالي الجودة لمشكلة الحفظ في نماذج الانتشار، وذلك عبر تحديد وتثبيط آليات الانتباه المحددة المسؤولة عن إعادة إنتاج بيانات التدريب ديناميكيًا، مع توجيه النموذج في الوقت نفسه نحو بديل آمن وعالي الدقة.