ملخص تقني: الحفظ في Stable Diffusion مدفوع بشكل غير متوقع بتمثيلات CLIP

بيان المشكلة

تُظهر نماذج الانتشار من نص إلى صورة، ولا سيما Stable Diffusion، خطرًا حرجًا يتعلق بالخصوصية يُعرف باسم الحفظ (memorization)، حيث يقوم النموذج بإعادة إنتاج صور محددة من مجموعة بيانات التدريب استجابةً لنصوص معينة. وهذا يثير مخاوف كبيرة بشأن انتهاكات حقوق الطبع والنشر وتسريب البيانات الخاصة. وبينما بحثت الأبحاث السابقة في الحفظ من خلال تكرار مجموعات البيانات، ورموز المحفزات (trigger tokens)، وأنماط الانتباه المتقاطع (cross-attention)، فإن دور فضاء تمثيل النص (text embedding space) — وتحديدًا كيفية مساهمة المكونات المختلفة لتسلسل التمثيل في عملية الحفظ — لا يزال غير مستكشف بشكل كافٍ. تفترض هذه الورقة أن السبب الجذري للحفظ في Stable Diffusion v1.4 لا يكمن فقط في الرموز نفسها، بل في عدم توافق هيكلي بين ديناميكيات تدريب مشفر النص CLIP وآليات الاستدلال لنموذج الانتشار.

المنهجية

يجري المؤلفون تحقيقًا مفصلاً في ناقلات التمثيل (embedding vectors) لـ Stable Diffusion، حيث يصنفون رموز الإدخال إلى أربعة أنواع: رمز بداية النص ($v_{sot}$)، ورموز المطالبة ($v_{pr}$)، ورمز نهاية النص ($v_{eot}$)، ورموز الحشو ($v_{pad}$).

1. التحليل التجريبي لمساهمات التمثيل

تستخدم الدراسة تدخلات محكومة أثناء وقت الاستدلال لقياس تأثير كل مكون من مكونات التمثيل على المطالبات المحفوظة. تتضمن التجارب ما يلي:

• القناع والاستبدال (Masking and Replacement): حجب أو استبدال ناقلات تمثيل محددة بشكل منهجي (على سبيل المثال، تعيين $v_{pr}$ أو $v_{pad}$ إلى ناقلات صفرية، أو استبدالها بـ $v_{eot}$).
• تقييم المقاييس: استخدام SSCD (المسافة التباينية ذاتية الإشراف) لقياس الحفظ (التشابه مع الصورة الأصلية في التدريب)، وCLIPScore لمحاذاة النص والصورة، وAesthetic Score للجودة البصرية.
• تنسيق مجموعة البيانات: قام المؤلفون بتنسيق مجموعة قوية مكونة من 458 مطالبة "مطابقة حرفيًا" (Matching Verbatim - MV) من Webster [35] و Membench [13]، مع تصفية الحالات غير المستقرة أو المتدهورة لضمان تحليل موثوق.

2. التحليل المقارن (v1.4 مقابل v2.1)

تقارن الورقة بين Stable Diffusion v1.4 (الذي يستخدم مشفر نص CLIP الأصلي) و v2.1 (الذي يستخدم OpenCLIP). يفترض المؤلفون أن الاختلافات في كيفية تعامل هذه النماذج مع رموز الحشو تفسر التباين في معدلات الحفظ بين الإصدارات.

3. استراتيجيات التخفيف

بناءً على النتائج، تم اقتراح استراتيجيتين للتخفيف أثناء وقت الاستدلال:

1. إصلاح على مستوى أداة الترميز (Tokenizer-Level Fix): استبدال رمز EOF الافتراضي (الذي هو <eot> في v1.4) برمز محايد دلاليًا (مثل !) قبل التمثيل، وحجب $v_{eot}$ الوحيد.
2. الحجب الجزئي (Partial Masking): حجب تمثيلات $v_{pad}$ جزئيًا (تحديدًا بنسبة 70%) لتقليل التكرار دون انهيار جودة التوليد.

النتائج الرئيسية والمساهمات

1. هيمنة تمثيلات الحشو

على عكس الافتراض بأن رموز المطالبة ($v_{pr}$) هي المحركات الأساسية للتوليد، يجد المؤلفون أن $v_{pr}$ تساهم بشكل ضئيل في الحفظ. في الواقع، فإن حجب $v_{pr}$ أو استبدالها بـ $v_{eot}$ يحافظ على هيكل الصورة المولدة. وعلى العكس من ذلك، تلعب تمثيلات الحشو ($v_{pad}$) دورًا مهيمنًا؛ فعندما يتم حجب $v_{pad}$، ينهار التوليد، مما يشير إلى أنها حاسمة لإعادة إنتاج المحتوى المحفوظ.

2. التكرار الهيكلي لـ $v_{eot}$

الآلية الجوهرية المحددة هي التكرار الهيكلي لتمثيل <endoftext>.

• في Stable Diffusion v1.4، يتم حشو المطالبات التي يقل طولها عن الطول الثابت (77 رمزًا) عن طريق تكرار رمز <eot>.
• بما أن CLIP يتم تدريبه عبر التعلم التبايني لتحسين $v_{eot}$ كتمثيل لدلالات مستوى الجملة، فإن رموز <eot> المتكررة تؤدي إلى وجود عدة ناقلات $v_{eot}$ متطابقة تقريبًا (كـ $v_{pad}$).
• هذا التكرار غير المقصود يضخم تأثير $v_{eot}$ أثناء عملية الانتشار، مما يجعل النموذج يعتمد بشكل مفرط على هذا التمثيل المحدد ويؤدي إلى الحفظ.

3. تفسير سلوك Stable Diffusion v2.1

تشير الورقة إلى أن Stable Diffusion v2.1 يُظهر معدلات حفظ أقل بشكل ملحوظ. ويعزو المؤلفون ذلك ليس إلى إزالة التكرار من مجموعة البيانات، بل إلى استخدام OpenCLIP، الذي يستخدم رمز ! محايدًا للحشو بدلاً من تكرار <eot>. هذا التغيير الهيكلي يزيل تضخم $v_{eot}$، وبالتالي يقلل من الحفظ.

4. استراتيجيات التخفيف المقترحة

يقترح المؤلفون استراتيجيتين فعالتين وجاهزتين للاستخدام (plug-and-play) لا تتطلبان إعادة تدريب النموذج:

• الاستراتيجية 1: استبدال رمز EOF الافتراضي للترميز برمز محايد (!) وحجب $v_{eot}$ الأصلي. هذا يفصل $v_{pad}$ عن $v_{eot}$.
• الاستراتيجية 2: حجب 70% من تمثيلات $v_{pad}$ جزئيًا.
  تؤدي كلتا الطريقتين إلى تقليل درجات SSCD بشكل كبير (مما يشير إلى تقليل الحفظ) مع الحفاظ على درجات عالية في CLIPScore وAesthetic Scores، مما يستعيد التنوع عبر البذور العشوائية (random seeds) بفعالية.

النتائج

• كبح الحفظ: تقلل الطرق المقترحة من درجات SSCD من ~0.5 (مما يشير إلى الحفظ) إلى ~0.08–0.10، مما يمنع فعليًا إعادة إنتاج صور التدريب.
• الحفاظ على الجودة: على عكس الطرق السابقة (مثل Ren et al. [24]، Wen et al. [36]) التي غالبًا ما تؤدي إلى تدهور الجودة البصرية أو تفشل في كبح الحفظ باستمرار، تحافظ الاستراتيجيات المقترحة على محاذاة المطالبة وجودة الصورة.
• الكفاءة: تضيف عمليات التخفيف عبئًا حسابيًا ضئيلًا، حيث يكاد يكون وقت الاستدلال متطابقًا مع التوليد القياسي.
• المتانة: تعمل الطرق باستمرار عبر المطالبات المحفوظة وغير المحفوظة، دون إظهار أي تدهور كبير في جودة التوليد العامة.

الأهمية والادعاءات

تدعي الورقة نقل المنظور حول الحفظ من العمليات الداخلية للنموذج (مثل أنماط الانتباه المتقاطع) إلى الخصائص الهيكلية لتمثيلات النص. وتجادل بأن عدم التطابق بين هدف تدريب CLIP (تحسين $v_{eot}$ فقط) والاستدلال في نموذج الانتشار (الاشتراط على التسلسل الكامل بما في ذلك $v_{eot}$ المكرر) يخلق انحيازًا هيكليًا يدفع نحو الحفظ.

تكمكمن الأهمية في تحديد آلية تم التغاضي عنها سابقًا: التضخم غير المقصود لتمثيل <endoftext> بسبب تصميم أداة الترميز. ومن خلال معالجة هذا الخلل الهيكلي، يقدم المؤلفون حلولًا بسيطة وفعالة وقابلة للنشر تخفف من حدة الحفظ دون الحاجة إلى تصفية مجموعة البيانات، أو ضبط المطالبات، أو إعادة تدريب النموذج. وتشير النتائج إلى أن نماذج الانتشار المستقبلية يجب أن تنظر بعناية في استراتيجيات رموز الحشو لتجنب الانحيازات الهيكلية المماثلة.