ملخص تقني: ذكريات مكسورة: كشف وتخفيف الحفظ في نماذج الانتشار عبر التوليد المتدهور

بيان المشكلة

حققت نماذج الانتشار (Diffusion models) نجاحاً ملحوظاً في توليد صور عالية الجودة، لكنها تواجه تحدياً حرجاً يتعلق بالخصوصية وحقوق الطبع والنشر: وهو الحفظ (Memorization). حيث تقوم هذه النماذج دون قصد بتكرار أو إنتاج صور تشبه إلى حد كبير بيانات تدريب محددة، مما يؤدي إلى احتمال تسريب البيانات. تعاني استراتيجيات التخفيف الحالية من قصورين رئيسيين:

1. الاعتماد على إعادة التوليد: تعمل معظم الطرق الحالية بناءً على مبدأ "الكشف ثم المحاولة مرة أخرى". فعند اكتشاف الحفظ، يتم إيقاف عملية التوليد الحالية وإعادة البدء بمدخلات معدلة (مثل تغيير الأوامر النصية أو التضمينات)، مما يزيد بشكل كبير من زمن التأخير والتكلفة الحسابية.
2. التدخلات الاستدلالية أو الثابتة: غالباً ما يعتمد التخفيف على قواعد ثابتة أو تعديلات استاتيكية (مثل تقليل مقياس التوجيه بمقدار ثابت) التي تفشل في التكيف مع الطبيعة الديناميكية لمسار التوليد، مما يؤدي غالباً إلى المساس بالدقة الدلالية أو جودة الصورة.

علاب، بينما تكتشف بعض الطرق الحفظ عبر إشارات داخلية (مثل أوزان الانتباه أو مقادير التوجيه)، فإنها تفتقر عموماً إلى رابط نظري مبدئي بين هذه الإشارات وبين التدهور البصري الذي يُلاحظ غالباً في المخرجات المحفوظة.

المنهجية

يقترح المؤلفون إطار عمل مبدئي للكشف الفوري والتخفيف التكيفي بناءً على ملاحظة أن الحفظ يسبب عدم استقرار عددي في ديناميكيات نماذج الانتشار.

1. الرؤية النظرية: عدم الاستقرار العددي

حدد البحث أن توليد العينات المحفوظة يؤدي غالباً إلى انحراف مسار إزالة الضجيج (denoising trajectory) عن السلوك المستقر للنموذج، وهو ما يظهر بصرياً في شكل عيوب "مكسورة" (مثل التفاصيل المشوهة). وبالاستناد إلى التحليل العددي، يفترض المؤلفون ما يلي:

• الحفظ كحالة عدم استقرار: تتسبب الأوامر النصية المحفوظة في جعل النموذج يفرط في التلاؤم (overfit) مع نقاط بيانات محددة، مما ينتج عنه تدرجات ضخمة جداً في آلية التوجيه الخالي من التصنيف (CFG).
• شذوذ التحديث الكامن: في الموجدات (solvers) عالية الرتبة مثل PNDM (المستخدم في Stable Diffusion v1)، تتسبب هذه التدرجات الكبيرة في جعل خطوة التحديث الكامن ($\delta_t = z_t - z_{t+1}$) تتجاوز حدود المنطويد المستقر (stable manifold)، مما يؤدي إلى التذبذب أو التباعد في المسار.
• استقلالية المُنظم (Sampler Agnosticism): لا يقت-صر عدم الاستقرار هذا على PNDM؛ فحتى مع المُنظمات الحتمية مثل DDIM حيث قد تبدو الصور النهائية مقبولة بصرياً، لا يزال المسار الكامن الداخلي يظهر انحرافات كبيرة عن الاستقرار.

2. مناطق الاستقرار التجريبية

لقياس هذا السلوك دون حساب القيم الذاتية لـ "جاكوبي" (Jacobian eigenvalues) المستعصية حسابياً، عرّف المؤلفون مناطق الاستقرار التجريبية:

• معيار تحديث الكامن ($\|\delta_t\|$): يتم بناء منطقة إحصائية $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$ باستخدام المتوسط ($\mu_t$) والانحراف المعياري ($\sigma_t$) لمعايير تحديث الكامن من مجموعة صغيرة من الأوامر النصية غير المحفوظة (الطبيعية).
• الكمون الأولي المُعاد بناؤه ($\|\hat{z}^{(t)}_0\|$): وبالمثل، يتم تعريف منطقة استقرار للكمون الأولي المُعاد بناؤه في DDIM ليعمل كوكيل لاستقرار الدلالة.

3. آلية الكشف

يقوم النظام بمراقبة مسار التوليد خطوة بخطوة. في كل خطوة $t$، يقوم بحساب درجة Z-score ($s_t$) تقيس مدى انحراف معيار تحديث الكامن الحالي عن منطقة الاستقرار التجريبية:
$$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$$
تشير قيمة $s_t$ العالية إلى تحديث شاذ، مما يشير إلى احتمال وجود حفظ. وتعمل أقصى قيمة لـ Z-score خلال الخطوات الأولية كمقياس للكشف.

4. استراتيجية التخفيف التكيفية

على عكس الطرق الثابتة، يتدخل هذا الإطار أثناء التشغيل دون إعادة بدء التوليد. وهو يستخدم استراتيجية تكيفية ثنائية المستويات بناءً على شدة عدم الاستقرار المكتشف:

• الحفظ الطفيف: إذا كان الانحراف متوسطاً، تطبق الطريقة قيوداً على مقدار الكامن (إعادة تحجيم $\hat{z}^{(t)}_0$ إلى المتوسط التجريبي) بشكل أساسي في الخطوات المبكرة لتنظيم المسار.
• الحفظ القوي: إذا كان الانحراف شديداً، يتم تطبيق قيود مشتركة أكثر صرامة طوال المسار، مما يفرض بقاء كل من معيار الكامن ($\|z_t\|$) ومعيار التحديث ($\|\delta_t\|$) ضمن مناطق الاستقرار الخاصة بهما.

تعمل هذه العملية كمرشح تدفقي (streaming filter)، حيث تقوم بإسقاط الحالة الكامنة مرة أخرى إلى المنطويد المستقر فور اكتشاف عدم الاستقرار، مما يضمن توليداً سلساً.

المساهمات الرئيسية

1. التحليل المنهجي: أول عمل يربط بشكل منهجي بين توليد الحفظ المتدهور وعدم الاستقرار العددي في أخذ عينات الانتشار، كاشفاً عن شذوذ مميز في مقادير التحديث الكامن.
2. مناطق الاستقرار التجريبية: تقديم مفهوم قائم على نظرية الاستقرار العددي لتوصيف وتشخيص التوليد الطبيعي مقابل المحفوظ، وهو قابل للتطبيق عبر مختلف المُنظمات (PNDM, DDIM).
3. إطار العمل الفوري (On-the-Fly): تطوير إطار عمل تشخيصي يضبط مسارات التوليد تكيفياً فقط عند اكتشاف عدم الاستقرار، متفوقاً بذلك على الطرق الاستدلالية أو الثابتة الموجودة.
4. الأداء: تحقيق دقة كشف فائقة والقضاء التام على عمليات التوليد المحفوظة مع الحفاظ على جودة الصورة بأقل قدر من التكاليف الإضافية.

النتائج التجريبية

أُجريت التجارب على Stable Diffusion 1.4 (وتم توسيعها إلى 1.5 و 2.1 في الملاحق) باستخدام مجموعات بيانات من الأوامر النصية المحفوظة (من LAION) والأوامر غير المحفوظة.

• أداء الكشف: تحقق الطريقة AUC > 0.999 ومعدل إيجابي حقيقي مرتفع عند معدل إيجابي كاذب بنسبة 1% (TPR@1%FPR)، متفوقة على النماذج المرجعية الحديثة (مثل Ren et al., Wen et al., Jeon et al.) عبر مختلف إعدادات البذور وأنواع المجدول (PNDM و DDIM).
• أداء التخفيف:
  • معدل الحفظ: تقلل الطريقة معدل الحفظ إلى 0.0% في نموذج SD 1.4 المدرب مسبقاً.
  • جودة الصورة: تحافظ على دقة دلالية عالية (CLIP Score) وواقعية صور (FID)، متفوقة على النماذج المرجعية التي تعاني غالباً من التخفيف المفرط (الانزياح الدلالي) أو التخفيف الناقص (بقاء العيوب).
  • الكفاءة: لا تترتب على النهج أعباء حسابية تذكر (≈0.01 ثانية لكل صورة)، مما يتجنب عقوبات زمن التأخير المرتبطة بإعادة التوليد أو التحسين التكراري الموجود في الطرق الأخرى.

الأهمية والادعاءات

يزعم البحث أن أهميته الرئيسية تكمن في نقل منظور تخفيف الحفظ من كبت الإشارة الاستدلالي إلى الاستقرار العددي المبدئي. ومن خلال ترسيخ الكشف في القوانين الإحصائية لديناميكيات توليد الصور الطبيعية، توفر الطريقة معياراً قوياً ومستقلاً عن النموذج وثابتاً عبر الزمن لتحديد الشذوذ.

يؤكد المؤلفون أن نهجهم يجمع بشكل فريد بين الكشف، والتخفيف أثناء التشغيل، والتكيف في إطار عمل واحد. وهذا يلغي الحاجة إلى إعادة التوليد المكلفة ويسمح بالتدخل السلس الذي يحافظ على القصد الدلالي والجودة البصرية للمخرجات. ويشير العمل إلى أن اعتبار الحفظ مشكلة انحراف في المسار يقدم اتجاهاً جديداً ومبدئياً لبناء نماذج توليدية موثوقة.