🤖 AI

Detecting and Mitigating Memorization in Diffusion Models through Anisotropy of the Log-Probability

تقترح هذه الورقة مقياساً جديداً وفعالاً للكشف عن الحفظ لنماذج الانتشار، يستفيد من المحاذاة الزاوية بين درجات التوجيه والدرجات غير المشروطة في نظام التباين المنخفض، مما يتيح كشفاً أسرع وتخفيفاً فعالاً مقارنة بالطرق الحالية.

المؤلفون الأصليون: Rohan Asthana, Vasileios Belagiannis

نُشر 2026-02-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rohan Asthana, Vasileios Belagiannis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً للغاية قد نظر إلى ملايين اللوحات. هذا الفنان بارع لدرجة أنه يستطيع رسم أي شيء تطلبه. ومع ذلك، هناك مشكلة خفية: أحياناً، بدلاً من أن يكون مبدعاً، قد يمارس "السرقة الأدبية" عن غير قصد. إذا طلبت منه "قطة ترتدي قبعة"، فقد يرسم بالخطأ نسخة مطابقة تماماً، بكسل مقابل بكسل، لصورة فوتوغرافية شهيرة رآها أثناء تدريبه. وهذا ما يسمى بـ "الحفظ الصم" (Memorization)، وهو أمر بالغ الأهمية فيما يتعلق بحقوق الطبع والنشر والخصوصية.

تقدم هذه الورقة البحثية طريقة جديدة لكشف هذا "السرقة الأدبية غير المقصودة" وطريقة لمنع حدوثها.

المشكلة: "التل الناعم" مقابل "الأخدود المتعرج"

لفهم كيف وجد الباحثون حلاً، علينا أن نفهم كيف "تفكر" نماذج الذكاء الاصطناعي هذه.

فكر في معرفة الذكاء الاصطناعي كأنها مشهد طبيعي من التلال والوديان. عندما تعطي الذكاء الاصطناعي أمراً (Prompt)، فالأمر يشبه إلقاء كرة على تل؛ ستتدحرج الكرة للأسفل عبر المنحدر حتى تستقر في وادٍ (الصورة النهائية).

النظام المتماثل المناحي (التل الناعم): عندما يبدأ الذكاء الاصطناعي للتو في الرسم (ضجيج عالٍ)، يبدو المشهد وكأنه مجموعة من التلال المستديرة والناعمة تماماً. إذا كان الذكاء الاصطناعي على وشك السرقة، فإن "التل" يصبح شديد الانحدار وحاداً. حاول العلماء السابقون كشف السرقة من خلال قياس مدى انحدار هذه التلال. نجح هذا الأمر بشكل جيد، لكن ليس بشكل مثالي.
النظام غير المتماثل المناحي (الأخدود المتعرج): مع اقتراب الذكاء الاصطناعي من إنهاء الصورة (ضجيج منخفض)، يتغير المشهد. لم يعد مكوناً من تلال مستديرة؛ بل يصبح عبارة عن سلسلة من الأخاديد الطويلة والضيقة والمتعرجة. في هذه الأخاديد، يكون قياس "الانحدار" مضللاً. فقد يكون الأخدود شديد الانحراف على الجوانب ولكنه مسطح جداً عند القاع. إذا قمت بقياس الانحدار فقط، فقد تفوتك حقيقة أن الذكاء الاصطناعي عالق في "أخدود سرقة أدبية".

الاكتشاف: خدعة "البوصلة"

أدرك الباحثون أنه في هذه الأخاديد الضيقة (النظام غير المتماثل المناحي)، لا يكفي النظر إلى الانحدار؛ بل يجب النظر إلى الاتجاه.

اكتشفوا أنه عندما يوشك الذكاء الاصطناعي على السرقة، فإن "بوصلته الداخلية" تتصرف بشكل غريب. عادةً، عندما يرسم الذكاء الاصطناعي، يكون له صوتان: "معرفته العامة" (ما هي القطة بشكل عام) و"تعليماته المحددة" (طلبك أنت).

في الرسم الإبداعي الطبيعي، قد يشير هذان الصوتان إلى اتجاهين مختلفين قليلاً. ولكن عندما يسرق الذكاء الاصطناعي، فإن الصوتين يشيران إلى نفس الاتجاه تماماً. الأمر كما لو أن معرفة الذكاء الاصطناسبة العامة وطلبك المحدد يصرخان معاً: "اذهبا بالضبط إلى هذه الصورة المحددة والمسروقة!"

الحل: "المحقق السريع" و"معدل الأوامر"

ابتكر الباحثون أداتين رئيسيتين:

1. المحقق السريع (الكشف):
بدلاً من مراقبة الذكاء الاصطناعي وهو يرسم الصورة بأكملها (وهو أمر يستغرق وقتاً طويلاً)، يعمل مقياسهم الجديد كلقطة سريعة. فهو يتحقق من كل من الانحدار (الطريقة القديمة) ومحاذاة البوصلة (الطريقة الجديدة) في البداية تماماً.

النتيجة: إنه سريع للغاية — أسرع بنحو 5 مرات من أفضل طريقة سابقة — وأكثر دقة في كشف "السارقين".

2. معدل الأوامر (التخفيف):
إذا كشف "المحقق" أمراً من المحتمل أن يتسبب في سرقة أدبية، فإن الباحثين لا يستسلمون فحسب. بل يستخدمون خدعة ذكية: يقومون بـ "تعديل" الكلمات في الأمر بشكل طفيف.

التشبيه: إذا طلبت من طاهٍ "الوصفة الدقيقة لفطيرة جدتي السرية" وأدرك أنه على وشك نسخها تماماً، يقوم النظام بتعديل الطلب إلى "فطيرة فاكهة لذيذة وفريدة من نوعها بنكهات مشابهة".
النتيجة: ينتج الذكاء الاصطناعي صورة جديدة تماماً، جميلة وأصلية، تظل متوافقة مع فكرتك ولكنها لا تسرق عمل أي شخص آخر.

الملخص

باختصار: وجد الباحثون أن "السرقة الأدبية" في الذكاء الاصطناعي لها توقيع هندسي محدد — الأمر لا يتعلق فقط بمدى حدة المشهد، بل بمدما يتوافق فيها "صوتا" الذكاء الاصطناعي. ومن خلال التحقق من هذا التوقيع، فقد صنعوا وسيلة لكشف ومنع سرقة الذكاء الاصطناعي بشكل أسرع وأكثر فعالية من أي وقت مضى.

ملخص تقني: كشف وتخفيف الحفظ في نماذج الانتشار من خلال تباين خواص الاحتمالية اللوغاريتمية

1. بيان المشكلة

تتعرض النماذج التوليدية القائمة على الانتشار (مثل Stable Diffusion) لخطر الحفظ (Memorization)، حيث تقوم بإعادة إنتاج نسخ مطابقة أو شبه مطابقة لصور التدريب دون قصد. وهذا يشكل مخاطر جسيمة تتعلق بخصوصية البيانات، وحقوق الطبع والنشر، وتحيز التقييم.

تعتمد طرق الكشف الحالية بشكل أساسي على معيار (norm) فرق الدرجة (score difference) (الفرق بين تقديرات الدرجة الشرطية وغير الشرطية). وقد حدد المؤلفون خللاً نظرياً جوهرياً في هذه الطرق: فهي تفترض أن توزيع الاحتمالية اللوغاريتمية هو توزيع متماثل المناحي (Isotropic) (أي ذو انحناء منتظم في جميع الاتجاهات). وبينما ينطبق هذا الافتراض عند مستويات الضجيج العالية أو المتوسطة، فإنه يفشل في نظام الضجيج المنخفض (بالقرب من متشعب البيانات - Data Manifold)، حيث يصبح التوزيع متباين المناحي (Anisotropic) (أي يختلف الانحناء باختلاف الاتجاه). وفي الإعدادات متباينة المناحي، يمكن لدرجة عالية في اتجاه واحد أن تُعوض بدرجة منخفضة في اتجاه آخر، مما يؤدي إلى نتائج سلبية كاذبة في كشف الحفظ.

2. المنهجية

يقترح المؤلفون نهجاً جديداً يأخذ في الاعتبار تغير هندسة الاحتمالية اللوغاريتمية طوال عملية الانتشار.

الرؤية النظرية (تباين المناحي): يثبت المؤلفون أنه في نظام الضجيج المنخفض (متباين المناحي)، تظهر العينات المحفوظة بصمة فريدة: محاذاة زاوية قوية بين متجه التوجيه (الطرف الشرطي) وتقدير الدرجة غير الشرطي. وبشكل أساسي، فإن النص الوصفي (Prompt) للعينات المحفوظة لا يقدم اتجاهات جديدة، بل يعزز فقط اتجاه التدرج غير الشرطي الموجود بالفعل.
المعيار المقترح ( $M$ ): بدلاً من معيار واحد، طوروا معياراً هجيناً خالياً من إزالة الضجيج (Denoising-free) يجمع بين مكونين:
1. المكون متماثل المناحي (Isotropic Component): معيار الفرق في الدرجة عند مستويات الضجيج العالية ( $t \approx T$ ).
2. المكون متباين المناحي (Anisotropic Component): تشابه جيب التمام (الزاوية) بين متجه التوجيه والدرجة غير الشرطية عند مستويات الضجيج المنخفضة ( $t \approx 0$ ).
- ملاحظة حول الكفاءة: نظرًا لأن المعيار "خالٍ من إزالة الضجيج"، فهو لا يتطلب تشغيل عملية عكسية تكرارية كاملة. يتطلب الأمر فقط عمليتي تمرير أمامي (واحدة شرطية وأخرى غير شرطية) عند لحظات زمنية محددة، مما يجعله سريعاً للغاية.
استراتيجية التخفيف: يستخدمون المعيار كدالة خسارة لـ تعزيز النص الوصفي (Prompt Augmentation). أثناء الاستدلال، يقومون بإجراء هبوط التدرج (Gradient Descent) على تضمينات النص الوصفي لتقليل معيار الحفظ، مما يؤدي فعلياً إلى "توجيه" النموذج بعيداً عن أنماط الحفظ مع الحفاظ على التوافق بين النص والصورة.

3. المساهمات الرئيسية

التوصيف النظري: تحديد أن المقاييس القائمة على المعيار (Norm) تفشل في الأنظمة متباينة المناحي، وإثبات أن المحاذاة الزاوية هي مؤشر متفوق للحفظ في إعدادات الضجيج المنخفض.
معيار جديد: تطوير معيار هجين يجمع بين المعيار المتماثل المناحي وتشابه جيب التمام المتباين للمناحي.
الكفاءة: ابتكار طريقة كشف خالية من إزالة الضجيج تقلل بشكل كبير من العبء الحسابي مقارنة بالطرق الرائدة السابقة.
إطار التخفيف: دمج المعيار في مخطط تحسين النص الوصفي أثناء الاستدلال لمنع توليد محتوى محفوظ.

4. النتائج

قيم المؤلفون طريقتهم على نموذج Stable Diffusion v1.4 و v2.0 باستخدام معايير قياسية:

أداء الكشف:
- في SD v1.4، حققت الطريقة نتائج رائدة (SOTA) بمساحة تحت المنحنى (AUC) بلغت 0.994 ومعدل إيجابي حقيقي (TPR@1%FPR) مرتفع بلغ 0.935.
- في SD v2.0، تفوقت على الطرق الحالية من حيث معدل الإيجاب الحقيقي تحت قيود صارمة للإيجاب الكاذب.
الكفاءة: المعيار المقترح أسرع بنحو 5 إلى 7 مرات من أفضل طريقة سابقة خالية من إزالة الضنو (Jeon et al., 2025) لأنه يتجنب حسابات الهيسيان (Hessian) المكلفة.
فعالية التخفيف: باستخدام معيار MemBench، أظهر المؤلفون أن تعزيز النص الوصفي ينتج صوراً غير متشابهة تماماً مع عينات التدريب (انخفاض في تشابه SSCD) مع الحفاظ على درجات CLIP عالية (توافق النص) ودرجات جمالية (Aesthetic scores) عالية (جودة بصرية).

5. الأهمية

يوفر هذا العمل طريقة أكثر استناداً إلى أسس رياضية لفهم هندسة نماذج الانتشار. ومن خلال إدراك أن "شكل" توزيع الاحتمالية يتغير من متماثل المناحي إلى متباين المناحي أثناء إزالة الضجيج، نجح المؤلفون في سد فجوة حرجة في أبحاث الحفظ. طريقتهم عملية جداً للنشر في العالم الحقيقي، حيث توفر وسيلة للكشف عن انتهاكات حقوق الطبع والنشر والخصوصية ومنعها بسرعة وفعالية دون التكلفة الحسابية الهائلة لعمليات الكشف التقليدية القائمة على إزالة الضجيج.