← أحدث الأبحاث
💬 NLP

Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects

تقدم هذه الورقة إطاراً نظرياً وتجريبياً يوضح أنه في حين يمكن لنماذج اللغة الانتشارية (DLMs) حفظ بيانات التدريب مع زيادة احتمالية ذلك بالتوازي مع دقة أخذ العينات، إلا أنها تظهر تسريباً أقل بكثير لمعلومات الهوية الشخصية مقارنة بالنماذج ذات التوليد الذاتي (autoregressive models) في ظل تقييمات مشروطة ببادئات متوافقة.

المؤلفون الأصليون: Xiaoyu Luo, Wenrui Yu, Qiongxiu Li, Johannes Bjerva

نُشر 2026-03-04
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Xiaoyu Luo, Wenrui Yu, Qiongxiu Li, Johannes Bjerva

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: طريقتان لكتابة قصة

تخيل أن لديك كاتبين مختلفين يحاولان إكمال قصة بناءً على بضع كلمات بداية (مقدمة).

  1. الكاتب القديم (نموذج التوليد الذاتي - ARM): هذا الكاتب يشبه صفاً صارماً من قطع الدومينو. يكتب كلمة، ثم التي تليها، ثم التي تليها، متحركاً بدقة من اليسار إلى اليمين. لا يمكنه العودة لتغيير ما كتبه سابقاً. هذه هي الطريقة التي تعمل بها معظم نماذج الذكاء الاصطناك الحالية (مثل النسخ الأصلية من ChatGPT).
  2. الكاتب الجديد (نموذج الانتشار - DLM): هذا الكاتب يشبه النحات الذي يعمل بكتلة من الطين. يبدأ بكتلة من "الضجيج" (أو صفحة مليئة بالأقنعة الفارغة ⟨M⟩). هو لا يكتب كلمة بكلمة، بل ينظر إلى الصفحة بأكملها، ويخمن ما قد تكون عليه بعض الكلمات، ثم يملأ الفراغات، ثم ينظر إلى الصفحة بأكملها مرة أخرى ليصقل تلك التخمينات. يستمر في صقل الصفحة بأكملها حتى تصبح منطقية. هذه هي تقنية "الانتشار" الجديدة.

المشكلة: خطر "آلة التصوير"

لكل من الكاتبين عيب سري: الحفظ والاسترجاع (Memorization).
إذا درّبتهم على مكتبة ضخمة من الكتب، فقد يحفظون صفحات معينة عن طريق الخطأ. إذا طلبت منهم إكمال جملة تبدأ بكتاب مشهور، فقد يقومون ببساطة بـ "اجترار" (نسخ ولصق) بقية الكتاب، بما في ذلك المعلومات الخاصة مثل أرقام الهواتف أو عناوين البريد الإلكتروني.

نحن نعلم أن "الكاتب القديم" يفعل ذلك كثيراً. لكننا لم نكن نعرف ما إذا كان "الكاتب الجديد" (الانتشار) أكثر أماناً أم أكثر خطورة.

اكتشاف الورقة البحثية: تأثير "عدسة الزووم"

لقد صمم الباحثون طريقة جديدة لاختبار الكاتب الجديد. أدركوا أن الكاتب الجديد لديه إعداد خاص يسمى دقة أخذ العينات (Sampling Resolution). فكر في هذا الإعداد كأنه عدسة زووم أو عدد الخطوات التي يتخذها الكاتب لإنهاء المهمة.

  • الدقة المنخفضة (سريع/خشن): يخمن الكاتب كتلًا كبيرة من النص دفعة واحدة. يكون سريعاً، لكن الأمر يشبه النظر إلى صورة من بعيد؛ قد تحصل على الفكرة العامة، لكنك لن ترى التفاصيل الدقيقة.
  • الدقة العالية (بطيء/دقيق): يخمن الكاتب كلمة واحدة صغيرة في كل مرة، ويقوم بصقل الصورة بأكملها خطوة بخطوة. الأمر يشبه عمل "زووم" حتى تتمكن من قراءة البكسلات الفردية.

النتيجة الكبرى:
تثبت الورقة البحثية قاعدة مفاجئة: كلما زاد عدد الخطوات (الدقة العالية) التي تتخذها، زاد احتمال قيام الذكاء الاصطناعي بنسخ بيانات التدريب حرفياً.

  • تشبيه: تخيل أنك تحاول تخمين كلمة سر سرية.
    • إذا خمنت كلمة السر كاملة في قفزة واحدة عملاقة (دقة منخفضة)، فقد تخطئ.
    • إذا خمنت حرفاً واحداً، ثم تحققت منه، ثم خمنت الحرف التالي، وهكذا (دقة عالية)، فأنت أكثر عرضة في النهاية لإعادة بناء كلمة السر الأصلية بدقة.
  • المفاجأة: وجد الباحثون أن "الكاتب القديم" (الذي يكتب كلمة بكلمة) هو في الواقع "الكاتب الجديد" وقد تم رفع مستوى دقته إلى أقصى حد. ولأن الكاتب القديم يكتب دائماً كلمة واحدة في كل مرة، فهو بطبيعته أكثر عرضة لحفظ الأسرار الدقيقة من الكاتب الجديد، الذي عادة ما يخمن في شكل كتل.

التجارب: اختبار "التسريب"

قام الفريق بإجراء اختبارات لمعرفة مقدار "معلومات الهوية الشخصية" (PII) مثل رسائل البريد الإلكتروني وأرقام الهواتف التي تسربتها هذه النماذج.

  1. الإعداد: أخذوا نموذجين متقاربين في الحجم (واحد قديم وواحد جديد) وأعطوهما نصاً يبدأ بعنوان بريد إلكتروني وهمي.
  2. النتيجة:
    • الكاتب القديم (ARM): كان بمثابة "صنبور يسرب"؛ فقد أكمل الجملة بشكل متكرر بعنوان البريد الإلكتروني الحقيقي الذي حفظه.
    • الكاتب الجديد (DLM): كان أكثر أماناً بكثير. حتى عندما طُلب منه إكمال الجملة، نادراً ما نسخ البيانات الخاصة بدقة.
  3. الخدعة: إذا أجبروا الكاتب الجديد على استخدام "الدقة القصوى" (تخمين حرف واحد في كل مرة، تماماً مثل الكاتب القديم)، فإنه بدأ بالفعل في تسريب المزيد من البيانات. ولكن في وضعه الطبيعي، الأسرع، كان أكثر أماناً.

لماذا يهم هذا؟

  • الخصوصية: إذا كنت قلقاً من أن يقوم الذكاء الاصطناعي عن طريق الخطأ بإفشاء بياناتك الخاصة (مثل عنوان منزلك أو رقم بطاقتك الائتمانية)، فقد تكون نماذج "الانتشار" الجديدة خياراً أكثر أماناً إذا لم تجبرها على العمل بـ "حركة بطيئة" (دقة عالية).
  • المقايضة: النماذج الجديدة أسرع ويمكنها النظر إلى الجملة بأكملها في وقت واحد (مما يساعدها على فهم السياق بشكل أفضل)، لكن هذا النهج "المضبب" يساعد في الواقع على إخفاء الأسرار المحفوظة.
  • التحذير: إذا طلبت من نموذج الانتشار أن يكون فائق الدقة وأن يتخذ خطوات صغيرة كثيرة لتوليد النص، فأنت تقوم فعلياً بتحويله إلى "آلة تصوير" أكثر عرضة لتسريب الأسرار.

ملخص في سطور

  • الذكاء الاصطناعي القديم: يكتب كلمة بكلمة. جيد جداً في نسخ الأسرار بدقة.
  • الذكاء الاصطناعي الجديد: يصقل النص بأكمله في وقت واحد. هو بشكل عام أفضل في الحفاظ على سلامة الأسرار لأن أسلوبه يعتمد على "التخمين" بدلاً من "التسميع".
  • القاعدة: كلما أُجبر الذكاء الاصطناعي الجديد على أن يكون دقيقاً ويسير بخطوات صغيرة جداً، بدأ يتصرف مثل الذكاء الاصطناعي القديم ويبدأ في تسريب الأسرار.
  • الخلاصة: نماذج الانتشار الجديدة واعدة فيما يتعلق بالخصوصية، لكننا بحاجة للحذر من إجبارها على العمل بطريقة تجعلها دقيقة للغاية، وإلا فقد تبدأ في حفظ بياناتنا الخاصة تماماً مثل النماذج القديمة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →