🤖 machine learning

Membership Inference Attacks on Discrete Diffusion Language Models

تُثبت هذه الورقة أن نماذج لغة الانتشار المقنعة (Masked Diffusion Language Models) التي تم ضبطها بدقة هي أكثر عرضة لهجمات استدلال العضوية مما كان يُعتقد سابقاً، حيث تحقق معدلات نجاح عالية من خلال مصنفات قائمة على خسارة إعادة البناء وهجمات نقل النموذج الظلي العملية.

المؤلفون الأصليون: Shailesh Kasivelrajan

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shailesh Kasivelrajan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً درس مجموعة محددة من الكتب السرية. تريد أن تعرف ما إذا كانت جملة معينة كتبها قد جاءت من تلك الكتب السرية أم أنه ألفها في اللحظة نفسها. هذه هي المشكلة الجوهرية لـ هجوم استنتاج العضوية (Membership Inference Attack - MIA): معرفة ما إذا كانت قطعة من البيانات جزءاً من "ذاكرة" النموذج.

تبحث هذه الورقة البحثية في نوع جديد من الذكاء الاصطناعي يسمى نموذج اللغة بالانتشار المقنع (Masked Diffusion Language Model - MDLM). وخلافاً للذكاء الاصطناعي التقليدي الذي يكتب كلمة تلو الأخرى (مثل ملء لغز الكلمات المتقاطعة)، يعمل هذا النوع الجديد من الذكاء الاصطناعي من خلال النظر إلى جملة تحتوي على كلمات عشوائية مخفية (مقنعة) ومحاولة تخمين الكلمات التي كانت موجودة.

إليك قصة ما وجده الباحثون، مشروحة ببساطة:

1. "اختبار الذاكرة" الجديد

اكتشف الباحثون أن نماذج الذكاء الاصطناعي الجديدة هذه أكثر عرضة لكشف أسرارها مما كنا نعتقد.

الطريقة القديمة ("التخمين من مرة واحدة"): حاولت الطرق السابقة تخمين ما إذا كانت الجملة موجودة في مجموعة التدريب من خلال النظر إلى درجة واحدة فقط: "مدى جودة تخمين النموذج للكلمات المفقودة؟" كان الأمر يشبه سؤال الطالب: "هل أصبت في هذا؟"
الطريقة الجديدة ("اختبار المسار"): أدرك الباحثون أن عملية التخمين أهم من النتيجة النهائية. لقد راقبوا كيف يتغير أداء النموذج مع إخفاء المزيد والمزيد من الكلمات، خطوة بخطوة.
- التشبيه: تخيل أنك تطلب من الطالب إعادة بناء جملة.
  - إذا كانت الجملة جديدة (ليست في ذاكرته)، فإنه سيعاني أكثر كلما أخفيت كلمات أكثر. أداؤه ينخفض بشكل مستمر.
  - إذا كانت الجملة قديمة (من بيانات تدريبه)، فإنه سيتخطاها بسهولة. حتى لو أخفيت نصف الجملة، فإنه يتذكرها جيداً بحيث يظل أداؤه عالياً ومنتظماً.
- من خلال تتبع "منحنى الأداء" (المسار) عند أربعة مستويات مختلفة من الصعوبة، تمكن الباحثون من معرفة ما إذا كانت الجملة موجودة في مجموعة التدريب بدقة عالية.

2. النتائج: محقق أذكى

بنى الباحثون "محققاً" (برنامج كمبيوتر) ينظر إلى منحنيات الأداء هذه.

الدرجة: في اختبار قياسي شمل ستة أنواع مختلفة من النصوص (مثل الأوراق الطبية، والبرمجة، وويكيبيديا)، كان محققهم صحيحاً بنسبة 88% تقريباً.
هزيمة المنافسين: كان هذا أفضل بكثير من أفضل طريقة سابقة (تسمى SAMA)، والتي كانت صحيحة بنسبة 82% فقط. الطريقة الجديدة تشبه الترقية من عدسة مكبرة إلى مجهر عالي القدرة.

3. خدعة "الظل" (الهجوم دون استهداف النموذج الأصلي)

عادةً، لتنفيذ هذا الهجوم، تحتاج إلى رؤية النموذج المحدد الذي تهاجمه. ولكن ماذا لو لم تستطع؟

التشبيه: تخيل أنك تريد معرفة ما إذا كان شخص معين قد حفظ كتاباً، لكن لا يُسمح لك بالتحدث إليه. بدلاً من ذلك، قم بتدريب ثلاثة طلاب آخرين على كتب مختلفة باستخدام نفس طريقة التدريس تماماً.
النتيجة: قام الباحثون بتدريب هؤلاء الطلاب "الظليين" على بيانات غير متعلقة بالهدف. ثم استخدموا الأنماط التي تعلموها من هؤلاء الطلاب الظليين لمهاجمة النموذج المستهدف. ومن المثير للدهشة، أن هجوم "الظل" هذا نجح في العمل بنفس كفاءة امتلاك وصول مباشر إلى النموذج المستهدف! فقد كان أقل دقة بنسبة 2% فقط. وهذا يثبت أنك لست بحاجة إلى النموذج الأصلي لسرقة أسراره؛ بل تحتاج فقط إلى فهم كيفية تدريبه.

4. ما الذي يهم حقاً؟ ("الخلطة السرية")

قام الباحثون بتفكيك "المحقق" الخاص بهم لمعرفة أي الأدلة كانت مفيدة بالفعل. ووجدوا شيئين مفاجئين:

الفائز: كان منحنى الأداء (كيف تغيرت ثقة النموذج مع إخفاء المزيد من الكلمات) هو الدليل الأكثر أهمية بمفرده. إذا تمت إزالته، تنهار دقة المحقق.
الخاسر: نظروا إلى "خرائط الانتباه" الداخلية للنموذج (أي الأجزاء من الجملة التي ركز عليها النموذج). ووجدوا أنها كانت عديمة الفائدة لهذا الهجوم تحديداً.
- التشبيه: الأمر يشبه محاولة تخمين الكتاب الذي قرأه شخص ما من خلال النظر إلى الكلمات التي وضع تحتها خطاً. وجد الباحثون أن أسلوب وضع الخطوط تحت الكلمات كان خاصاً جداً بموضوع الكتاب (على سبيل المثال، البرمجة تبدو مختلفة عن النصوص الطبية) ليكون مفيداً عبر الكتب المختلفة. ومع ذلك، فإن سرعة تذكرهم للنص كانت إشارة عالمية.

5. الخلاصة

تخلص الورقة البحثية إلى أن نماız لغة "الانتشار" (Diffusion) الجديدة هذه سهلة الخداع بشكل مفاجئ للكشف عن بيانات تدريبها.

ببساطة، من خلال مراقبة كيفية تغير ثقة النموذج مع إخفاء المزيد من الكلمات، يمكن للمهاجم معرفة ما إذا كان النص جزءاً من مجموعة التدريب بدقة عالية جداً.
هذه الثغرة موجودة حتى لو لم يمتلك المهاجم النموذج الأصلي، طالما يمكنه تدريب نموذج "ظل" لمحاكاة السلوك.

باختصار: هذه النماذج اللغوية الجديدة لديها "علامة مميزة". عندما يحاولون تذكر شيء رأوه من قبل، فإنهم يتعاملون مع المعلومات المفقودة بشكل مختلف عن تعاملهم مع الأشياء الجديدة. لقد وجد الباحثون طريقة لرصد هذه العلامة، مما يثبت أن هذه النماذج قد لا تكون خاصة كما كنا نأمل.

ملخص تقني: هجمات استنتاج العضوية على نماذج اللغة ذات الانتشار المنفصل

بيان المشكلة

تتعرض نماذج اللغات الكبيرة (LLMs) التي تم تدريبها أو ضبطها بدقة (fine-tuning) على بيانات خاصة لخطر التسرب، مما يشكل مخاطر على الخصوصية بسبب ظاهرة الحفظ (memorization). تهدف هجمات استنتاج العضوية (MIA) إلى تحديد ما إذا كان نص معين جزءًا من مجموعة بيانات تدريب النموذج. وبينما تمت دراسة MIA بشكل مكثف للنماذج ذات التوليد التلقائي (autoregressive) — حيث تعمل احتمالات الـ log-probability لكل رمز (token) كدرجات طبيعية — تعمل نماذج اللغة ذات الانتشار المنفصل (وتحديداً نماذج الانتشار المقنع أو MDLMs) بشكل مختلف. إذ تقوم هذه النماذج بإعادة بناء الرموز المقنعة عشوائياً عبر عملية إزالة القناع المتكررة (iterative demasking) بدلاً من التنبؤ بالرمز التالي. ونتيجة لذلك، تفتقر هذه النماذج إلى احتمالية غير مشروطة (unconditional likelihood) واحدة، كما أن الدراسات الحالية حول الخصوصية في نماذج MDLMs محدودة. يبحث هذا البحث فيما إذا كانت نماذج MDLMs عرضة لهجمات MIA، وما إذا كانت النماذج المرجعية (baselines) الرمادية (grey-box) الحالية (مثل SAMA) تستوعب هذه الثغرة بشكل كافٍ.

المنهجية

نموذج التهديد

تقيم الدراسة سيناريوهين للهجوم:

الصندوق الأبيض (White-box): يمتلك المهاجم أوزان النموذج الذي تم ضبطه بدقة ويمكنه الوصول إلى الحالات الداخلية، وخرائط الانتباه (attention maps)، وموترات التدرج (gradient tensors) أثناء عمليات المرور الأمامي (forward passes) مع أنماط قناع عشوائية.
نقل نموذج الظل (Shadow-Model Transfer): يفتقر المهاجم إلى تسميات العضوية للنموذج المستهدف ولكنه يمتلك المعمارية ووصفة الضبط الدقيق. يقوم المهاجم بتدريب نماذج MDLMs بديلة (surrogate) على بيانات من مجالات غير متعلقة لتوليد تصنيفات للمجال المستهدف دون الحاجة لإعادة التدريب.

استخراج الميزات: مسار الانتشار (Diffusion-Trajectory)

المساهمة الجوهرية هي طريقة استخراج ميزات الصندوق الأبيض القائمة على مسار حد أدنى للاحتمال (ELBO trajectory). بخلاف الهجمات القائمة على القيم القياسية (scalar-based)، تحلل هذه الطريقة كيفية تغير خسارة إعادة البناء المقنعة مع زيادة نسبة القناع ( $\alpha$ ).

العملية: يتم تقييم النص المعطى عند أربع نسب قناع مختلفة ( $\alpha \in \{0.05, 0.20, 0.35, 0.50\}$ ). عند كل نسبة، يتم تطبيق $K=8$ أقنعة عشوائية مستقلة لتقليل التباين.
متجه الميزات: يتم إنشاء متجه مكون من 46 بُعداً عن طريق دمج:
- مسار ELBO (4 أبعاد): الـ NLL المقنع عند كل نسبة.
- مشتقات ELBO (8 أبعاد): تقديرات الفرق المحدود للمشتقات الأولى ($dL/dt $) والثانية ($ d^2L/dt^2$).
- الاعتلاج التنبؤي (Predictive Entropy) (4 أبعاد): متوسط الاعتلاج فوق المواضع المقنعة.
- اتساق القناع (Mask Consistency) (4 أبعاد): الاتفاق بين تجليات القناع المستقلة.
- إحصائيات الحالة الخفية (8 أبعاد): معايير $\ell_2$ والتشابه الجيبي (cosine similarity) بين الحالات الخفية للنموذج الأساسي والنموذج المضبوط بدقة.
- إشارات الانتباه (16 بُعداً): الاعتلاج، الارتباط عبر الطبقات، مركز باراسنتر للنقل (transport barycenter)، والاضطراب.
- الإشارات العالمية (بُعدان): التشابه الجيبي عبر النماذج وتباين ELBO.

التصنيف

يتم تغذية متجهات الميزات المستخرجة في مصنفات تعتمد على تعزيز التدرج (XGBoost, LightGBM) وشبكات MLP. تُدرب هذه النماذج باستخدام التحقق المتقاطع الطبقي ذو الـ 5 طيات (5-fold stratified cross-validation).

إعداد نموذج الظل

لمحاكاة هجوم واقعي بدون تسميات الهدف، يتم ضبط ثلاثة نماذج MDLMs بديلة ( $K=3$ ) باستخدام بيانات بديلة من معيار MIMIR (بتجميع جميع المجالات الستة). يتم تطبيق المصنف المدرب على هذه النماذج الظلية مباشرة على متجهات ميزات المجال المستهدف.

المساهمات الرئيسية

MIA مسار الصندوق الأبيض: يثبت المؤلفون أن استخراج متجه ميزات مكون من 46 بُعداً يعتمد على مسار ELBO يسمح باستنتاج عضوية عالي الفعالية في نماذج MDLMs المضبوطة بدقة.
قابلية نقل نموذج الظل: يثبت البحث أن نقل نموذج الظل هو ناقل هجوم عملي. فالمصنفات المدربة على مجالات غير متعلقة تحقق أداءً يقارب نماذج الصندوق الأبيض (oracles) دون الحاجة لتسميات عضوية للمجال المستهدف.
استئصال الميزات وعزل الإشارة: من خلال تحليل "ترك الميزة الواحدة (LOSO)"، يحدد البحث أن مسار ELBO هو المحرك الرئيسي لنجاح الهجوم. وقد تبين أن الميزات القائمة على الانتباه هي ميزات خاصة بالمجال وغير قابلة للنقل.
التفوق على النماذج المرجعية: تتفوق الطريقة المقترحة بشكل كبير على النموذج المرجعي الحالي للنموذج الرمادي (SAMA).

النتائج

مقاييس الأداء

تم التقييم على معيار MIMIR عبر ستة مجالات نصية (arXiv, GitHub, HackerNews, Pile-CC, PubMed, Wikipedia):

AUC-ROC: يحقق مصنف XGBoost متوسط AUC قدره 0.878 (±0.046)، ويصل ذروته عند 0.930 في Pile-CC. وهذا يتجاوز النموذج المرجعي SAMA (0.876) بمقدار +0.062 في المتوسط.
معدل الإيجاب الكاذب المنخفض (Low FPR): عند معدل 1% FPR صارم، يستعيد XGBoost ما بين 15-40% من الأعضاء اعتماداً على المجال، مقارنة بـ 3-10% لـ SAMA. وعند 0.1% FPR، يحافظ XGBoost على استدعاء (recall) بنسبة 4-18%، بينما يفشل SAMA في تحديد الدرجات بشكل موثوق عند هذا المستوى من الدقة.
نقل الظل (Shadow Transfer): يحقق هجوم نموذج الظل (الحالة B) متوسط AUC قدره 0.858، وهو قريب جداً من نموذج الصندوق الأبيض (بفارق 0.020). ومن المثير للاهتمام، في Pile-CC، تجاوز هجوم الظل قليلاً معدل TPR الخاص بالنموذج الأصلي عند 1% FPR (40.4% مقابل 37.7%).

أهمية الميزات

هيمنة ELBO: يؤدي حذف ميزات مسار ELBO إلى انخفاض متوسط في AUC قدره 0.130، وهو ما يتجاوز الفجوة الكاملة في الأداء بين الطريقة المقترحة وSAMA.
عدم أهمية الانتباه: تساهم الميزات القائمة على الانتباه بأقل من 0.003 في AUC بشكل فردي. وعند استخدام ميزات الانتباه وحدها في إعداد نموذج الظل، فإنها تعطي AUC قدره 0.525 (قريب من العشوائية)، مما يؤكد عدم قدرتها على الانتقال عبر المجالات.
الهجوم الأدنى الفعال: يحقق طقم ميزات مختزل مكون من 8 أبعاد (ELBO + الاعتلاج التنبؤي) متوسط AUC قدره 0.843 في نقل الظل، مما يوفر تسريعاً بمقدار 6 أضعاف في استخراج الميزات مع فقدان ضئيل في الدقة.

تباين المجالات

الأكثر عرضة للخطر: أظهر كل من Pile-CC (AUC 0.930) وHackerNews (AUC 0.928) أعلى مستويات الضعف، ويرجع ذلك على الأرجح إلى التنوع اللغوي العالي الذي يركز مزايا إعادة البناء على النصوص التدريبية.
الأقل عرضة للخطر: كان GitHub (AUC 0.801) هو الأصعب في الهجوم، حيث أدت الانتظام الهيكلي للكود البرمجي إلى قيم ELBO متشابهة للأعضاء وغير الأعضاء رغم وجود فجوة كبيرة في قيمة ELBO الخام.

الأهمية والادعاءات

يزعم البحث أن نماذج MDLMs المضبطة بدقة هي أكثر عرضة لهجمات استنتاج العضوية مما توحي به النماذج المرجعية الرمادية الحالية. إن الاعتماد على إزالة القناع المتكررة يخلق ثغرة فريدة حيث يقوم مسار خسارة إعادة البناء، وليس مجرد درجة قياسية واحدة، بتشفير معلومات العضوية.

يؤكد المؤلفون أن نهج نقل نموذج الظل يجعل هذا التهديد عملياً في السيناريوهات الواقعية حيث قد لا يمتلك المهاجمون وصولاً إلى الحالات الداخلية للنموذج المستهدف أو تسميات تدريبه. ومن خلال التدريب على مجالات غير متعلقة، يمكن للمهاجمين تحقيق أداء يقارب أداء النموذج الأصلي، مما يشير إلى أن دفاعات الخصوصية لنماذج MDLMs يجب أن تأخذ في الاعتبار قابلية النقل عبر المجالات.

تخلص الدراسة إلى أنه بينما تعتبر آليات الانتباه حاسمة لأداء النموذج، إلا أنها ليست إشارات موثوقة لـ MIA في نماذج الانتشار ولا تتعمم عبر المجالات. وعلى العكس من ذلك، فإن مسار ELBO هو إشارة قوية وقابلة للنقل لعملية الحفظ. ويشير البحث بتواضع إلى بعض القيود، بما في ذلك استخدام عائلة نموذج واحدة (Qwen3-0.6B) ومجموعات تدريب صغيرة، مع الإقرار بأن السلوك قد يختلف في النماذج الأكبر أو أنظمة ما قبل التدريب. كما يُقترح كعمل مستقبلي توسيع هذه الهجمات لتشمل متغيرات أخرى من MDLMs (مثل LLaDA) وتطوير دفاعات مثل الخصوصية التفاضلية (differential privacy) أثناء الضبط الدقيق.