Membership Inference Risks in Quantized Models: A Theoretical and Empirical Study

ملخص تقني: مؤشر لأمن استدلال العضوية في النماذج المكممة بعد التدريب

بيان المشكلة
تعد التكميم (Quantization) تقنية واسعة الانتشار لتقليل تكاليف الذاكرة والحوسبة لنماذج تعلم الآلة، لا سيما لنشرها على الأجهزة الطرفية. وبينما تُوثق فوائد كفاءتها بشكل جيد، إلا أن تأثير التكميم على خصوصية النموذج لا يزال غير مستكشف بعمق. وتحديداً، ليس من الواضح ما إذا كان تقليل دقة المعلمات يعزز بطبيعته صمود النموذج ضد هجمات استدلال العضوية (Membership Inference Attacks - MIAs)، والتي تهدف إلى تحديد ما إذا كانت نقطة بيانات معينة جزءاً من مجموعة تدريب النموذج.

تعتمد طرق تقييم الخصوصية الحالية بشكل كبير على الاختبارات التجريبية باستخدام استراتيجيات هجوم محددة. ومع ذلك، فإن هذه النهج محدودة لأنها تعتمد على معرفة وقدرات المهاجم المحددة. ولمعالجة ذلك، تم تقديم مفهوم "أمن استدلال العضوية" (Membership Inference Security - MIS) لتوصيف الضعف ضد أقوى الهجمات الممكنة، بغض النظر عن معرفة المهاجم. ومع ذلك، فإن الحساب المباشر لـ MIS أمر باهظ من الناحية الحسابية، لأنه يتضمن تقدير التباينات بين التوزيعات عالية الأبعاد. تعالج هذه الورقة الفجوة في توفير مؤشر عملي، ومؤسس نظرياً، وخالٍ من الهجمات لتقييم وتصنيف أمن الخصوصية لنماذج التكميم بعد التدريب.

المنهجية
يقترح المؤلفون مؤشرًا جديدًا لـ MIS مشتقًا من تحليل تقاربي نظري لإجراءات التعلم المكممة. الجوهر النظري هو أنه بالنسبة لمجموعات البيانات الكبيرة، يتم توصيف MIS لخوارزمية التعلم المكمم من خلال توزيع خسائر كل عينة عبر تكوينات المعلمات المكممة المختلفة.

1. الأساس النظري: تثبت الورقة أنه مع زيادة حجم مجموعة البيانات $n$، يقترب MIS من 1 (مما يشير إلى أمن عالٍ) بمعدل تحدده تضاريس الخسارة (loss landscape) للنماذج المكممة. وتحديداً، يتم التحكم في المعدل من خلال نسبة مربع الفجوة بين الخسائر المتوقعة لأفضل وأفضل ثاني تكوين مكمم إلى تباين الفرق في خسائر كل عينة بينهما.
2. مؤشر MIS ($r_{Q_n}$): بناءً على هذه النتيجة التقاربية، يعرّف المؤلفون مؤشراً جديداً:
   $$r_{Q_n} := \frac{1}{2} \min_{k>1} \frac{\left( \mathbb{E}[\ell(\bar{\theta}_n^k, z)] - \mathbb{E}[\ell(\bar{\theta}_n^1, z)] \right)^2}{\text{Var}\left( \ell(\bar{\theta}_n^k, z) - \ell(\bar{\theta}_n^1, z) \right)}$$
   حيث يمثل $\bar{\theta}_n^k$ التكوين رقم $k$ للمعلمات المكممة المرتبة حسب الخسارة المتوقعة، و $\ell$ هي دالة الخسارة. هذا المؤشر "خالٍ من الهجمات" لأنه يعتمد فقط على الخصائص الإحصائية لدالة الخسارة بدلاً من تدريب خصم محدد.
3. استراتيجية التقدير: بما أن فضاء جميع النماذج المكممة الممكنة غالباً ما يكون ضخماً أسياً، يقترح المؤلفون طريقة تقدير عملية. حيث يلاحظون أن المؤشر يهيمن عليه تجريبياً النماذج المكممة ذات أدنى خسارة. لذلك، يقومون بتقدير $r_{Q_n}$ من خلال تحليل مسارات التدريب للنموذج، وبالتحديد من خلال التركيز على نقاط التحقق (checkpoints) والنسخ المكممة من الأوزان التي تظهر قيم خسارة منخفضة.

المساهمات الرئيسية

• التوصيف النظري: يثبت المؤلفون أنه بالنسبة لمجموعات البيانات الكبيرة، يتم توصيف MIS لإجراء تعلم مكمم بالكامل من خلال توزيع خسائر كل عينة عبر النماذج المكممة (النظرية 3.4).
• مؤشر جديد: يقدمون $r_{Q_n}$، وهو مؤشر جديد خالٍ من الهجمات يسمح بمقارنة إجراءات التكميم المختلفة بناءً على خصائص الخصوصية المتأصلة فيها.
• التقدير العملي: يتم تقديم منهجية لتقدير هذا المؤشر باستخدام مسارات التدريب، مما يتجنب عدم الجدوى الحسابية لحصر جميع الحالات المكممة الممكنة.
• التحقق التجريبي: تم التحقق من النهج على كل من مجموعات البيانات الاصطناعية والتطبيقات الواقعية، بما في ذلك مهام اكتشاف الأدوية باستخدام النماذج اللغوية الكبيرة والتنبؤ بالخصائص الجزيئية.

النتائج

• البيانات الاصطناعية: أظهرت التجارب على مجموعات البيانات الاصطناعية ارتباط سبيرمان قوياً (متوسط $\rho_{sp} = 0.86$) بين مؤشر $r_{Q_n}$ المقترح وتقدير خط الأساس لـ MIS (الذي يعتمد على تدريب مميز للتمييز بين الأعضاء في التدريب وغير الأعضاء). وكان ترتيب المكممات حسب مستوى الخصوصية متسقاً بين المؤشر الجديد وخط الأساس.
• الاستقرار: حققت الطريقة المقترحة ترتيبات مستقرة بعدد أقل بكثير من عمليات التدريب (حوالي 15 عملية تشغيل) مقارنة بمنهج خط الأساس لـ MIS، والذي يتطلب عدداً أكبر بكثير من عمليات التشغيل (حوالي 150 عملية) للوصول إلى التقارب.
• التطبيقات الواقعية (النماذج اللغوية): في سياق اكتشاف الأدوية باستخدام نماذج اللغة الكبيرة الدقيقة (Qwen2.5)، نجح $r_{Q_n}$ في الارتباط بأداء مختلف هجمات MIA الصندوق الأسود (بما في ذلك هجمات LiRa و LOSS-based). وترتبط قيم $r_{Q_n}$ الأعلى بأداء أقل لهجمات MIA (أي أمن أعلى).
• التطبيقات الواقعية (التنبؤ الجزيئي): في مهام التنبؤ بالخصائص الجزيئية، تكشف الدراسة عن مقايضة بين الأداء والخصوصية. فالتكميم الأقوى (على سبيل المثال، 1.58 بت مع تخلخل بنسبة 90%) يحسن الخصوصية بشكل كبير (ارتفاع $r_{Q_n}$) ولكنه يتسبب في تكلفة للأداء (انخفاض بنحو 10% في AUROC للتصنيف). وعلى العكس من ذلك، فإن التكميم عند 2 بت أو أعلى يحافظ على الأداء ولكنه يوفر تحسيناً أقل في الخصوصية.

الأهمية والادعاءات
تدعي الورقة أنها تسد فجوة حرجة في الفهم النظري للخصوصية في النماذج المكممة. ومن خلال توفير مؤشر صارم وخالٍ من الهجمات، فإنها تمكن الممارسين من تقييم وتصنيف مرونة الخصوصية لاستراتيجيات التكميم المختلفة دون الحاجة إلى محاكاة هجمات مكلفة حاسوبياً. ويؤكد المؤلفون أن عملهم يقدم أداة عملية للموازنة بين الكفاءة والخصوصية عند نشر النماذج.

يظل المؤلفون متواضعين بشأن نتائجهم، مشيرين إلى أنه بينما يعمل المؤشر بفعالية على ترتيب المكممات، فإنه لا يحدد حالياً مكمماً واحداً يحقق في آن واحد أداءً قوياً للمهام وخصوصية عالية. ويقترحون أن العمل المستقبلي يمكن أن يستكشف طرق التدريب الواعي بالتكميم (QAT) لتحسين الأداء في المهمة وتعظيم $r_{Q_n}$ بشكل مشترك. تركز الدراسة على التكميم بعد التدريب (PTQ)، مع الإقرار بأن النتائج قد تختلف بالنسبة لنماذج التدريب الأخرى.