ملخص تقني: هجمات استنتاج العضوية المستهدفة للحدود على مصنفات السلامة

بيان المشكلة

تعد مصنفات السلامة مكونات حاسمة في أنظمة الذكاء الاصطي توليدي، حيث تُنشر لتصفية المحتوى الضار وتحديد المستخدمين المعرضين للخطر (مثل أولئك الذين يظهرون علامات على إيذاء النفس أو أزمات الصحة النفسية). يتم تدريب هذه النماذج على مجموعات بيانات حساسة تحتوي على تفاعلات مستخدمين حقيقية، بما في ذلك مناقشات حول نقاط الضعف الشخصية. وبينما تعتبر ضرورة هذه المصنفات أمرًا راسخًا، إلا أن آثارها على الخصوصية لا تزال غير مفهومة بشكل كافٍ. وتحديدًا، هناك نقص في الاستقصاء المنهجي حول ما إذا كانت هذه المصنفات تسرب معلومات حول أمثلة البيانات المحددة التي تعرضت لها.

تعالج هذه الورقة البحثية ضعف مصنفات السلامة تجاه هجمات استنتاج العضوية (Membership Inference Attacks - MIA). في هجوم استنتاج العضوية، يحاول المهاجم تحديد ما إذا كانت نقطة بيانات معينة (مثل محادثة مستخدم) جزءًا من مجموعة تدريب النموذج. تشير الحكمة التقليدية في أدبيات استنتاج العضوية إلى أن الهجمات تكون أكثر فعالية ضد الأمثلة ذات الثقة العالية، حيث يكون النموذج قد حفظ البيانات بوضوح. ومع ذلك، تتحدى هذه الورقة هذا الافتراض بالنسبة لمصنفات السلامة، بافتراض أن الأهداف الأكثر إفادة للاستنتاج تقع عند الحد الفاصل للقرار (decision boundary)—أي الأمثلة التي يكون فيها المصنف أقل ثقة. ويُفترض أن هذه الحالات الغامضة تعتمد على الحفظ (memorization) بدلاً من التعميم (generalization)، مما يجعلها عرضة بشكل فريد لتسريب الخصوصية.

المنهجية

نموذج التهديد

تفترض الدراسة نموذج تهديد "الصندوق الأسود" القياسي، حيث يمتلك المهاجم وصولًا قائمًا على الدرجات (score-based access) إلى مصنف سلامة $f_\theta$ منشور. يمكن للمهاجم تقديم محادثات مرشحة ومراقبة ناقلات احتمالية الفئة المتوقعة. ولتحسين فعالية الهجوم، يتم تزويد المهاجم أيضًا بـ مصنف مرجعي $f_{ref}$، تم تدريبه على مجموعة بيانات منفصلة من توزيع مشابه. هذا الافتراض يستند إلى الواقع، حيث يقوم مزودو النماذج غالبًا بنشر أوزان مصنفات السلامة العامة (مثل Llama Guard و ShieldGemma) والتي يمكن أن تعمل كنماذج مرجعية دون الوصول إلى البيانات التدريبية الخاصة بالهدف.

استراتيجية الاختيار المستهدف للحدود

المساهمة المنهجية الأساسية هي الاختيار المستهدف للحدود (boundary-targeted selection). بخلاف طرق استنتاج العضوية القياسية التي تقيم عينات مختارة عشوائيًا، تقوم هذه الاستراتيجية بتصفية مجموعة المرشحين لعزل الأمثلة الموجودة بالقرب من الحد الفاصل لقرار المصنف.

1. مصنف الاختيار: يتم تدريب مصنف منفصل $f_S$ على مجموعة معايرة ($D_{cal}$) منفصلة عن بيانات تدريب الهدف والبيانات المرجعية. يضمن ذلك استقلالية $f_S$ عن النموذجين المستهدف والمرجعي.
2. التصفية: يقوم المهاجم بتقييم جميع الأمثلة المرشحة بناءً على الاحتمالية التي تمنحها $f_S$ للتسمية (label) الحقيقية. يتم الاحتفاظ بـ $n$ من المرشحين ذوي الاحتمالات الأدنى (أي حيث تكون $f_S$ الأقل ثقة) لتشكيل "مجموعة الحدود" $B$.
3. المنطق: يعزل هذا النهج الأمثلة التي لا يمكن عزو ثقة المصنف المستهدف فيها إلى القدرة الجوهرية على الفصل (بما أن النموذج المرجعي أيضًا غير واثق). وبالتالي، فإن أي ثقة متبقية في النموذج المستهدف يمكن عزوها بشكل أكثر منطقية إلى حفظ المثال التدريبي المحدد.

دالات التقييم (Scoring Functions)

تقيم الدراسة دالتين قياسيتين للتقييم على مجموعة الحدود المختارة:

• القائم على الخسارة (Loss-based): يحدد عتبة ثقة المصنف المستهدف في التسمية الحقيقية ($s = \log f_\theta(x)_y$).
• هجوم نسبة الاحتمالية (LiRA): يقوم بمعايرة ثقة الهدف مقابل النموذج المرجعي ($s = \log f_\theta(x)_y - \log f_{ref}(x)_y$).

الإعداد التجريبي

قيم المؤلفون هذه الاستراتيجية عبر:

• أربعة نماذج لغوية: Llama-3.2-1B، Llama-3.2-3B، Llama-3.1-8B، و Gemma-3-12B.
• خمس مجموعات بيانات: تمتد من المحادثات أحادية الدور (BeaverTails)، إلى عمليات الاختراق متعددة الأدوار (X-Guard-Train)، والدعم العاطفي متعدد المحادثات (ESConv، Psychotherapy Eval)، وتكوين مجمع.
• أنظمة التدريب: كل من الضبط الدقيق الكامل (full fine-tuning) والضبط الدقيق الفعال للمعلمات (LoRA).

النتائج الرئيسية

تضخيم فعالية الهجوم

تفوق استراتيجية الاستهداف للحدود بشكل كبير على طرق الاختيار العالمي القياسية.

• زيادة الأداء: في مصنف تم ضبطه بدقة للكشف عن المستخدمين الذين يحتاجون إلى دعم عاطفي، استعاد الهجوم المستهدف للحدود 19% من المحادثات التي تم وضع علامة عليها عند معدل خطأ إيجابي بنسبة 5%. وهذا أعلى بـ 3.5 مرة من الهجمات التي تستخدم أحدث طرق استنتاج العضوية وحدها.
• تحسينات MI-AUC: عبر النماذج ومجموعات البيانات، حقق استهداف الحدود مكاسب في MI-AUC تتراوح بين +0.12 إلى +0.16 للفئات الآمنة و+0.04 إلى +0.18 للفئات غير الآمنة تحت نظام LoRA. وبالنسبة للمحادثات متعددة الأدوار التي تتضمن تفاعلات حساسة للغاية، تجاوز MI-AUC لـ 0.75 للمحادثات غير الآمنة.
• القوة تجاه سعة التدريب: بينما وُجد أن LoRA يقلل من الضعف تجاه الهجمات العالمية (خاصة على المحتوى غير الآمن)، إلا أن الهجوم المستهدف للحدود سد هذه الفجوة، مستخرجًا إشارة كبيرة حتى في إعدادات التدريب الفعال للمعلمات. يشير هذا إلى أن LoRA يحمي الفئة "السهلة" ولكنه يترك إشارة الحد الفاصل قائمة.

خصائص الأمثلة الضعيفة

• ارتباط الثقة: يوجد علاقة رتيبة متسقة بين ثقة المصنف ونجاح الهجوم. الأمثلة في أدنى عشرية للثقة (حيث يعاني النموذج أكثر) تحقق أعلى MI-AUC، بينما تقترب الأمثلة عالية الثقة من مستوى العشوائية.
• فئات الضرر: يختلف الضعف حسب الفئة. أظهرت "المواضيع المثيرة للجدل" و"خطاب الكراهية" أقوى إشارات العضوية (MI-AUC 0.66–0.74)، بينما كانت الفئات ذات التعريفات الواضحة مثل "الجرائم المالية" أقرب إلى العشوائية. يدعم هذا الفرضية القائلة بأن المحتوى الغامض والذاتي هو ما يدفع عملية الحفظ.
• القدرة على التعميم: تم تكرار التأثير في مهمة فحص الاكتئاب (باستخدام بيانات Reddit)، حيث حقق هجوم LiRA المستهدف للحدود MI-AUC قدره 0.867، وهو تحسن مطلق قدره 0.21–0.26 عن الخط المرجعي.

تقييم الدفاع

تبحث الورقة في استراتيجيتين للتخفيف:

1. التصفية القائمة على المحتوى: اختبر المؤلفون ما إذا كانت أمثلة الحدود متميزة دلاليًا (متطرفة هندسيًا) في فضاء التضمين (embedding space). باستخدام تحليل القيم المتطرفة لـ Sentence-BERT والحالات المخفية، وجدوا عدم وجود دليل ذي دلالة إحصائية على أن أمثلة الحدود متميزة. وبالتالي، يُعت-بر التصفية بناءً على الخصائص الهندسية غير فعال.
2. حقن الضوضاء أثناء الاستنتاج: يقترح المؤلفون إضافة ضوضاء لابلاس (Laplace noise) إلى لوجيتات (logits) المصنف قبل عملية softmax النهائية.
   • النتائج: نجح هذا الدفاع اللاحق (post-hoc) في تخفيف الهجوم. عند مقاييس الضوضاء المتوسطة ($\sigma \le 0.1$)، انخفض MI-AUC للهجوم بمقدار 2–5 نقاط مئوية بينما تدهورت دقة التصنيف بأقل من نقطة واحدة.
   • المقايضة: مقاييس الضوضاء الأعلى ($\sigma = 0.5$) قللت بشكل أكبر من نجاح الهجوم (على سبيل المثال، انخفاض MI-AUC من 0.87 إلى 0.70 لنموذج Llama-3.2-1B) مع خسارة يمكن السيطرة عليها في الفائدة (utility).

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول دراسة منهجية لهجمات استنتاج العضوية التي تستهدف مصنفات السلامة تحديدًا. وتكمن أهميتها الأساسية في:

1. إعادة صياغة سطح الهجوم: إنها تتحدى افتراض استنتاج العضوية التقليدي بأن الأمثلة عالية الثقة هي ناقل التسريب الرئيسي، وتثبت أنه بالنسبة لمصنفات السلامة، فإن الحد الفاصل للقرار هو الثغرة الحرجة.
2. مخاطر الخصوصية في مراقبة الرفاهية: تسلط الضوء على أن المصنفات المصممة للكشف عن ضيق المستخدمين (مثل إيذاء النفس أو الأفكار الانتحارية) معرضة بشكل خاص لاستعادة المحادثات المحددة للمستخدمين الضعفاء، مما يشكل خطرًا شديدًا لإعادة تحديد الهوية.
3. التخفيف العملي: توضح أن التصفية القائمة على المحتوى غير كافية وتقترح دفاعًا عمليًا لاحقًا (حقن الضوضاء) يمكن نشره دون الحاجة لإعادة التدريب، مما يوفر مسارًا لنشر أكثر أمانًا لمصنفات السلامة.

يخلص المؤلفون إلى أنه بينما تعد مصنفات السلامة ضرورية، فإن نشرها الحالي دون ضمانات خصوصية محددة (مثل حقن الضوضاء) يخاطر بالكشف عن التفاعلات الحساسة للمستخدمين الذين تهدف هذه المصنفات لحمايتهم.