Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
تجادل هذه الورقة بأن مقاييس استدلال العضوية الإجمالية مثل (ROC-AUC) تحجب الخطر الشديد، المعتمد على السعة، المتمثل في استخراج بيانات التدريب حرفياً من النماذج اللغوية ذات الصندوق الأسود، حيث تُظهر أن وثائق محددة تحتوي على معرفات أو أكواد برمجية يتم تسريبها بشكل متكرر بغض النظر عن الخطوط المرجعية العمياء أو إزالة التكرار، وتقترح إطار عمل للتدقيق الاحتمالي لكل وثيقة عبر أداة "leakit" لقياس هذا الضرر المتعلق بالخصوصية بدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة ما إذا كانت وصفة سرية محددة قد استُخدمت لخبز كعكة عملاقة غامضة. لا يمكنك رؤية المطبخ، ولا يمكنك سؤال الخباز عن قائمة المكونات. كل ما يمكنك فعله هو أن تطلب من الخباز صنع بضع شرائح أخرى من الكعكة بناءً على فتات صغير وجدته سابقاً. إذا استمر الخباز في إخراج نفس قائمة المكونات السرية في كل مرة تطلب فيها ذلك، فقد تخمن أن الوصفة السرية كانت بالفعل في ذاكرته. هذا هو عالم "نماذج اللغة" — وهي برامج حاسوبية فائقة الذكاء تتعلم من خلال قراءة كميات هائلة من النصوص من الإنترنت. إنها تشبه أولئك الخبازين، ولكن بدلاً من الكعك، هي تتنبأ بالكلمة التالية في الجملة.
السؤال الكبير الذي يطرحه العلماء هو: هل تتذكر هذه النماذج الرقمية الكتب المحددة التي "أكلتها"؟ يُسمى هذا "استنتاج العضوية" (Membership Inference). إذا تذكر النموذج مستنداً معيناً، فقد يسرب بالخطأ تفاصيل خاصة، مثل عنوان بريد إلكتروني لشخص ما أو رقم هاتفه، والتي كانت مخفية داخل ذلك المستند. لفترة طويلة، حاول الباحثون قياس ذلك من خلال النظر إلى "متوسط" أداء اختباراتهم. كانوا يقولون: "مهلاً، اختبارنا دقيق بنسبة 90%!" ولكن تماماً مثل توقعات الطقس التي تقول إن الجو "مشمس غالباً" لكنها تغفل عن عاصفة مفاجئة وخطيرة، فإن هذه الدرجات المتوسطة قد تخفي حقيقة أن النموذج يسرب أسراراً خطيرة لبعض الأشخاص سيئي الحظ.
هذه الورقة البحثية، التي تحمل عنوان "LEAK IT"، تأخذ نظرة جديدة لكيفية رصد هذه التسريبات الرقمية. يجادل المؤلف، بقيادة فيكتور ماريكاتو، بأن الطريقة القديمة في قياس الخصوصية مضللة. لقد وجدوا أن العديد من الاختبارات "الذكية" التي تدعي القدرة على اكتشاف ما إذا كان المستند موجوداً في بيانات التدريب كانت في الواقع مجرد تخمين بناءً على أسلوب النص نفسه، وليس بناءً على ذاكرة النموذج. الأمر يشبه محاولة تخمين ما إذا كانت الكعكة قد صُنعت بوصفة سرية بمجرد النظر إلى لون الكريمة، بينما لون الكريمة في الواقع ليس سوى محض صدفة.
ومع ذلك، تكشف الورقة عن حقيقة أكثر خطورة: بينما قد يبدو الاختبار "المتوسط" غير ضار، إلا أن النموذج يسرب بالفعل، ولكن لمجموعة صغيرة ومحددة جداً من المستندات. اكتشف الباحث أنه إذا طلبت من النموذج إكمال جملة من كود برمجي أو مستند يحتوي على عنوان بريد إلكتروني حقيقي، فإنه سيبصق أحياناً تلك المعلومة الخاصة بدقة وحرفية. يبدو الأمر كما لو أن الخباز، عندما يُطلب منه إنهاء جملة عن توابل نادرة ومحددة، يصرخ فجأة بالعلامة التجارية ورقم الدفعة الخاصين بتلك التوابل بالضبط، رغم أنه لن يفعل ذلك مع مكون شائع مثل الدقيق.
تظهر الدراسة أن هذا "الاستخراج الحرفي" (verbatim extraction) يزداد سوءاً كلما كبرت النماذج. بالنسبة لنموذج يحتوي على 6.9 مليار معلمة (parameter)، تم تسريب حوالي 16.6% من المستندات التي تحتوي على معرفات حقيقية (مثل رسائل البريد الإلكتروني أو أرقام الهواتف) بهذه الطريقة. ومن المثير للدهشة، وجد المؤلف أن مجرد إزالة النصوص المكررة من بيانات التدريب (وهي خطوة شائعة لتعزيز السلامة) لم يوقف حدوث ذلك حقاً. كما أظهروا أن هذه المخاطرة ليست موزعة بالتساوي؛ فهي أعلى بكثير بالنسبة للأكواد البرمجية مقارنة بالقصص أو المقالات العادية.
الخلاصة الرئيسية هي أننا بحاجة إلى التوقف عن النظر إلى درجة الخصوصية "المتوسطة" والبدء في فحص هذه التسريبات عالية الخطورة بشكل محدد. لقد أصدر المؤلف أداة جديدة تسمى "leakit" لمساعدة المدققين في العثور على هذه اللحظات الدقيقة التي قد يكشف فيها النموذج عن سر خاص عن طريق الخطأ. ويقترح أنه بدلاً من مجرد قول "النموذج آمن في الغالب"، يجب علينا الاعتراف بأنه بالنسبة لمستندات معينة، يعد النموذج وسيلة فعالة جداً لتسريب الذاكرة، وأننا بحاجة إلى حماية أقوى، مثل درع خصوصية خاص يسمى "الخصوصية التفاضلية" (differential privacy) لإصلاح ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.