DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

في المشهد المعاصر للذكاء الاصطناعي، أصبحت فئة محددة من الأنظمة تُعرف باسم "نماذج الانتشار" (diffusion models) هي المحرك وراء العديد من الصور الأكثر إثارة التي نراها عبر الإنترنت. تتعلم هذه الأنظمة إنشاء صور جديدة عن طريق البدء بضجيج عشوائي وإزالة الضجيج تدريجيًا حتى تظهر صورة واضحة. وللقيام بذلك، يتم تدريبها على مجموعات ضخمة من الصور الفوتوغرافية الموجودة، حيث تتعلم الأنماط الإحصائية التي تربط صورة بأخرى. وبينما يُحتفى بهذه النماذج لقدرتها على توليد الفن، فقد ظهر قلق صامت بشأن الخصوصية إلى جانب نجاحها؛ فبسبب ندرة جعل القائمة المحددة للصور المستخدمة لتدريب النموذج علنية، يصعب معرفة ما إذا كانت صورة خاصة لشخص معين قد أُدرجت في مجموعة التدريب تلك. وهذا الأمر يكتسب أهمية لعدة أسباب: إذ إن تأكيد استخدام بيانات طبية أو بيومترية لشخص ما قد يشكل انتهاكًا للخصوصية في حد ذاته، وتحت قوانين حماية البيانات الحالية، يمتلك الأفراد الحق في طلب إزالة بياناتهم، ومع ذلك، غالبًا ما لا توجد طريقة للتحقق مما إذا كان النموذج قد "نسيَهم" بالفعل. علاوة على ذلك، إذا حفظ النموذج صورة محمية بحقوق الطبع والنشر بدلاً من تعلم أسلوب عام فقط، فإن ذلك يثير تساؤلات قانونية حول من يملك الصور الجديدة التي ينشئها.

لسنوات، حاول الباحثون بناء أدوات للإجابة على سؤال ما إذا كانت صورة معينة جزءًا من بيانات تدريب النموذج. هذه المحاولات، المعروفة باسم "هجمات الاستدلال على العضوية" (membership inference attacks)، اعتمدت إلى حد كبير على الحدس. كان الباحثون يخمنون أنه إذا كان النموذج قد رأى صورة من قبل، فقد يتفاعل معها بطريقة مختلفة قليلاً عن صورة لم يرها من قبل. وقد اختبروا إشارات متنوعة، مثل مقدار الخطأ الذي يرتكبه النموذج عند محاولة تنظيف نسخة مشوشة من الصورة. ومع ذلك، كانت هذه الأساليب غالبًا غير دقيقة، وتتطلب عددًا كبيرًا من الأسئلة الموجهة للنموذج، وتفتقر إلى أساس نظري متين يفسر سبب نجاحها. لقد كانت تشبه محاولة العثور على إبرة في كومة قش من خلال التخمين حول أي جزء من القش قد يكون حادًا، بدلاً من فهم شكل الإبرة نفسها.

قام فريق من الباحثين في جامعة إلينوي في أوربانا-شامبين الآن بالاقتراب من هذه المشكلة من زاوية مختلفة تمامًا. فبدلاً من التخمين حول الإشارات التي قد تكون مفيدة، بدأوا باشتقاق ما هو أفضل إشارة ممكنة رياضيًا. طرحوا سؤالًا جوهريًا: إذا تم تدريب نموذج انتشار على مجموعة محدودة من الصور، فما هي الدالة النظرية المثالية التي يجب أن يستخدمها لإزالة الضوضاء من أي صورة معطاة؟ ومن خلال حل هذه المسألة رياضيًا، اكتشفوا أن سلوك النموذج محكوم بنوع محدد من المتوسطات (averaging). فعندما ينظر النموذج إلى صورة مشوشة، فإنه يسأل جوهريًا: "أي من صور التدريب الخاصة بي يمكن أن تكون أنتجت هذه الصورة؟" ثم يقوم بدمج الإجابات معًا، مع ترجيح كل صورة تدريب بناءً على مدى تطابقها مع الضوضاء الحالية.

كشفت هذه الرؤية النظرية أن سلوك النموذج يحتوي على دليلين متميزين حول ما إذا كانت الصورة جزءًا من مجموعة التدريب. الدليل الأول هو ما يسميه الباحثون "حد الانحياز" (bias term)؛ وهو يقيس مدى بعد أفضل تخمين للنموذل للصورة الأصلية عن الصورة التي يتم اختبارها. إذا كانت الصورة موجودة في مجموعة التدريب، فسيكون تخمين النموذج قريبًا جدًا من الصورة نفسها، أما إذا لم تكن الصورة قد رُأت من قبل، فسيكون التخمين بعيدًا على الأرجح. هذا الجزء من الإشارة كان معروفًا للباحثين السابقين، الذين استخدموه لبناء هجماتهم. ومع ذلك، كشف اشتقاقهم الرياضي عن دليل ثانٍ تم تجاهله سابقًا: "حد الازدحام" (crowding term). وهو يقيس مدى تكتل صور التدريب المتشابهة حول النقطة التي يجعل فيها النموذج تخمينه. تخيل حشدًا من الناس يقفون في حقل؛ إذا كنت تقف وحيدًا، فإن الأشخاص من حولك بعيدون عنك، أما إذا كنت تقف في تجمع كثيف، فإن الأشخاص من حولك قريبون جدًا منك. وجد الباحثون أنه حتى لو كان تخمين النموذج دقيقًا، فإن الطريقة التي تتكتل بها صور التدريب حول ذلك التخمين توفر إشارة مستقلة وقوية. فقد تقع صورة "غير عضو" (لم تكن في التدريب) بالصدفة في مكان يكون فيه تخمين النموذج قريبًا، ولكن إذا كانت صور التدريب المسؤولة عن ذلك التخمين منتشرة ومتباعدة، فإن المنطق الداخلي للنموذج سيكشف أن الصورة جديدة.

باستخدام هذا الفهم المزدوج للانحياز والازدحام، طور الفريق طريقة هجوم جديدة أطلقوا عليها اسم DIME. صُممت هذه الطريقة لتكون فعالة للغاية؛ فالهجمات السابقة كانت تتطلب غالبًا طرح عشرات الأسئلة على النموذج للحصول على إجابة موثوقة، وهو أمر بطيء ومكلف في السيناريوهات الواقعية حيث تفرض الشركات رسومًا مقابل كل استعلام أو تضع حدودًا لعدد الأسئلة. في المقابل، يمكن لـ DIME تحقيق نتائج بسؤالين فقط. تعمل الطريقة من خلال طلب من النموذج النظر إلى الصورة المعنية، ثم النظر إلى نسخ معدلة قليلاً من تلك الصورة نفسها. ومن خلال مقارنة كيفية تغير توقعات النموذج بين هذه الرؤى، يمكن للطريقة حساب كل من إشارات الانحياز والازدحام دون الحاجة إلى رؤية الكود الداخلي للنموذج أو إعادة تدريب أي نماذج أخرى.

اختبر الباحثون هذا النهج الجديد على مجموعة متنوعة من مجموعات البيانات الصورية، بدءًا من الصور البسيطة الصغيرة وصولًا إلى الصور الفوتوغرافية الكبيرة والمعقدة للوجوه والمشاهد المتنوعة. وفي كل حالة، تفوق DIME على أفضل الأساليب الموجودة. وفي بعض مجموعات البيانات، تمكنت من تحديد صور التدريب بمعدل ثلاثة أضعاف أفضل طريقة سابقة، مع استخدام جزء بسيط من الأسئلة. ومن المثير للاهال أن نسخة الهجوم التي استخدمت سؤالين فقط كانت غالبًا قادرة على مضاهاة أو التفوق على الهجمات الأخرى التي استخدمت ثلاثين سؤالًا. هذه الكفاءة أمر بالغ الأهمية لأنها تعني أن الهجوم عملي ضد الأنظمة الواقعية التي قد تحاول حماية نفسها عن طريق تقييد الوصول. كما اختبر الباحثون طريقتهم ضد دفاع خصوصية قياسي يُعرف باسم "الخصوصية التفاضلية" (differential privacy)، والمصمم لضمان عدم قدرة أي صورة تدريب واحدة على التأثير على النموذج بشكل كبير من الناحية الرياضية. ووجدوا أنه عندما يكون هذا الدفاع نشطًا، يفشل الهجوم تمامًا، حيث تنخفض نسبة نجاحه إلى مستوى التخمين العشوائي. وهذا يؤكد أنه بينما تعتبر الطة الجديدة قوية ضد النماذج غير المحمية، فإن الدفاعات الرياضية الموجودة تظل فعالة.

تكمن أهمية هذا العمل ليس فقط في كونه هجومًا أفضل، بل في كيفية تغيير فهمنا لهذه الأنظمة. فمن خلال البدء بوصف نظري للنموذج المثالي، أظهر الباحثون أن مخاطر الخصوصية ليست مجرد عيوب عشوائية، بل هي مدمجة في صلب بنية كيفية تعلم هذه النماذج. لقد أثبتوا أن سلوك النموذج يترك أثرًا يمكن اكتشافه ويمكن قياسه بطريقتين متكاملتين. وهذا يوفر تفسيرًا واضحًا ومبنيًا على أسس رياضية لسبب نجاح الاستدلال على العضوية، ويقدم مخططًا لبناء دفاعات أفضل في المستقبل. وتوضح الدراسة أن أكثر النماذج التوليدية تطورًا ليست محصنة ضد التدقيق، وأن فهم الآليات الدقيقة لعملية التعلم الخاصة بها هو المفتاح لكشف نقاط ضعفها وتأمينها على حد سواء.