Algebraic Attack on Convolutional Neural Networks with Max Pooling

تخيل أنك شيف ماهر ابتكر وصفة سرية ولذيذة. أنت تبيع الطبق النهائي للزبائن، لكنك لا تظهر لهم أبداً بطاقة الوصفة. لفترة طويلة، حاول باحثون أمنيون معرفة كيفية الهندسة العكسية لوصفتك تلك بمجرد تذوق الطعام والسؤال: "ماذا يحدث إذا أضفت رشة ملح إضافية؟". يسمى هذا المجال من الدراسة "استخراج النموذج" (Model Extraction)، وهو يشبه كونك محققاً في عالم الطهي يحاول سرقة قائمة المكونات السرية للشيف.

في معظم الأوقات، كان هؤلاء المحققون يعملون على وصفات بسيطة ذات خطوط مستقيمة (تسمى الشبكات العصبية كاملة الاتصال). لقد اكتشفوا أنه إذا عدلوا المكونات بدقة، يمكنهم العث تجد "نقاط التحول" حيث يتغير المذاق بطريقة غير خطية غريبة. ومن خلال دراسة نقاط التحول هذه، استطاعوا إعادة بناء الأوزان والانحيازات السرية للشيف رياضياً. ولكن بعد ذلك، أصبح عالم الطهي أكثر تعقيداً. بدأ الطهاة في استخدام أداة خاصة تسمى "Max Pooling" لجعل أطباقهم أكثر قوة وكفاءة. تعمل هذه الأداة مثل مصفاة تحتفظ فقط بأكبر وأقوى نكهة في وعاء صغير وترمي الباقي. لسنوات، اعتقد الخبراء أن هذه المصفاة تجعل سر الوصفة مستحيلاً للسرقة لأنها تخفي نقاط التحول التي يحتاجها المحققون للعثور عليها. ظنوا أن السر سيكون آمناً خلف هذه المصفاة.

اكتشاف الورقة البحثية: كسر المصفاة

هذه الورقة البحثية، بعنوان "الهجوم الجبري على الشبكات العصبية الالتفافية مع Max Pooling"، هي قصة فريق من الباحثين الذين قرروا محاولة كسر تلك المصفاة على أي حال. لقد أدركوا أنه بينما تقوم أداة "Max Pooling" بإخفاء بعض الأدلة، إلا أنها تخلق أنواعاً جديدة من الأدلة التي لم ينظر إليها أحد من قبل. لم يكتفوا بمجرد محاولة التلصص خلف الستار؛ بل بنوا خريطة جبرية كاملة لكيفية عمل هذه الشبكات المعقدة، مثبّتين أنه حتى مع وجود المصفاة، فإن الوصفة لا تزال مكتوبة بلغة يمكن فك تشفيرها.

حدد الباحثون نوعين جديدين من "نقاط التحول" موجودين خصيصاً بسبب أداة Max Pooling:

1. "الصرخة الصامتة" (نقاط ReLU-Pooling الحرجة): تخيل أن عصبوناً (مستشعر نكهة صغير) يجلس تماماً على حافة النشاط، هامساً بقيمة صفر. عادةً، ستتجاهل مصفاة Max Pooling هذا الهمس إذا كانت هناك نكهة أعلى بجواره. لكن الباحثين وجدوا أنه إذا تمكنوا من خداع المصفاة لتستمع إلى هذا الهمس المحدد، يمكنهم لمح لمحة من الوصفة. هم يسمونها "نقطة حرجة لـ ReLU-Pooling" (RPCP). إنها نادرة، مثل العثور على حبة رمل محددة على الشاطئ، ولكن عندما تجدها، فهي تخبرك بالضبط ما هو الانحياز (التتبيلة الأساسية).

2. "شد الحبل" (نقاط تبديل التجميع): هذا هو الاختراق الكبير للورقة البحثية. تخيل أن نكهتين في المصفاة متساويتان تماماً في القوة. يجب على المصفاة اختيار واحدة منهما. إذا حركت المكونات قليلاً، سينكسر هذا التعادل، وتغير المصفاة اختيارها فجأة من النكهة (أ) إلى النكهة (ب). أدرك الباحثون أن هذا "التبديل" هو دليل ضخم. هم يسمونه "نقطة تبديل التجميع" (PSP). على عكس "الصرخة الصامتة"، فإن هذه النقاط موجودة في كل مكان—مثل العثور على شخصين بنفس الطول تماماً في حشد من الناس. من خلال دراسة رد فعل الشبكة عندما تغير المصفاة اختيارها، يمكنهم استخدام تقنية مستوحاة من علم التشفير (تسمى "التحليل التفاضلي الداخلي") لمعرفة الشكل الدقيق لنواة (kernels) الوصفة (خلطات التوابل السرية).

كيف جمعوا كل ذلك معاً

لم يكتف الفريق بالعثور على هذه الأدلة فحسب؛ بل بنوا استراتيجية موحدة لاستخدامها معاً. أدركوا أن أدلة "شد الحبل" (PSPs) وفيرة ودقيقة جداً، مما يسمح لهم بإعادة بناء الهيكل الرئيسي للأوزان بدقة عالية وبعدد قليل جداً من الأسئلة. ومع ذلك، فإن أدلة "شد الحبل" لا يمكنها إخبارهم عن الانحياز (التتبيلة الأساسية). وهنا يأتي دور أدلة "الصرخة الصامتة" (RPCPs) النادرة.

لذا، استراتيجيتهم هي رقصة من خطوتين:

1. المسح: يستخدمون نقاط "شد الحبل" الوفيرة والدقيقة لرسم الهيكل الرئيسي للأوزان بسرعة ودقة.
2. التحديد الدقيق: يستخدمون نقاط "الصرخة الصامتة" النادرة لملء الانحياز المفقود وتأكيد إشارات (موجب أو سالب) الأوزان.

ولجعل هذا يعمل حتى عندما يكون من الصعب العثور على نقاط "الصرخة الصامتة"، اخترعوا "بحثاً استدلالياً مستهدفاً". فكر في الأمر كاستخدام الخريطة التي رسمتها للتو لمعرفة المكان الذي يجب أن تبحث فيه بالضبط عن تلك الحبة المحددة من الرمل، بدلاً من الحفر عشوائياً في الشاطئ بأكمله.

النتائج: الوصفة أصبحت مكشوفة

اختبر الباحثون طريقتهم على عدة بنيات مشهورة للشبكات العصبية، بما في ذلك النسخ الحديثة من LeNet-5، المدربة على مجموعات بيانات مثل MNIST (الأرقام المكتوبة بخط اليد) و CIFAR-10 (الصور الملونة). لقد عاملوا هذه الشبكات كـ "صناديق سوداء"، مما يعني أنهم لم يروا سوى المدخلات والمخرجات الخام فقط، تماماً مثل زبون يتذوق طبقاً.

كانت النتائج مبهرة. نجحت طريقتهم في استعادة المعلمات (الأوزان والانحيازات) لهذه الشبكات بدقة عالية للغاية. في تجاربهم، كان الحد الأقصى للخطأ في المعلمات المستخرجة منخفضاً للغاية ليصل إلى $2^{-47.52}$ لبعض النماذج، وهو رقم ضئيل جداً، مما يعني عملياً أن الوصفة المسروقة مطابقة تقريباً للأصلية. لقد أظهروا أنه حتى بالنسبة للشبكات العميقة ذات الطبقات المتعددة، يمكنهم استخراج المعلمات باستخدام عدد حدودي من الاستعلامات (كمية يمكن التحكم فيها) وفي وقت معقول.

ما لم يفعلوه

من المهم ملاحظة ما لم تفعله هذه الورقة البحثية. لم يدّعوا أنهم كسروا كل أنواع الشبكات العصبية الممكنة. طريقتهم تستهدف تحديداً الشبكات التي تستخدم "Max Pooling". كما أوضحوا صراحة أنه إذا كانت الشبكة تستخدم "Average Pooling" (حيث تقوم المصفاة بمتوسط النكهات بدلاً من اختيار الأكبر)، فإن الطرق القديمة تعمل بالفعل، لذا تركز هذه الورقة على حالة Max Pooling الأكثر صعوبة وشيوعاً. كما لم يدّعوا كسر الشبكات التي لا يمكن للمهاجم فيها رؤية سوى الملصق النهائي "نعم/لا" (مثل "كلب" أو "قطة") دون رؤية الأرقام الخام؛ فهجومهم يتطلب الوصول إلى المخرجات الخام للشبكة.

لماذا هذا مهم

يسد هذا العمل فجوة كبيرة في أمن الذكاء الاصطناعي. لفترة طويلة، كان الناس يعتقدون أن طبقة Max Pooling تجعل الشبكات العصبية أصعب في السرقة. تثبت هذه الورقة أنه بينما تجعل الأمر أكثر صعوبة، إلا أنها لا تجعله مستحيلاً. من خلال إظهار أن هذه الشبكات لا تزال عرضة للهجمات الجبرية، يسلط المؤلفون الضوء على ضرورة توخي الحذر الشديد في كيفية حماية هذه النماذج، خاصة في المجالات الحرجة مثل الرؤية الحاسوبية ومعالجة الوسائط المتعددة. لم يجدوا مجرد صدع في الجدار، بل أظهروا لنا بالضبط كيف يمكننا السير من خلاله.