On the (In)Security of Loading Machine Learning Models
تكشف هذه الورقة أنه على الرغم من الاعتماد الواسع النطاق لمشاركة نماذج تعلم الآلة، فإن الأطر والمراكز الحالية توفر حماية أمنية غير كافية، حيث تحتوي غالباً على ثغرات حرجة تتيح تنفيذ تعليمات برمجية تعسفية مع تضليل المستخدمين بشعور زائف بالأمان.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك اشتريت للتو آلة صنع قهوة جديدة ومتطورة. مكتوب على العلبة: "وصل وشغل! لا يتطلب تجميعًا!" أنت تثق في الملصق، فتقوم بتوصيلها بالكهرباء وتضغط على الزر. ولكن بدلاً من تحضير القهوة، تقرر الآلة فجأة إعادة طلاء جدران غرفة معيشتك، وسرقة كلمة سر الـ Wi-Fi الخاصة بك، وطلب 500 بيتزا إلى منزلك.
هذا هو بالضبط موضوع هذه الورقة البحثية، ولكن بدلاً من آلات صنع القهوة، هي تتحدث عن نماذج تعلم الآلة (ML).
في عالم الذكاء الاصطناٍعي، يشارك المطورون "النماذج سابقة التدريب" (مثل آلة صنع القهوة) على منصات مثل Hugging Face أو Kagla. ومن المفترض أن تكون هذه النماذج أدوات جاهزة للاستخدام يمكن لأي شخص تحميلها وتشغيلها. تجادل الورقة بأن تحميل هذه النماذج حاليًا يشبه إلى حد كبير تحميل ملف تنفيذي عشوائي من الإنترنت، ومع ذلك يتعامل الجميع معها كملفات بيانات آمنة.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. وهم "التنسيق الآمن"
لفترة طويلة، اعتقد الناس: "إذا كان الملف مجرد بيانات (مثل ملف نصي بصيغة JSON) وليس كوداً (مثل برنامج)، فلا يمكنه إيذاءنا".
وجد الباحثون أن هذا كذب هائل.
- التشبيه: تخيل مظروفاً "آمناً" يحتوي فقط على قائمة بالمكونات. تفكر: "رائع، المكونات لا يمكن أن تؤذيني". لكن الشخص الذي كتب القائمة استخدم شفرة سرية حيث تعني كلمة "سكر" في الواقع "افتح الباب الأمامي".
- الواقع: وجدت الورقة أن التنسيقات "الآمنة" (مثل تنسيق
.kerasالخاص بـ Keras أو.skops) هي في الأساس أكواد متنكرة. تبدو كبيانات، ولكن عندما يحاول الكمبيوتر قراءتها، فإنها تنفذ تعليمات مخفية. وجد الباحثون ست ثغرات أمنية جديدة تماماً (0-day) في هذه التنسيقات "الآمنة" سمحت للمخترقين بتشغيل أي أمر يريدونه على جهاز الكمبيوتر الخاص بك.
2. فخ "الوضع الآمن"
تتضمن العديد من أطر العمل مفتاحاً يسمى safe_mode أو weights_only. تقول الوثائق: "قم بتشغيل هذا، وستكون آمناً!"
- التشبيه: الأمر يشبه سيارة بها زر "قفل الأطفال". يقول الدليل: "إذا ضغطت على هذا الزر، فلن تفتح الأبواب الخلفية". لكن الباحثين وجدوا أنه إذا ضغطت على الزر بينما السيارة تتحرك بالفعل، أو إذا استخدمت نوعاً معيناً من المفاتيح، فإن القفل لا يعمل على الإطلاق.
- الواقع:
- في Keras، لم يمنع تشغيل
safe_modeالمخترقين من جعل النموذج ينفذ كوداً. - في PyTorch، وضع
weights_only(الذي يحمل الأرقام فقط، وليس الكود) أكثر أماناً، ولكنه يجبرك على كتابة كود النموذج بنفسك. وإذا قمت بتحميل ذلك الكود من مصدر مشبوه، فستعود إلى نقطة الصفر. - مشكلة "الإرث": حتى لو استخدمت الإعدادات "الآمنة" الجديدة، فإن البرنامج غالباً ما لا يزال يدعم تنسيقات قديمة وغير آمنة (مثل
.h5أو `.pkl) من أجل التوافق مع الإصدارات السابقة. الأمر يشبه شراء منزل حديث وآمن ولكنك تترك الباب الخلفي مفتوحاً على مصراعيه لأنك "قد تحتاج لنقل أريكة من خلاله لاحقاً".
- في Keras، لم يمنع تشغيل
3. نقطة العمى في "ماسح الأمن"
تمتلك منصات مثل Hugging Face "ماسحات أمنية" تفحص النماذج المرفوعة بحثاً عن الفيروسات قبل السماح بتحميلها. وهي تمنح النماذج ملصق "آمن" أو "غير آمن".
- التشبيه: تخيل حارس أمن في ملهى ليلي يفحص بطاقة هويتك. إذا كانت لديك بطاقة مزورة تشبه تماماً واحدة حقيقية، سيدعك الحارس تدخل. لكن إذا دخلت وأنت ترتدي بدلة رسمية (تنسيق مختلف)، فلن يعرف الحارس ماذا يفعل بك، لذا سيمرر مرورك قائلاً: "لا توجد مشكلات"، ببساطة لأنه لا يملك قائمة مرجعية للبدلات الرسمية.
- الواقع: اختبر الباحثون نماذجهم الخبيثة ضد هذه الماسحات.
- فات الماسحات الهجمات الجديدة لأنها كانت تبحث عن الحيل القديمة.
- عندما لم تتعرف الماسحات على تنسيق ملف (مثل
.skopsالجديد)، فإنها غالباً ما تصنفه على أنه "آمن" لمجرد أنها لم تعرف ماهيته. وهذا منح المستخدمين شعوراً زائفاً بالأمان.
4. استطلاع "ثق بي"
سأل الباحثون أكثر من 60 متخصصاً في الذكاء الاصطناٍعي: "ما مدى شعورك بالأمان عند استخدام هذه الأدوات؟"
- التشبيه: الأمر يشبه سؤال الناس: "ما مدى شعورك بالأمان عند عبور الشارع إذا كانت هناك لافتة تقول 'ممر مشاة'؟" معظم الناس يشعرون بالأمان. ولكن إذا كشف الباحثون بعد ذلك أن إشارات المرور معطلة وأن السيارات تسير على الرصيف، فإن الشعور بالأمان يتلاشى.
- الواقع: عندما رأى المستخدمون مفتاح "الوضع الآمن" أو ملصق "تم الفحص بواسطة Hugging Face"، ارتفعت ثقتهم بشكل كبير. شعروا بأمان بنسبة 90%. تجادل الورقة بأن هذا أمر خطير لأنه يجعل الناس كسالى. يتوقفون عن التفكير النقدي ويبدأون في الثقة في الملصق، رغم أن التكنولوجيا الأساسية مليئة بالثغرات.
الخلاصة الكبرى
تخلص الورقة إلى أنه لا يوجد حل سحري.
- النماذج هي كود: يجب أن تعامل كل نموذج ذكاء اصطناٍعي تقوم بتحميله كما لو كان برنامجاً كتبته بنفسك. يمكنه فعل أي شيء يمكن لجهاز الكمبيوتر الخاص بك فعله.
- لا تثق في الملصق: مجرد كون الملف يقول "آمن" أو "تم الفحص" لا يعني أنه كذلك.
- المقايضة: لكي تكون آمناً حقاً، عليك التخلي عن المرونة. يجب أن تقيد ما يمكن للنموذج فعله، مما يجعله أقل فائدة.
باختصر: عالم الذكاء الاصطناٍعي يشارك حالياً "أسلحة محشوة بالرصاص" متنكرة في هيئة "ملفات بيانات". وحتى يتوقف القطاع عن التظاهر بأن هذه الملفات غير ضارة ويبدأ في التعامل معها بنفس الحذر الشديد الذي يتم التعامل به مع برمجيات الكود، فإن تحميل نموذج من الإنترنت يظل مقامرة محفوفة بالمخاطر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.