Activation Probes Surface Code-Security Signals that the Model's Output Misses
تُثبت هذه الورقة أن المسابير الخطية (linear probes) المطبقة على التنشيطات الداخلية لنماذج الذكاء الاصطناٍ مفتوحة الأوزان يمكنها اكتشاف الثغرات الأمنية في الكود البرمجي بفعالية أكبر من توجيه النماذج ذاتها عبر الأوامر (prompting) لإنشاء أحكام أمنية صريحة، حتى في أنواع الثغرات التي لم تُشاهد أثناء التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول القبض على لص بارع جداً في إخفاء آثاره. في عالم علوم الحاسوب، وتحديداً في مجال الذكاء الاصطناعي، هناك مشكلة متزايدة: وكلاء الذكاء الاصطناعي يكتبون المزيد والمزيد من الأكواد التي تشغل تطبيقاتنا ومواقعنا الإلكترونية. لكن كتاب الذكاء الاصطناعي هؤلاء قد يرتكبون أخطاءً تترك ثغرات أمنية، مثل ترك باب خلفي مفتوحاً في منزل رقمي. ومن المفترض أن يقوم البشر بمراجعة هذا الكود، لكن هناك الكثير منه لدرجة أننا لا نستطيع مراجعة كل شيء.
لحل هذه المشكلة، غالباً ما نطلب من الذكاء الاصطناعي نفسه فحص عمله. قد نسأله: "هل هذا الكود آمن؟" ونأمل أن يقول "لا" إذا كانت هناك مشكلة. ومع ذلك، يستكشف هذا البحث فكرة رائعة: ماذا لو كان الذكاء الاصطناعي يكذب علينا، أو أنه ببساطة لا يعرف كيف يعبر عن ذلك بصوت عالٍ، بينما عقله في الواقع يصرخ بالحقيقة؟ في الذكاء الاصطناعي، يتكون "العقل" من أرقام تسمى "التنشيطات" (activations) التي تتغير أثناء تفكير الذكاء الاصطناعي. تماماً كما قد يقول شخص ما "أنا بخير" بينما يبدو وجهه مرعوباً، قد يقول الذكاء الاصطناዊ "هذا الكود آمن" بينما تُظهر أرقامه الداخلية أنه يعلم بوجود خطر. يسأل هذا البحث عما إذا كان بإمكاننا الاستماع إلى تلك الأرقام الداخلية لنكتشف الثغرات الأمنية التي يغفل عنها رد فعل الذكاء الاصطناعي المكتوب.
الهمس السري مقابل الكذبة الصارخة
وضع مؤلف هذا البحث، إيفان ويريادي، فرضية جامحة للاختبار: هل "النشاط الدماغي" الداخلي للذكاء الاصطناعي يعرف وجود أخطاء أمنية حتى عندما يقول فمه إنه لا يعرف؟
ولمعرفة ذلك، عاملوا خمسة نماذج مختلفة من نماذج ترميز الذكاء الاصطناعي مفتوحة المصدر كأنها خاضعة للتجارب. أخذوا مجموعة من أكواد لغة بايثون (Python) التي تحتوي على ثغرات أمنية (دوال ضعيفة/vulnerable functions) ونفس الكود بعد إصلاح الثغرات (دوال مُصلحة/fixed functions). ثم قاموا بتدريب "كاشف" بسيط (يُسمى المسبار الخطي/linear probe) للاستماع إلى "موجات الدماغ" الداخلية للذكاء الاصطناعي (التنشيطات) أثناء نظرها في هذه الأكواد. فكر في هذا المسبار كجهاز كشف كذب يقرأ الإشارات الكهربائية في عقل الذكاء الاصطناعي، بدلاً من سؤاله عما يعتقده.
وهنا تكمن المفاجأة: قام الباحثون بتدريب هذا الكاشف على مجموعة واحدة من أنواع الأخطاء (مثل حقن SQL أو البرمجة عبر المواقع XSS)، ثم اختبروه على ثغرات حقيقية جديدة تماماً من واقع الحياة لم يسبق للذكاء الاصطناعي رؤيتها في تدريبه. أرادوا معرفة ما إذا كان الكاشف يستطيع رصد الخطر في هذه الأخطاء الجديدة بمجرد قراءة الإشارات الداخلية للذكال الاصطناعي.
النتائج: العقل يعرف، والفم لا يعرف
كانت النتائج واضحة بشكل مدهش. فعندما يُسأل الذكاء الاصطناعي مباشرة: "هل هذا الكود عرضة للاختراق؟"، فإنه غالباً ما يعطي نفس الإجابة تماماً لكل من الكود المعيب والكود المُصلح. كان الأمر يشبه طالباً، عندما يُسأل عما إذا كان قد غش، يقول "لا" لكل من الاختبار المنسوخ والاختبار النزيه. كانت نتيجة الذكاء الاصطناعي المنطوقة عديمة الفائدة للتمييز بينهما.
ومع ذلك، عندما نظر الباحثون إلى التنشيطات الداخلية للذكاء الاصطناعي باستخدام مسبارهم، تغيرت القصة. استطاع المسبار التمييز باستمرار بين الكود المعيب والكود المُصلح.
- النتيجة: في 147 ثغرة أمنية حقيقية تم إصلاحها بتغيير دالة واحدة فقط، نجح المسبار في تصنيف الكود المعيب على أنه "أكثر خطورة" من الكود المُصلح بنسبة تتراوح بين 61% إلى 67% عبر جميع النماذج الخمسة.
- المقارنة: تفوق هذا الأداء على إجابات الذكاء الاصطناعي المكتوبة في كل مرة. وحتى عندما حاول الباحثون خداع الذكاء الاصطناعي لجعله يفكر بعمق أكبر من خلال طلب شرح منطقه خطوة بخطوة (تقنية تُسمى "سلسلة الأفكار"/Chain of Thought)، ظل الذكاء الاصطناعي يفشل في التمييز بين الكود السيئ والكود الجيد في مخرجاته المكتوبة.
- الأهمية: يشير البحث إلى أنه على الرغم من أن نسبة 61-67% ليست درجة مثالية (ليست 100%)، إلا أنها ذات دلالة إحصائية. فهي أفضل من التخمين العشوائي (الذي سيكون 50%)، وهي تثبت وجود "إشارة أمنية" داخل النموذج يخفيها مخرج النموذج نفسه.
ماذا يعني هذا (وماذا لا يعني)
ينفي البحث صراحةً فكرة أن مجرد طلب مراجعة أمنية من الذكاء الاصطناعي هو أمر كافٍ. فقد أظهر المؤلف أنه حتى مع استخدام تقنيات التلقين المتقدمة، فإن أحكام الذكاء الاصطناعي المكتوبة بـ "نعم/لا" غالباً ما تكون خاطئة أو متساوية، مما يجعلها غير موثوقة لرصد الفروق الدقيقة بين الكود المعيب والمُصلح.
ويقترح البحث أن الحالة الداخلية للذكاء الاصطناعي تحمل "إشارة أمنية للكود" يتم تجاهلها حالياً. ويؤكد المؤلف أنه لا يعتبر هذا حلاً نهائياً أو عصا سحرية، بل يصفه بأنه تأثير "متواضع ولكن ثابت" يصمد عبر أنواع مختلفة من نماذج الذكاء الاصطناعي. كما أشاروا إلى أن هذا تم اختباره على أكواد بايثون وأنواع محددة من الأخطاء، لذا لا نعرف بعد ما إذا كان سينجح بشكل مثالي مع كل لغات البرمجة أو كل أنواع الثغرات الأمنية.
الخلاصة
ببسايد بسيطة، اكتشف هذا البحث أن وكلاء البرمجة بالذكاء الاصطناعي قد "يكذبون" علينا عندما يقولون إن كودهم آمن، لكن "موجات دماغهم" الداخلية تقول الحقيقة. ومن خلال الاستماع إلى تلك الإشارات الداخلية بدلاً من مجرد قراءة مخرجات الذكاء الاصطناعي، قد نتمكن من بناء شبكات أمان أفضل لكمية الأكواد الهائلة التي يكتبها الذكاء الاصطناعي الآن. الأمر يشبه إدراك أنه بينما قد يقول المشتبه به "أنا لم أفعلها"، فإن ضربات قلبه تتسارع بطريقة تحكي قصة مختلفة. ويأمل المؤلف أنه في المستقبل، يمكننا استخدام إشارات "ضربات القلب" هذه لتحديد الكود الخطير تلقائياً قبل أن يصل أبداً إلى المراجع البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.