Broken by Default: A Formal Verification Study of Security Vulnerabilities in AI-Generated Code
تُثبت دراسة التحقق الرسمي هذه أن الكود المولد بواسطة الذكاء الاصطناي عبر سبعة نماذج لغوية كبيرة رائدة غير آمن جوهرياً، حيث تحتوي 55.8% من المصنوعات البرمجية على ثغرات مثبتة رياضياً تتملص من الأدوات القياسية في الصناعة وتستمر رغم التعليمات الأمنية الصريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً عبقرياً، سريع الكلام، لكتابة المخططات الهندسية لمنزلك. هذا المتدرب قد قرأ كل كتاب كُتب على الإطلاق، ويعرف آلاف الأنماط المعمارية، ويمكنه رسم غرفة في ثوانٍ. لكن هناك مشكلة: هذا المتدرب لم يعش في منزل قط، وقد تعلم البناء عن طريق نسخ مخططات قديمة غالباً ما كانت تحتوي على شقوق خفية.
هذه الورقة البحثية، بعنوان "مكسور افتراضياً" (Broken by Default)، هي تحقيق رسمي فيما يحدث عندما نترك هؤلاء "المتدربين" من الذكاء الاصطناعي (النماذج اللغوية الكبيرة) يكتبون الأكواد لبيوتنا الرقمية، خاصة الأجزاء التي تحتاج إلى أمان، مثل الأقفال والخزائن.
إليك تفاصيل نتائجهم، مترجمة إلى لغة يومية بسيية:
1. الاكتشاف الكبير: "مكسور افتراضياً"
طلب الباحثون من سبعة من أذكى نماذج الذكاء الاصطنا في العالم كتابة 500 نوع مختلف من الأكواد (مثل نظام كلمات المرور أو التعامل مع الأموال). ووجدوا أن أكثر من نصف المرات (55.8%)، كتب الذكاء الاصطناعي كوداً مكسوراً ويمكن اختراقه.
- التشبيه: تخيل أنك طلبت من طباخ أن يصنع 100 شطيرة. إذا كان 56 منها تحتوي على حجر بالداخل، فلن تقول "حسناً، الطباخ يبذل قصارى جهده"، بل ستقول إن المطبخ معطل.
- الدرجات: حتى أفضل نموذج ذكاء اصطناعي حصل فقط على درجة D. النموذج الأعلى (GPT-4o) حصل على F. لم ينجح أي منهم في اختبار الأمان.
2. "النظارات السحرية" (Z3 Solver)
كيف عرفوا أن الكود مكسور بالفعل؟ عادةً، أدوات الأمان تشبه مدققات الإملاء. فهي تبحث عن كلمات سيئة (مثل "غير آمن") أو أنماط رأت من قبل. إذا كتب الذكك الاصطناعي طريقة جديدة وذكية لكسر القفل، فإن مدقق الإملاء سيفشل في رصدها.
استخدم الباحثون أداة تسمى Z3، وهي تشبه محاكياً رياضياً خارقاً.
- كيف تعمل: بدلاً من مجرد البحث عن كلمات سيئة، تحاول Z3 حل اللغز الرياضي للكود. تسأل: "هل هناك أي رقم يمكنني كتابته هنا ليؤدي إلى تعطل النظام؟"
- النتيجة: إذا قالت Z3 "نعم، إليك الرقم الدقيق"، فهذا ليس مجرد تخمين. إنه إثبات رياضي بأن الكود قابل للاستغلال. لقد وجدوا أكثر من 1,000 من هذه "الإثباتات".
3. "انهيار وقت التشغيل" (اختبار الواقع)
للتأكد من أن الرياضيات لم تكن مجرد نظرية، أخذ الباحثون "الإثباتات" من Z3 وقاموا بتشغيل الكود فعلياً على جهاز كمبيوتر.
- التشبيه: الأمر يشبه أن يقول المهندس المعماري "هذا الجسر سيصمد"، لكن المهندس المدني يبني نموذجاً صغيراً ويقود فوقه شاحنة. إذا انهار الجسر، فأنت تعلم أنه مكسور.
- النتيجة: في 6 من أصل 7 اختبارات، تعطل الكود فعلياً أو سمح للمخترقين بالدخول. كانت الرياضيات صحيحة؛ الكود كان خطيراً.
4. "التعويذة السحرية" لم تنجح (التوجيه/Prompting)
يعتقد الناس غالباً: "إذا قلت للذكاء الاصطناعي فقط، 'يرجى أن تكون آمناً وآمناً'، فسيصلح نفسه". اختبر الباحثون هذا عبر إعطاء الذكاء الاصطناعي "تعليمات أمنية" خاصة.
- النتيجة: لم يساعد ذلك كثيراً. انخفض معدل الخطأ بمقدار 4 نقاط فقط.
- سياق مهم: تم إجراء هذا الاختبار المحدد على مجموعة فرعية مكونة من 50 أمراً (جزء من معيار الـ 500 أمراً الكامل). ورغم أن النطاق كان أصغر، إلا أن النتيجة تسلط الضوء على حقيقة حرجة: التذكير البسيط لا يحل المشكلة الجوهرية.
- التشبيه: الأمر يشبه إخبار شخص لم يتعلم السباحة قط: "يرجى عدم الغرق"، ثم رميه في المياه العميقة. لا يزال لا يعرف كيف يسبح. "ذاكرة العضلات" للذكاء الاصطناعي في كتابة الكود معتادة جداً على الطرق القديمة وغير الآمنة، لذا فإن مجرد تذكير لا يصلح الأمر.
5. "حراس الأمن" نائمون (الأدوات الساكنة)
اختبر الباحثون أفضل أدوات الأمان في الصناعة (الحراس الذين يكتشفون عادةً الكود السيئ) ضد مخرجات الذكاء الاصطناعي.
- النتيجة: فات هذه الأدوات 97.8% من الكود المكسور الذي وجدته Z3.
- التشبيش: تخيل لصاً يكسر نافذة بأداة جديدة وغير مرئية. حارس الأمن يبحث عن عتلة أو أداة لفتح الأقفال. يرى الحارس شيئاً ولا يرى شيئاً، ويقول: "كل شيء يبدو على ما يرام!". الحارس ليس غبياً؛ هو فقط لا يبحث عن النوع الصحيح من الخطر.
6. تأثير "فقدان الذاكرة" (التوليد مقابل المراجعة)
هذا هو الجزء الأكثر إثارة للدهشة. أخذ الباحثون الكود المكسور الذي كتبه الذكاء الاصطناعي وطلبوا من نفس الذكاء الاصطناعي مراجعته.
- النتيجة: عندما طُلب منه مراجعة الكود، اكتشف الذكاء الاصطناعي الثغرات في 79% من الحالات. لقد عرف تماماً ما هو الخطأ!
- المشكلة: ولكن عندما طُلب منه كتابة الكود من الصفر، نسي كل شيء وارتكب نفس الأخطاء مرة أخرى.
- التشبيه: الأمر يشبه طالباً يمكنه تصحيح الاختبار بدقة وشرح سبب خطأ الإجابة، ولكن عندما يخوض الاختبار بنفسه، يخطئ في نفس الأسئلة. لديه المعرفة، لكنه لا يستطيع تطبيقها أثناء العمل.
الخلاصة
تخلص الورقة البحثية إلى أن مساعدي البرمجة بالذكاء الاصطناعي غير آمنين حالياً للاستخدام في الأنظمة الحرجة دون إشراف بشري مكثف.
- لا تثق في أمر "الأمان" (Secure prompt): فهو لا يحل المشكلة الجوهرية، حتى عند اختباره على مجموعات بيانات محددة.
- لا تثق في الأدوات القياسية: فهي عمياء عن الأخطاء الرياضية المحددة التي يرتكبها الذكاء الاصطناعي.
- الحل: يجب أن نعامل كود الذكاء الاصطناعي كأنه مكتوب من قبل غريب لا يعرف القواعد. نحن بحاجة إلى استخدام "الإثبات الرياضي" (مثل أداة Z3) أو خبراء بشريين دقيقين جداً لفحص العمل قبل السماح له بالدخول إلى بيوتنا الرقمية.
باختصار: الذكاء الاصطناعي هو متدرب سريع، واثق، ولكنه مهمل بشكل خطير. وحتى نعلمه البناء بأمان من الأساس، لا يمكننا فقط أن نطلب منه "أن يكون حذراً".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.