Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks
تقدم هذه الورقة معيار SUSEVIBES لتوضيح أن وكلاء "برمجة الأجواء" (vibe coding) الحاليين القائمين على النماذج اللغوية الكبيرة، رغم كونهم صحيحين وظيفياً في كثير من الأحيان، يولّدون أكواداً غير آمنة للغاية في مهام هندسة البرمجيات الواقعية، مع عدم فعالية استراتيجيات التخفيف الأولية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
فحص سلامة "برمجة الأجواء" (Vibe Coding): لماذا قد يكون متدرب الذكاء الاصطناعي الخاص بك كابوساً أمنياً؟
تخيل أنك وظفت متدرباً عبقرياً وسريعاً للغاية، يمكنه كتابة الكود بمجرد الدردشة معه بلغة طبيعية. تقول له: "مهلاً، ابنِ لي نظام تسجيل دخول"، فيقوم فوراً بإنتاج برنامج يعمل بنجاح. هذا ما يسمى بـ "برمجة الأجواء" (Vibe Coding). إنها رائجة، سريعة، وتبدو وكأنها سحر.
لكن هنا يطرح البحث سؤالاً مخيفاً: هل هذا السحر آمن؟
قام الباحثون ببناء اختبار ضغط ضخم يسمى SUSVIBES لمعرفة ذلك. لقد عاملوا وكلاء البرمجة بالذكاء الاصطناعي كأنهم متدربون وأعطوهم 200 مهمة من الواقع — مثل إصلاح ثغرة أمنية في موقع ويب مشهور أو إضافة ميزة جديدة إلى مشروع برمجيات ضخم.
إليك ما وجدوه، مقسماً ببعض التشبيهات البسيطة.
1. المتدرب "المثالي المعيب"
الاكتشاف الأكثر إزعاجاً هو أن الذكاء الاصطناعي بارع في أداء المهمة، لكنه سيء جداً في أدائها بأمان.
- التشبيه: تخيل أنك طلبت من متدرب بناء باب لخزنة بنك.
- الوظيفة: الباب يفتح عندما تدير المقبض. ويغلق عندما تضغط على الزر. يبدو تماماً مثل باب الخزنة. حصل الذكاء الاصطناعي على درجة +A لأنه جعل الباب يعمل.
- الأمن: الباب يحتوي على ثقب مفتاح مخفي في الخارج يمكن لأي شخص فتحه، أو أن المفصلات مصنوعة من الورق. حصل الذكاء الاصطناعي على درجة F في الأمن.
الإحصائيات:
عندما أُعطي أفضل نموذج ذكاء اصطناعي (Claude 4 Sonnet) مهمة ما، نجح في بناء الميزة 61% من المرات. ولكن من بين تلك عمليات البناء الناجحة، كانت 89% منها غير آمنة.
- الترجمة: إذا تركت متدرب الذكاء الاصطناعي يبني برمجياتك، فهناك احتمال بنسبة 9 من 10 تقريباً أن يترك الباب الخلفي مفتوحاً على مصراعيه للمخترقين، حتى لو كان الباب الأمامي يعمل بشكل مثالي.
2. "المطبخ" مقابل "المطعم بأكمله"
كانت الاختبارات السابقة للبرمجة بالذكاء الاصطناي تشبه طلب خبز قطعة بسكويت واحدة في مطبخ تجريبي. كانت تنظر فقط إلى ملف واحد صغير من الكود.
- الطريقة القديمة: "إليك وصفة للبسكويت. اصنعها." (سهلة، آمنة، ونطاقها محدود).
- الطريقة الجديدة (برمجة الأجواء): "إليك المطعم بأكمله، وسلسلة التوريد، والمطبخ، وصالة الطعام. اذهب وأصلح السباكة وأضف صنفاً جديداً للقائمة دون أن تطلق إنذار الحريق."
SUSVIBES هو اختبار "المطعم بأكمله". إنه يجبر الذكاء الاصطناعي على التنقل في قواعد بيانات برمجية معقدة وفوضوية. يضيع الذكاء الاصطناعي في التفاصيل ويفوت الفخاخ الأمنية المخفية في زوايا المبنى.
3. "التذكير الأمني" لم ينجح
حاول الباحثون مساعدة الذكاء الاصطناعي عبر توجيهه بلطف، مثل معلم يقول: "مهلاً، تذكر أن تكون حذراً فيما يتعلق بالأمن!". حتى أنهم حاولوا إعطاءه ورقة غش تحتوي على قواعد أمنية محددة.
- النتيجة: لم يساعد ذلك كثيراً. في الواقع، جعل الأمر أسوأ.
- التشبيه: الأمر يشبه إخبار سائق متوتر: "قد بأمان، ولكن أيضاً صل إلى وجهتك بسرعة". يصبح السائق مركزاً جداً على "القيادة بأمان" (فحص المرايا، الإبطاء) لدرجة أنه ينسى قيادة السيارة فعلياً، أو يصطدم لأنه يبالغ في التفكير.
- النتيجة: عندما حاول الذكاء الاصطناعي أن يكون "آمناً" بشدة، توقف عن العمل بشكل صحيح. وعندما ركز على "العمل"، نسي أن يكون "آمناً". لم يستطع القيام بالأمرين في وقت واحد.
4. "النقاط العمياء" لمختلف نماذج الذكاء الاصطناعي
اختبر البحث نماذج مختلفة من الذكاء الاصطناعي (مثل Claude و Kimi و Gemini). ووجدوا أن النماذج المختلفة سيئة في أشياء مختلفة.
- التشبيه: تخيل ثلاثة حراس أمن.
- الحارس (أ) بارع في رصد الأشخاص الذين يتسلقون السياج ولكنه يغفل عن الأشخاص الذين يتسللون عبر الباب الأمامي.
- الحارس (ب) بارع في مراقبة الباب الأمامي ولكنه يغفل عن النافذة الخلفية.
- الحارس (ج) يغفل عن كل شيء.
- المشكلة: لا يوجد "حارس خارق" بعد. حتى أذكى نماذج الذكاء الاصطناعي لديها نقاط عمياء. إذا اعتمدت على نموذج واحد فقط، فأنت تضمن وجود ثغرة في مكان ما.
5. العواقب في العالم الحقيقي
لم ينظر البحث إلى كود مجرد فحسب؛ بل نظر إلى سيناريوهات حقيقية. إليك مثالان لما أخطأ فيه الذكاء الاصطناعي:
- "قفل إخبار الوقت": في نظام كلمات المرور، كتب الذكاء الاصطناعي كوداً يجيب بـ "لا" فوراً إذا كانت كلمة المرور خاطئة، ولكنه يستغرق جزءاً ضئيلاً جداً من الثانية إذا كان اسم المستخدم غير موجود.
- لماذا يهم هذا: يمكن للمخترق قياس الوقت الذي يستغرقه الكمبيوتر للرد. ومن خلال قياس التأخير، يمكنهم تخمين أسماء المستخدمين الحقيقية. الأمر يشبه قفلاً يصدر صوتاً أعلى عندما يكون المفتاح خاطئاً، مما يعلم اللص أي باب يجب اختياره.
- "الرابط المسموم": في نظام إدارة المحتوى، سمح الذكاء الاصطناعي للمستخدمين بنشر روابط دون التحقق مما إذا كانت خطيرة.
- لماذا يهم هذا: يمكن لمخترق نشر رابط يبدو طبيعياً ولكنه في الواقع يسرق ملفات تعريف الارتباط (cookies) الخاصة بتسجيل دخولك عند النقر عليه. لقد بنى الذكاء الاصطناعي الميزة بشكل مثالي، لكنه نسي "فحص السلامة" الذي يوقف الروابط الضارة.
الخلاصة
"برمجة الأجواء" هي حالياً مقامرة عالية المخاطر.
يخلص البحث إلى أنه بينما يعد الذكاء الاصطناعي مذهلاً في جعل البرمجيات تعمل، إلا أنه حالياً سيء جداً في جعل البرمجيات آمنة. إذا كنت شركة تبني شيئاً يتعامل مع الأموال، أو البيانات الصحية، أو المعلومات الخاصة، فلا يمكنك مجرد ترك الذكاء الاصطناعي "يبرمج بالأجواء" ويتمنى الأفضل.
الدرس المستفاد: تعامل مع الكود الناتج عن الذكاء الاصطناعي كأنه سيارة صنعها روبوت لم يرَ إشارة مرور من قبل. قد تقود في الطريق، ولكنك تحتاج بالتأكيد إلى ميكانيكي بشري لفحص المكابح قبل أن تسمح لأي شخص بالركوب فيها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.