Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
تقيم هذه الدراسة امتثال نماذج الذكاء الاصطناي الرائدة الثلاثة لمعايير SOC 2 عبر أربع حالات استخدام، حيث وجدت أنه بينما غالبًا ما يحتوي توليد الكود البرمجي غير الموجه بطلب مسبق على ثغرات أمنية حرجة ويفتقر إلى ضوابط أمنية رئيسية، فإن إضافة جملة واحدة تشير إلى معايير SOC 2 يحسن الامتثال بشكل ملحوظ ليصل إلى 86-100% ويقضي على البنى غير الآمنة، رغم فشله في معالجة الضوابط الخارجة عن نطاق تصور النموذج للمهمة المباشرة، كما يسلط الضال على عدم موثوقية التقييم القائم على مطابقة الأنماط الآلية لصالح التحقق الدلالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
شبكة الأمان غير المرئية
تخيل أنك توظف متدرباً ذكياً للغاية ولا يكل لبناء منزل لك. هذا المتدرب، وهو ذكاء اصطناعي، يمكنه رسم المخططات، وخلط الخرسانة، وتركيب النوافذ بسرعة تفوق أي فريق بشري. لكن هناك عقبة: المتدرب لم يُخبر قط عن قوانين البناء. هو يعرف كيف يصنع منزلاً يبدو جيداً ويصمد، لكنه قد ينسى تركيب كواشف الدخان، أو قفل الباب الخلفي، أو تعزيز الأساسات ضد الزلازل. في عالم البرمجيات، هذا هو بالضبط ما يحدث عندما تطلب الفرق من الذكاء الاصطناعي كتابة الكود. الكود يعمل، ولكنه قد يفتقر إلى قواعد السلامة غير المرئية المطلوبة لحماية البيانات من المخترقين.
يتعمق هذا البحث في زاوية محددة من علوم الحاسوب تسمى الامتثال (compliance)، وهي مجرد كلمة منمقة لتعني "اتباع كتاب القواعد". وتحديداً، بحث الباحثون في معيار SOC 2، وهو مجموعة من القواعد التي تستخدمها الشركات لإثبات أنها تحمي بيانات العملاء. أرادوا معرفة شيئين: إذا طلبت من الذكاء الاصطناعي كتابة كود دون ذكر السلامة، فهل سيتبع القواعد بالصدفة على أي حال؟ وهل إضافة جملة واحدة صغيرة تقول: "مهلاً، هذا يجب أن يمتثل لمعايير SOC 2"، هل ستصلح كل شيء؟ الأمر يشبه التساؤل: "إذا طلبت من طاهٍ صنع شطيرة، هل سيتذكر غسل يديه؟ وإذا همست له بكلمة 'قواعد الصحة'، هل سيتذكر فجأة ارتداء القفازات؟"
اختبار كود الذكاء الاصطناعي العظيم
لإيجاد الإجابات، أقام الباحثون في "Vanta" تجربة ضخمة ومنضبطة. لقد عاملوا ثلاث نسخ مختلفة من ذكاء اصطناعي قوي (سميت Claude Fable 5، وClaude Opus 4.8، وClaude Opus 5) كمتسابقين في مسابقة طبخ. أعطوا كل ذكاء اصطناعي أربعة "وصفات" مختلفة للبرمجة: أداة لإدارة التخزين السحابي، ونظام تسجيل دخول، وإعداد قاعدة بيانات، ومعالج لرفع الملفات.
أجروا الاختبار مرتين لكل وصفة. في الجولة الأولى، أعطوا الذكاء الاصطناعي أمراً محايداً، مثل "اكتب أداة لرفع الملفات". وفي الجولة الثانية، أعطوه نفس الأمر تماماً ولكن أضافوا جملة واحدة فقط: "هذه البيانات حساسة ويجب أن تمتثل لمعايير SOC 2".
تصرف الباحثون بعد ذلك كمفتشين صارمين. لم يكتفوا بتشغيل الكود ليروا ما إذا كان يعمل فحسب؛ بل فحصوا كل سطر مقابل قائمة مراجعة لقواعد السلامة. بحثوا عن أشياء مثل التشفير (تشفير البيانات بحيث لا يستطيع اللصوص قراءتها)، وضوابط الوصول (التأكد من أن الأشخاص المناسبين فقط هم من يمكنهم رؤية الملفات)، والتسجيل (الاحتفاظ بمذكرات عما فعله من فعل ومتى).
ما وجدوه: "الجملة السحرية" والنقاط العمياء
كانت النتائج مزيجاً من الأخبار الجيدة المفاجئة والتحذيرات الهامة جداً.
1. "الجملة السحرية" تحقق العجائب (ولكن ليس كل شيء)
عندما طُلب من الذكاء الاصطناعي كتابة الكود دون أي تعليمات سلامة، كانت النتائج متفاوتة. اعتماداً على المهمة، اتبع الكود القواعد بنسبة تتراوح بين 47% و88%. كان جيداً في الأساسيات، مثل حماية كلمات المرور، ولكنه كان سيئاً في الأمور المملة وغير المرئية مثل إغلاق حاويات التخزين السحابي.
ومع ذلك، في اللحظة التي أضاف فيها الباحثون تلك الجملة الواحدة حول SOC 2، قفز أداء الذكاء الاصطناعي بشكل هائل. قفزت كل الاختبارات لتصبح بين 86% و100% من الامتثال. كانت تلك الجملة الواحدة تساوي 23 إلى 50 نقطة مئوية من التحسن. كان الأمر كما لو أن الذكاء الاصطناعي استيقظ فجأة وتذكر: "أوه صحيح، يجب أن أرتدي خوذة!". والأهم من ذلك، أن هذه الجملة أزالت كل البناءات غير الآمنة التي وجدها الباحثون، مثل أدوات التصحيح (debuggers) المفتوحة أو عمليات التحميل غير المصرح بها.
2. مشكلة "النمط المعتاد" (Idiom)
وجدت الدراسة أن الذكاء الاصطناعي يتبع القواعد التي تعد جزءاً من "الطريقة الطبيعية" لكتابة الكود. على سبيل المثال، كان يتذكر دائماً تقرياً تشفير كلمات المرور (تشفيرها بحيث لا يمكن سرقتها) لأن هذا هو المعتاد عند كتابة نظام تسجيل دخول. لكنه نسي الأشاء التي ليست جزءاً من "الوصفة القياسية"، مثل إضافة أقفال إضافية لحاوية تخزين سحابي أو إعداد خطاف للمصادقة متعددة العوامل (MFA).
حتى مع وجود "الجملة السحرية"، ظلت مجموعة مستقرة من الضوابط مفقودة لأنها تقع خارج التصور الافتراضي للنموذج تجاه المهمة. الميزات المحددة مثل خطافات المصادقة متعددة العوامل (MFA hooks)، وعلامات ملفات تعريف الارتباط الآمنة، وإدارة دورة حياة الحساب، لم تُضف تلقائياً بمجرد تسمية المعيار؛ بل كان يجب تسميتها بشكل فردي في الأمر البرمجي. لقد أصلحت الجملة السحرية الصورة الكبيرة والمخاطر الخفية، لكنها لم تستطع ملء كل التفاصيل الصغيرة المحددة ما لم تطلبها بالاسم.
3. المخاطر "غير المرئية"
هنا يصبح الأمر مخيفاً. في ثلاث من أصل ستة عشر اختباراً "محايداً" (حيث لم تُذكر السلامة)، كتب الذكاء الاصطناعي كوداً كان في الواقع خطيراً، رغم أنه بدا سليماً.
- ترك أحد نماذج الذكاء الاصطناعي "مصحح أخطاء" (debugger) مفتوحاً، وهو ما يشبه ترك باب خلفي في المنزل يسمح لأي شخص بالدخول والسيطرة على الكمبيوتر.
- قام اثنان آخران بإنشاء روابط تحميل لا تتحقق من هوية من ينقر عليها، مما يسمح لأي شخص بتحميل الملفات الخاصة بالآخرين.
- قام نموذج آخر بإنشاء قاعدة بيانات ستحذف جميع بياناتها بالخط p إذا حاولت إغلاقها في بيئة غير إنتاجية.
لقد أخطأ الماسح الآلي الأول للباحثين في رصد كل هذه الأخطاء الخطيرة. ولم يدرك البشر أن الكود معطل إلا عندما فحصوه بدقة. وهذا يثبت أن ماسحات الكمبيوتر القياسية ليست ذكية بما يكفي لالتقاط هذه الأخطاء "غير المرئية" في كود الذكاء الاصطناعي.
4. النموذج لا يشكل فرقاً كبيراً
توقع الباحثون أن يكون الذكاء الاصطناعي الأحدث والأذكى (Opus 5) أفضل بكثير من النماذج الأقدم. لكن الفرق كان ضئيلاً. "الجملة السحرية" (الأمر البرمجي) أحدثت فرقاً أكبر بكثير من تغيير نموذج الذكاء الاصطناعي نفسه. إذا كنت تحاول الحصول على كود ممتثل، فإن اختيار نموذج ذكاء اصطناعي أحدث لن يساعدك بقدر ما سيساعدك ببساطة إخبار الذكاء الاصطناعي باتباع القواعد.
الخلا الخلاصة
يعلمنا هذا البحث أن الذكاء الاصطناعي هو باني رائع، لكنه ليس مفتش سلامة. إذا طلبت منه بناء شيء دون ذكر السلامة، فسيبني منزلاً يصمد ولكنه قد يفتقر إلى كواشف الدخان أو الأقفال. وإذا أضفت جملة واحدة عن اتباع القواعد، فسيقوم فجأة بتركيب معظم معدات السلامة وإزالة الأبواب الخلفية الخطيرة.
ومع ذلك، لا تزال هناك فجوات. لن يقوم الذكاء الاصطناعي تلقائياً بتركيب ميزات سلامة محددة ومعقدة (مثل MFA أو إعدادات ملفات تعريف الارتباط المحددة) ما لم تطلبها بالاسم، حتى لو ذكرت القواعد. والأهم من ذلك، لا يمكنك مجرد الوثوق ببرنامج كمبيوتر لفحص عمل الذكاء الاصطناعي؛ فأنت بحاجة إلى إنسان ينظر بدقة، لأن الذكاء الاصطناعي يمكنه إخفاء أخطاء خطيرة بطرق ذكية قد تغفل عنها الماسحات البسيطة.
الدرس لأي شخص يستخدم الذكاء الاصطناعي لكتابة الكود بسيط: لا تفترض أن الذكاء الاصطناعي يعرف القواعد. عليك أن تخبره بالقواعد، ثم عليك أن تراجع عمله، لأن المنزل الذي يبدو مثالياً قد لا يزال يحتوي على باب خلفي مخفي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.