Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
تقيم هذه الدراسة امتثال نماذج الذكاء الاصطناي الرائدة الثلاثة لمعايير SOC 2 عبر أربع حالات استخدام، حيث وجدت أنه بينما غالبًا ما يحتوي توليد الكود البرمجي غير الموجه بطلب مسبق على ثغرات أمنية حرجة ويفتقر إلى ضوابط أمنية رئيسية، فإن إضافة جملة واحدة تشير إلى معايير SOC 2 يحسن الامتثال بشكل ملحوظ ليصل إلى 86-100% ويقضي على البنى غير الآمنة، رغم فشله في معالجة الضوابط الخارجة عن نطاق تصور النموذج للمهمة المباشرة، كما يسلط الضال على عدم موثوقية التقييم القائم على مطابقة الأنماط الآلية لصالح التحقق الدلالي.