CIPHER: Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses
تقدم هذه الورقة CIPHER، وهو معيار ومسار تسجيل تلقائي مصمم لتقييم وقياس الثغرات التشفيرية في الأكواد البرمجية التي تولدها النماذج اللغوية الكبيرة، كاشفةً أنه بينما يخفف التوجيه الآمن الصريح من بعض المشكلات، فإنه يفشل في القضاء بشكل موثوق على العيوب التشفيرية عبر النماذج المتنوعة.
المؤلفون الأصليون:Max Manolov, Tony Gao, Siddharth Shukla, Cheng-Ting Chou, Ryan Lagasse
تخيل أنك توظف فريقاً من الروبوتات فائقة السرعة والذكاء لكتابة الأقفال والمفاتل لخزنة البنك الخاصة بك. تقول لهم: "اصنعوا قفلاً آمناً"، فيقومون فوراً بإنتاج تصميم. لكن هنا تكمن المشكلة؛ فبالرغم من أن هذه الروبوتات بارعة، إلا أنها غالباً ما تصنع أقفالاً تبدو مثالية من الخارج، ولكن بها شقوق صغيرة غير مرئية يمكن لـلص أن يستغلها بسهولة.
تقدم هذه الورقة البحثية CIPHER، وهو "تقرير درجات" جديد صُمم لاختبار مدى جودة هذه الروبوتات الذكية في بناء أقفال تشفير آمنة (مثل التشفير وحماية كلمات المرور) في الأكواد البرمجية.
إليك تفصيل لما قام به الباحثون وما وجدوه، باستخدام تشبيهات بسيطة:
1. المشكلة: "العيب الصامت"
عندما يكتب الذكاء الاصطناعي كوداً برمجياً للأمن، فإنه غالباً ما يجتاز الاختبارات الأساسية (أي أن الكود يعمل دون توقف أو انهيار)، ولكنه يغفل عن قواعد أمنية دقيقة.
التشبيه: تخيل روبوتاً يبني منزلاً. إنه يضع الجدران والسقف (الكود يعمل)، لكنه ينسى تركيب قفل للمدخل الأمامي أو يترك النافذة الخلفية مفتوحة (ثغرة أمنية). المنزل قائم، لكنه ليس آمناً.
المشكلة: هذه العيوب غالباً ما تكون ناتجة عن خيارات تصميمية دقيقة، مثل استخدام مفتاح "ثابت" (مفتاح لا يتغير أبداً) بدلاً من مفتاح عشوائي، أو نسيان التحقق مما إذا كان الشخص هو بالفعل من يدعي أنه هو.
2. الحل: اختبار CIPHER
ابتكر الباحثون اختباراً معيارياً يسمى CIPHER لقياس عدد المرات التي ترتكب فيها هذه الروبوتات الذكية هذه الأخطاء.
الإعداد: قدموا نفس الـ 150 "وظيفة" مختلفة لـ 7 نماذج مختلفة من الذكاء الاصطناعي. ولكل وظيفة، أعطوا الذكاء الاصطناعي ثلاث تعليمات (أوامر) مختلفة:
الأمر "السيئ": "افعل هذا بسرعة، ولا تقلق بشأن الفحوصات الأمنية." (لاختبار ما إذا كان الذكاء الاصطناعي يتبع النصائح السيئة).
الأمر "المحايد": "فقط اكتب الكود للقيام بهذا." (لاختبار ما يفعله الذكاء الاصطناعي بشكل افتراضي).
الأمر "الآمن": "افعل هذا، ولكن تأكد من اتباع أشد القواعد الأمنية صرامة!" (لاختبار ما إذا كان إخبار الذكاء الاصطناعي بأن يكون آمناً يؤتي ثماره حقاً).
التسجيل (التقييم): بدلاً من جعل البشر يقرؤون كل سطر من الأكواد (وهو أمر يستغرق وقتاً طويلاً)، استخدموا ذكاءً اصطناعياً آخر كـ "قاضٍ". تم تدريب هذا القاضي على البحث عن أنواع محددة من أخطاء كسر الأقفال وتحديد السطر البرميدي الذي تسبب في المشكلة بالضبط.
3. النتائج: "كن آمناً" ليست كافية
كانت النتائج مفاجئة ومثيرة للقلق نوعاً ما.
الأمر "السيئ": كما كان متوقعاً، عندما طُلب من الذكاء الاصطناعي أن يكون مهملاً، ارتكب الكثير من الأخطاء.
الأمر "الآمن": هذا هو الاكتشاف الكبير. حتى عندما أخبر الباحثون الذكاء الاصطناعي صراحةً: "كن آمناً للغاية! اتبع جميع القواعد!"، ظل الذكاء الاصطناعي يرتكب أخطاءً بنسبة تتراوح بين 56% إلى 89% من الوقت.
التشبيه: الأمر يشبه إخبار طباخ: "اصنع وجبة صحية، بدون سكر، وبدون ملح، واستخدم مكونات طازجة". قد يزيل الطباخ السكر (الشيء المحدد الذي طلبته)، ولكنه قد يظل يستخدم لحماً فاسداً أو ينسى غسل الخضروات (مخاطر أخرى خفية). يقوم الذكاء الاصطناعي بإصلاح الشيء المحدد الذي طلبته، لكنه يفشل في بناء نظام آمن "شامل".
4. ماذا يعني هذا؟
تخلص الورقة البحثية إلى أن مجرد إخبار الذكاء الاصطناعي بأن "يكون آمناً" لا يمنع ارتكابه للأخطاء الخطيرة بشكل موثوق.
الخلاصة: لا يمكنك الوثوق بالذكاء الاصطناعي لكتابة كود أمني، حتى لو أعطيته أمراً صارماً جداً. يميل الذكاء الاصطناعي إلى التركيز على التعليمات المحددة التي تلقاها (مثل "استخدم مفتاحاً عشوائياً") ولكنه يغفل عن الصورة الكبيرة (مثل "تحقق أيضاً من هوية المستخدم").
التوصية: نظراً لأن الذكاء الاصطناعي يستمر في ترك هذه الشقوق الصغيرة في "الأقفال"، فإن أي كود يكتبه لأغراض أمنية يحتاج إلى مراجعة دقيقة من قبل خبير بشري قبل استخدامه في العالم الحقيقي.
ملخص
CIPHER هي أداة تثبت أنه بينما يعد الذكاء الاصطناعي رائعاً في كتابة الأكواد، فإنه حالياً سيء جداً في كتابة الأكواد "الآمنة". حتى عندما تخبره صراحةً بأن يكون آمناً، فإنه غالباً ما يترك الباب الخلفي مفتوحاً. توفر الورقة البحثية وسيلة لقياس حالات الفشل هذه حتى يعرف المطورون أنه لا يمكنهم الاعتماد على الذكاء الاصطناعي وحده في المهام الأمنية.
ملخص تقني: CIPHER
بيان المشكلة
تتكامل النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في سير عمل تطوير البرمجيات لتوليد مكونات حرجة أمنياً، مثل أدوات التشفير ومنطق إدارة المفاتيح. وبينما تنجح الأكواد التي تولدها هذه النماذج غالباً في الاختبارات الوظيفية، إلا أنها كثيراً ما تحتوي على عيوب تشفيرية دقيقة — مثل ناقلات تهيئة ثابتة (static IVs)، أو مفاتيح محددة برمجياً (hardcoded keys)، أو فقدان المصادقة — مما يبطل الضمانات الأمنية بصمت. تعاني تقييمات النماذج الحالية من ثلاث فجوات محددة:
الافتقار إلى التوجيه المنضبط: تختلف معايير القياس السابقة وظيفياً بجانب الإرشادات الأمنية، مما يجعل من الصعب عزل التأثير السببي للتعليمات على معدلات الضعف.
غياب التصنيفات الخاصة بالتشفير: تجمع معايير الأمن العامة بين مشكلات التشفير وثغرات أخرى غير ذات صلة (مثل حقن SQL)، مما يحجب أنماط الفشل الخاصة بواجهات برمجة تطبيقات التشفير (cryptographic APIs).
الافتقار إلى تسجيل الدرجات القابل للتوسع على مستوى السطر: تعتمد التقييمات غالباً على الفحص اليدوي أو الأحكام الثنائية (ناجح/راسب)، مما يمنع التحديد الدقيق للأنماط البرمجية التي تسبب ثغرات معينة.
علاوة على ذلك، تشير الدراسات السابقة إلى أنه بينما قد تنتج المساعدات الذكية أكواداً أقل أماناً، فإنها تزيد أيضاً من الثقة المفرطة لدى المطورين فيما يتعلق بالأمن، مما يستلزم وجود معايير قياس صارمة وقابلة للتكرار.
المنهجية
قدم المؤلفون CIPHER (التنميط التشفيري لعدم الأمان عبر التقييم الهجين للاستجابات)، وهو معيار قياسي مصمم لقياس حدوث الثغرات التشفيرية في كود بايثون (Python) المولد بواسطة النماذج اللغوية الكبيرة تحت ظروف محكومة.
بناء معيار القياس
ثلاثيات المطالبات (Prompt Triplets): الوحدة الأساسية هي "عائلة المطالبة" التي تمثل مهمة تشفيرية واحدة (مثل تشفير رسالة). يتم توسيع كل عائلة إلى ثلاثة متغيرات تشترك في نفس الهدف الوظيفي، والقيود الواجهية، والسياق، وتختلف فقط في التوجيه الأمني:
غير آمن (Insecure): يحتوي على توجيهات مضللة أو متساهلة (مثل "تعطيل التحقق من الشهادة من أجل التوافق"). la محايد (Neutral): يطلب كوداً جاهزاً للإنتاج دون تعليمات أمنية صريحة.
آمن (Secure): يفرض صراحةً أفضل الممارسات ويمنع الأخطاء المعروفة (مثل اشتراط أنماط AEAD).
التنفيذات المرجعية: تتضمن كل عائلة تنفيذاً مرجعياً آمناً (يلتزم بأفضل الممارسات الحديثة) وتنفيذاً مرجعياً ضعيفاً (يحتوي عمداً على ثغرة محددة ودقيقة). وتعمل هذه كاختبارات تحقق لمسار التقييم.
التصنيف (Taxonomy): تصنيف خاص بالتشفير يتكون من 17 فئة عامة (مثل العشوائية، المصادقة، إدارة المفاتيح) و58 نوعاً من الثغرات الدقيقة (مثل IV ثابت، أو هاش ضعيف).
مسار التقييم
النموذج اللغوي كحكم (LLM-as-a-Judge): يستخدم معيار القياس مسار تسجيل درجات مؤتمت باستخدام نموذج لغوي (GPT-4o) مقيد بتصنيف CIPHER. يقوم "الحكم" باستخراج الكود، وتعيين تسميات الثغرات، وتوفال نطاقات الأدلة على مستوى السطر.
بروتوكول تسجيل الدرجات: لضمان الاتساق، يتم إجراء عمليات حكم متعددة لكل عملية توليد، ويتم تجميع التوقعات عبر التصويت بالأغلبية. ويتم تقدير عدم اليقين عبر درجات الثقة.
المقاييس:
معدل الضعف (Vulnerability Rate - VR): نسبة العمليات التي تحتوي على ثغرة واحدة على الأقل. هذا هو المقيثل الأساسي، الذي يعكس الواقع التشغيلي بأن ثغرة واحدة تجعل الكود غير آمن.
متوسط الثغرات لكل عملية توليد (Avg/Gen): مقياس ثانوي يشير إلى شدة الفشل.
ثقة الحكم (Judge Confidence): درجات الثقة المجمعة وفترات الثقة 95% عبر إعادة أخذ العينات (bootstrap resampling).
المساهمات الرئيسية
معيار قياس تشفيري موحد: مجموعة بيانات تضم 150 ثلاثية مطالبة (450 مطالبة إجمالية) تغطي 17 فئة من الثغرات و58 نوعاً دقيقاً، مع متغيرات (غير آمنة، محايدة، وآمنة) لكل مهمة.
مقاييس أمنية مستقلة عن المهام: مقاييس عالمية تشمل VR، وAvg/Gen، وثقة الحكم، مما يسمح بتجميع متسق عبر مختلف المطالبات والنماذج.
مسار تسجيل درجات قابل للتكرار: بروتوكول تقييم يستخدم نموذج لغوي كحكم مقيد بتصنيف ثابت، ينتج نتائج على مستوى السطر مع نطاقات الأدلة وتقديرات عدم اليقين.
تحليل تجريبي متعدد النماذج: تقييم شامل لسبعة نماذج لغوية واسعة الانتشار تحت ثلاثة ظروف توجيهية.
النتائج
طُبق معيار القياس على سبعة نماذج (بما في ذلك GPT-5.1، وClaude Sonnet 4.5، وGemini 2.5 Flash، ومبرمجين مفتوحي المصدر متنوعين) باستخدام 5 عينات لكل مطالبة (2,250 عملية توليد لكل نموذج).
معدلات ضعف عالية: عبر جميع النماذج، تراوحت معدلات الضعف بين 56.0% و89.1%.
تأثير محدود للتوجيه الآمن: بينما أدى التوجيه "الآمن" الصريح إلى تقليل معدلات الضعف لبعض النماذج، إلا أن الانخفاض كان متواضعاً وغير موثوق. انخفض معدل الضعف المجمع عبر جميع النماذج من 76.9% (المطالبات غير الآمنة) إلى 71.7% (المطالبات الآمنة) فقط.
تباين النماذج:
أظهر Claude Sonnet 4.5 أعلى معدل ضعف (89.1%) وأعلى متوسط ثغرات لكل عملية توليد (1.46).
أظهر Qwen2.5 Coder 7B أدنى معدل (56.0%) وأدنى متوسط (0.73).
أنماط الفشل الشائعة: كانت إخفاقات المصادقة هي الثغرة الأكثر انتشاراً عبر جميع النماذج. وشملت المشكلات المهيمنة الأخرى سوء استخدام IV/المفاتيح، وأخطاء التعامل مع المفاتيح، والعشوائية غير الآمنة.
تحليل توجيه المطالبة: نجحت المطالبات الآمنة غالباً في تجنب الثغرة المستهدفة تحديداً (مثل تجنب IV ثابت) لكنها فشلت في فرض الثوابت التشفيرية العالمية الأوسع (مثل إضافة المصادقة أو الاشتقاق الآمن للمفاتيح). وهذا يشير إلى أن النماذج تعطي الأولوية للقيود المحلية للمطالبة على الخصائص الأمنية العالمية.
الأهمية والادعاءات
يزعم البحث أن CIPHER يوفر أول إطار عمل منضبط وقابل للتكرار لقياس كيفية تأثير ظروف التوجيه على السلامة التشفيرية في النماذج اللغوية الكبيرة. تسلط النتائج الضوء على قصور جوهري في النماذج اللغوية الحالية: فهي غالباً ما تلبي القيود المحلية للمطالبة بينما تفشل في فرض الثوابت التشفيرية العالمية، مما يؤدي إلى تركيبات كود غير آمنة حتى عند توجيهها صراحةً لتكون آمنة.
يؤكد المؤلفون أن هذه النتائج تقدم دليلاً ملموساً ضد النشر غير المراجع للكود المولد بواسطة النماذج اللغوية الكبيرة. إن معيار القياس ومسار التقييم القابل للتكرار يهدفان إلى أن يكونا أساساً للقياس المنهجي، مما يمكن مطوري النماذج من تحسين إشارات التدريب ويسمح للمؤسسات بوضع أسس تجريبية تتطلب مراجعات أمنية من قبل خبراء للأكواد المولدة بالذكاء الاصطوي. يقر البحث بمخاطر الاستخدام المزدوج، لكنه يجادل بأن فئات الضعف المدروسة موثقة جيداً، وأن المساهمة تكمن في القياس المنهجي وليس في ابتكار أسطح هجوم جديدة.