💻 computer science

SCAFFOLD-CEGIS: Preventing Latent Security Degradation in LLM-Driven Iterative Code Refinement

تحدد هذه الورقة مفارقة "التدهور الأمني الكامن" حيث تؤدي عمليات التحسين التكراري للأكواد البرمجية بواسطة النماذج اللغوية الكبيرة (LLMs) إلى زيادة الثغرات الأمنية بسبب انحراف المواصفات وعدم فعالية التحليل الساكن، وتقترح إطار عمل SCAFFOLD-CEGIS —وهو نظام متعدد الوكلاء يستخدم التركيب الاستقرائي الموجه بالنماذج المضادة والقيود الصريحة القابلة للتحقق— لتحقيق رتابة سلامة بنسبة 100% وخفض معدلات التدهور إلى 2.1%.

المؤلفون الأصليون: Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yi Chen, Yun Bian, Haiquan Wang, Shihao Li, Zhe Cui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً موهوباً للغاية، ولكنه نساٍء بعض الشيء، يُدعى "الذكاء الاصطناعي". تطلب من هذا المساعد كتابة قطعة من البرمجيات. في البداية، يكون الكود آمناً ومحصناً، مثل منزل ذي أقفال قوية، وأجهزة إنذار، وحارس عند الباب.

لكنك لا تريد الكود لمرة واحدة فقط؛ بل تريد الاستمرار في طلب تحسينه من الذكاء الاصطناعي. تقول له: "اجعله أسرع". وتطلب منه: "اجعله أسهل في القراءة". وتقول: "أضف هذه الميزة الجديدة".

المشكلة: "مفارقة الترميم"
يكتشف البحث مشكلة غريبة: في كل مرة يحاول فيها الذكاء الاصطناعي جعل الكود "أفضل" بطريقة ما (مثل جعله أسرع أو أكثر وضوحاً)، فإنه يتسبب دون قصد في جعله "أسوأ" بطريقة أخرى (أقل أماناً).

فكر في الأمر كعملية ترميم منزل. تقول للمقاول: "اجعل المطبخ أكبر والممر أوسع". يقوم المقاول بعمل رائع، ولكن في هذه العملية، يقوم دون قصد بإزالة الباب الأمامي، وإزالة أجهزة كشف الدخان، وترك البوابة الخلفية مفتوحة. لم يكن ينوي كسر الأمن؛ كان فقط مركزاً على "التحسينات" التي طلتَها.

وجد الباحثون أنه بعد حوالي 10 جولات من عمليات "الترميم" هذه، انتهى الأمر بنحو نصف سلاسل الكود بوجود ثغرات أمنية أكثر مما كانت عليه في البالب. كان الذكاء الاصطناعي مشغولاً جداً بالتحسين من أجل السرعة أو البساطة لدرجة أنه نسي الحفاظ على "الأقفال".

الحل الفاشل: بوابة "كاشف المعادن"
قد تعتقد: "حسناً، فلنضع كاشف معادن عند المخرج فقط. إذا كان الكود يحتوي على فيروس معروف (ثغرة أمنية محددة)، فإننا نوقفه". هذا ما يسمى التحليل الساكن (SAST).

يظهر البحث أن هذا لا يعمل بشكل جيد. لماذا؟ لأن الذكاء الاصطناعي لا يضيف "فيروسات" فحسب؛ بل هو يزيل الدفاعات.

التشبيه: تخيل أن كاشف المعادن يتحقق فقط مما إذا كنت تحمل سلاحاً. لكن المقاول لم يحضر سلاحاً؛ بل قام فقط بأخذ مسدس الحارس وقفل الحارس في القبو. كاشف المعادن لا يرى أي خطأ لأن لم يتم إضافة أي سلاح جديد. المنزل الآن بلا دفاعات، لكن الكاشف يقول: "كل شيء آٍمن!"

هذا يخلق تأثير "الأمان الزائف". الكود يجتاز الاختبار، لكنه في الواقع أكثر خطورة مما كان عليه.

الحل: نظام SCAFFOLD-CEGIS (نظام "المخطط الذكي")
لإصلاح ذلك، بنى المؤلفون نظاماً جديداً يسمى SCAFFOLD-CEGIS. يعمل مثل فريق من المهندسين المعماريين والمفتشين المتخصصين الذين لا يبحثون فقط عن "الأشياء السيئة"، بل يحمون بنشاط "الأشياء الجيدة".

إليك كيف يعمل الفريق، باستخدام تشبيه البناء:

المهندس المعماري الأمني (صانع "المراسي"):
قبل أن يبدأ الذكاء الاصطناعي في العمل، ينظر هذا العميل إلى الكود الأصلي ويقول: "هذه هي المراسي".

التشبيه: هذه هي العوارض الفولاذية، وجدران الحماية، والأقفال الرئيسية. يضع المهندس المعماري عليها شريطاً أحمر زاهياً ويقول: "لا تلمسوا هذه. إذا حركتموها، سينهار المبنى بالكامل".
يقوم النظام بتحويل التعليمات الغامضة مثل "كن آمناً" إلى قواعد صلبة وغير قابلة للكسر: "يجب أن توجد الدالة المسماة validate_user"، أو "يجب أن تستخدم كل استعلام لقاعدة البيانات معاملاً (parameter)".

البنّاء (الذكاء الاصطناعي):
يحاول الذكاء الاصطناعي إجراء التحسينات المطلية (أسرع، أنظف) ولكن يُمنع منعاً باتاً من إزالة أو إضعاف "المراسي".
حارس البوابة (المفتش ذو الطبقات الأربع):
قبل قبول أي تغيير، يقوم حارس البوابة بفحصه عبر أربع طبقات:

هل يعمل؟ (الصحة/الدقة)
هل فقدنا أي أمان؟ (الرتابة الأمنية/Safety Monotonicity)
هل التغيير ضخم جداً؟ (ميزانية الفرق/Diff Budget - لمنع عمليات الإصلاح الجذرية الخطيرة)
هل كسرنا المراسي؟ (سلامة المراسي/Anchor Integrity)
التشبيه: إذا حاول البناء إزالة عارضة فولاذية لجعل الغرفة أكبر، سيغلق حارس البوابة الباب في وجهه فوراً.

المتعلم (جامع "الخبرة"):
إذا فشل البناء وتم رفض عمله، فإن هذا العميل لا يكتفي بقول "لا" فقط. بل يدون لماذا فشل.

التشبيه: "أوه، لقد حاول البناء حذف دالة validate مجدداً. في المرة القادمة، أخبر البناء: 'لا تحذف أبداً الدوال التي تحمل اسم 'validate' في اسمها'".
يساعد هذا الذكاء الاصطناعي على التعلم من أخطائه حتى لا يرتكب نفس الخطأ الأمني مرتين.

النتائج
عندما اختبر الباحثون هذا النظام الجديد:

الطريقة القديمة (مجرد سؤال الذكاء الاصطناعي): تدهور الأمن بمرور الوقت.
الطريقة الوسطى (استخدام كاشف المعادن فقط): بدا الأمن جيداً، لكنه في الواقع أصبح أسوأ لأن الكاشف أغفل "إزالة الدفاعات".
الطريقة الجديدة (SCAFFOLD-CEGIS): نجح النظام في وقف التدهور الأمني. لقد خفض معدل "الضرر الأمني الخفي" من حوالي 20% إلى 2% فقط.

الخلاصة
يخلص البحث إلى أنه عندما نطلب من الذكاء الاصطناعي تحسين الكود مراراً وتكراراً، فإنه يبتعد طبيعياً عن الأمان ما لم نعطه قواعد صريحة وصلبة (المراسي) ومفتشاً صارماً (حارس البوابة) يفهم أن إزالة الدفاع هو أمر خطير تماماً مثل إضافة ثغرة. لا يمكنك الاعتماد فقط على الذكاء الاصطناعي لكي "يتذكر" أن يكون آمناً؛ بل يجب عليك بناء نظام يجبره على البقاء آمناً.

ملخص تقني: SCAFFOLD-CEGIS

1. بيان المشكلة: مفارقة التحسين المتكرر

تحدد الورقة البحثية خطراً حرجاً وغير مستكشف بشكل كافٍ في هندسة البرمجيات المدفوعة بالنماذج اللغوية الكبيرة (LLM): التدهور الأمني الكامن أثناء عملية تحسين الكود المتكررة. وبينما تسهل أدوات مثل GitHub Copilot التفاعلات متعددة الأدوار لتحسين الوظائف والأداء، يرى المؤلفون أن هذه العملية غالباً ما تؤدي دون قصد إلى تدهور الأمن.

المشكلة الجوهرية هي انحراف المواصفات (Specification Drift) في التحسين متعدد الأهداف. فعندما تقوم النماذج اللغوية الكبيرة بتحسين أهداف متنافسة (الوظائف، الأداء، القابلية للصيانة) جنباً إلى جنب مع القيود الأمنية، ومع تقديم القيود الأمنية فقط كـ "مطالبات ناعمة" (Soft Prompts)، فإن مسار التحسين ينحرف تدريجياً عن المواصفات الأمنية المقصودة. يؤدي هذا إلى إزالة المنطق الدفاعي، أو إضعاف معالجة الاستثناءات، أو تجاوز عمليات التحقق من الأذونات.

والأهم من ذلك، تثبت الورقة أن بوابة اختبار أمن التطبيقات الساكن (SAST Gating) غير كافية لمنع ذلك. تعتمد أدوات SAST على أنماط الثغرات المعروفة وغالباً ما تفشل في اكتشاف التدهورات الهيكلية حيث يتم ببساطة حذف العناصر الحرجة أمنياً أو إضعافها دون إدخال أنماط جديدة تستدعي القواعد. في الواقع، لاحظ المؤلفون وجود "تأثير الأمن الزائف" (Pseudo-security effect) حيث يمكن للاعتماد حصرياً على SAST أن يزيد من معدل التدهور الأمني الكامن (من 12.5% إلى 20.8% في تجاربهم) لأن النماذج قد تفسر "اجتياز SAST" كإشارة للقيام بعمليات إعادة هيكلة أكبر وأكثر خطورة تقع خارج نطاق تغطية SAST.

2. المنهجية: إطار عمل SCAFFOLD-CEGIS

لمعالجة هذه القيود، يقترح المؤلفون SCAFFOLD-CEGIS، وهو إطار عمل متعدد الوكلاء مستوحى من نموذج التصنيع الاستقرائي الموجه بالنماذج المضادة (CEGIS). يقوم الإطار بتحويل القيود الأمنية من تعليمات ضمنية إلى قيود صلبة صريحة وقابلة للتحقق.

البنية الأساسية

يعمل النظام عبر حلقة مغلقة تتضمن أربعة وكلاء متعاونين:

وكيل مهندس الأمن (SecurityArchitectAgent): يستخرج المرتكزات الدلالية (Semantic Anchors) من قاعدة الكود. تمثل هذه المرتكزات العناصر الحرجة أمنياً (الدوال، الأنماط، الثوابت) ويتم صياغتها في مجموعة مواصفات $\Phi$ $Φ$ .
- على مستوى الدالة: يحدد دوال التحقق، والتطهير (Sanitization)، والمصادقة عبر تحليل التعبيرات النمطية (Regex) وتحليل شجرة الإعراب المجردة (AST).
- على مستوى النمط: يطابق أنماط المنطق الدفاعي (مثل الاستعلامات ذات المعاملات، أو معالجة استثناءات محددة).
- على مستوى الثابت: يفرض قواعد عالمية (مثل "يجب أن تكون جميع استعلامات SQL ذات معاملات").
وكيل التنفيذ (ImplementerAgent): يولد كوداً مرشحاً ( $P'$ ) لتلبية مهمة التحسين مع الالتزام بالقيود الصلبة المحددة بواسطة المرتكزات الدلالية.
وكيل الحارس (GatekeeperAgent): يقوم بإجراء تحقق رباعي الطبقات على كل مرشح قبل قبوله:
- الصحة (Correctness): يضمن اجتياز الكود لمجموعة الاختبارات.
  - رتابة السلامة (Safety Monotonicity): يتحقق من أن عدد الثغرات (عبر SAST) لا يزداد ( $\Delta V \le 0$ ).
- ميزانية الفرق (Diff Budget): يحد من حجم التغييرات لمنع عمليات إعادة الهيكلة الضخمة والخطيرة.
- سلامة المرتكزات (Anchor Integrity): يضمن عدم إزالة أو تعديل المرتكزات الدلالية ذات المستوى الصلب (مثل دوال التحقق الحرجة).
وكيل الاستيعاب (AssimilatorAgent): يحلل المرشحات المرفوضة لاستخراج دروس مهيكلة (نماذج مضادة). يقوم بتحديث قاعدة معرفة الفشل لتوجيه عمليات التوليد المستقبلية، مما يمنع تكرار أخطاء هيكلية محددة.

الضمان النظري

يفرض الإطار رتابة السلامة (Safety Monotonicity)، والمعرفة بأن $V(P_{i+1}) \le V(P_i)$ لجميع التكرارات $i$ ، حيث $V$ هو عدد الثغرات. من خلال ضبط عتبة التسامح عند $\delta_{max} = 0$ ، يضمن النظام عدم إدخال أي ثغرات جديدة يمكن اكتشافها بواسطة SAST في أي تكرار، وعدم إزالة العناصر الأمنية المرتكزة.

3. المساهمات الرئيسية

الإثبات التجريبي للمفارقة: من خلال تجارب منضبطة على 96 سلسلة تكرارية باستخدام GPT-4o، كشف المؤلفون أن 43.7% من السلاسل تظهر ثغرات أكثر من الخط المرجعي بعد عشر تكرارات. وتؤكد التجارب عبر النماذج واللغات المختلفة أن هذه الظاهرة منتشرة وليست مقتصرة على نموذج واحد.
تحديد نقاط ضعف SAST: توثق الورقة حالات تدهور "كامنة" محددة (مثل حذف دوال التحقق من المدخلات، أو ابتلاع الاستثناءات، أو تجاوز فحوصات الأذونات) التي تجتاز فحوصات SAST ولكنها تضعف الأمن.
إطار عمل SCAFFOLD-CEGIS: بنية مبتكرة تدمج الترتكز الدلالي، والتحقق متعدد الطبقات، واستيعاب الفشل لفرض رتابة السلامة.
التحسين الكمي: يقلل الإطار معدل التدهور الأمني الكامن (المقاس عبر المراجعة الدلالية لـ LLM) من 20.8% (في الخطوط المرجعية غير المحمية) إلى 2.1%، مع تحقيق رتابة سلامة بنسبة 100%.

4. النتائج التجريبية

قيم المؤلفون إطار العمل عبر ثلاثة أسئلة بحثية (RQs) باستخدام 24 مهمة برمجة بلغتي Python و Java، تغطي ستة سيناريوهات أمنية (حقن SQL، معالجة المدخلات، المصادقة، إلخ).

س1 (الصلاحية الخارجية): أكدت التجارب عبر GPT-5-Nano و Claude Sonnet 4.5 و DeepSeek-V3 أن التحسين المتكرر يقلل الأمن عبر مختلف النماذج واللغات. ومن الملاحظ أن مقاييس التحليل الساكن (SAST) غالباً ما أظهرت معدلات تدهور منخفضة (مثلاً 4.2%–10.5%)، بينما كشفت المراجعة الدلالية لـ LLM عن معدلات تدهور أمني كامن أعلى بكثير (42.5%–52.5%)، مما يسلط الضوة على الفجوة في تغطية الكشف.
س2 (مقارنة الدفاع): بالمقارنة مع ستة خطوط مرجعية (بما في ذلك الأمن القائم على المطالبات، والتحسين الذاتي، و SAST اللاحق، والدفاع الهجين)، كان SCAFFOLD-CEGIS هو الطريقة الوحيدة التي حققت كلاً من معدل تدهور SAST بنسبة 0% و معدل تدهور أمني كامن بنسبة 2.1%.
- نتيجة رئيسية: أدى استخدام SAST اللاحق وحده إلى معدل تدهور كامن أعلى (20.8%) من الخط المرجعي غير المحمي (12.5%)، مما يؤكد خطر "الأمن الزائف".
س3 (دراسة الاستئصال/Ablation Study):
- تم تحديد التحقق من البوابة (Gated Verification) كمحرك أساسي لتحقيق رتابة سلامة بنسبة 100%.
- كان الترتكز الدلالي (Semantic Anchoring) ضرورياً لتوسيع التغطية بما يتجاى قواعد SAST لالتقاط عمليات الحذف الهيكلية.
- أدى استيعاب الفشل (Failure Assimilation) إلى تحسين معدل إكمال المهام (TCR) بشكل كبير من حوالي 66% (بدون استيعاب) إلى 77.14%، مما يثبت أن التعلم من الفشل يسمح للنظام بالحفاظ على قدرات تطور الكود حتى تحت قيود أمنية صارمة.

5. الأهمية والادعاءات

تدعي الورقة أن التحسين المتكرر للكود المدفوع بـ LLM ينطوي على خطر متأصل من التدهور الأمني لا يمكن تخفيفه بالممارسات القياسية الحالية مثل المطالبات الناعمة أو بوابات SAST.

تكمن أهمية العمل في:

تغيير النموذج: الانتقال من حلقات "التوليد-الكشف" إلى حلقات "التوليد-التحقق-التقييد" حيث تكون القيود الأمنية صريحة ومفروضة بقوة.
معالجة النقاط العمياء الهيكلية: إثبات أن الأمن لا يتعلق فقط بمنع الثغرات الجديدة، بل أيضاً بالحفاظ على الهياكل الدفاعية الموجودة، مما يتطلب فهماً دلالياً يتجاوز مطابقة الأنماط.
الهندسة العملية: توفير إطار عمل يحقق رتابة سلامة بنسبة 100% دون إيقاف تطور الكود تماماً، مما يوفر مساراً قابلاً للتطبيق لتطوير البرمجيات الآمنة بمساعدة الذكاء الاصطناعي.

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بالقيود، حيث يقرون بأن نتائجهم تعتمد على وحدات أحادية الملف ولغات محددة (Python/Java). ويشيرون إلى أن القابلية للتوسع في قواعد الأكواد الصناعية، والضجيج المتأصل في المراجعة الدلالية لـ LLM، والتكلفة الحسابية لطبقات التحقق هي مجالات تتطلب مزيداً من الدراسة. هم لا يدعون حل جميع المشكلات الأمنية، بل يقدمون آلية لمنع تدهور الضمانات الأمنية الموجودة أثناء التحسين المتكرر.