← أحدث الأبحاث
🤖 AI

Inference-Time Safety For Code LLMs Via Retrieval-Augmented Revision

تقدم هذه الورقة آلية سلامة تعتمد على الاسترجاء أثناء وقت الاستدلال، والتي تستفيد من معارف "ستاك أوفر فلو" (Stack Overflow) المنسقة لتوجيه النماذج اللغوية الكبيرة في مراجعة الكود المُولد، مما يعزز القابلية للتفسير، والمتانة ضد الثغرات الأمنية المتطورة، والمواءمة مع معايير السلامة دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Manisha Mukherjee, Vincent J. Hellendoorn

نُشر 2026-03-03
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

المؤلفون الأصليون: Manisha Mukherjee, Vincent J. Hellendoorn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك متدرباً بارعاً وسريع الكلام في البرمجة يُدعى AI. هذا المتدرب قرأ كل كتاب تقريباً في المكتبة ويمكنه كتابة الكود أسرع من أي شخص آخر. ومع ذلك، هناك مشكلة: المكتبة قديمة. تحتوي الكتب على حيل خطيرة كان الناس يستخدمونها قديماً، ولكننا نعرف الآن أنها أفكار سيئة للغاية (مثل ترك الباب الخلفي للمنزل مفتوحاً على مصراعيه).

ولأن المتدرب تعلم من هذه الكتب القديمة، فإنه أحياناً يكتب كوداً يحتوي عن طريق الخطأ على هذه "الأبواب الخلفية" الخطيرة. وإذا طلبت منه إصلاح عمله، فقد يكتفي بالقول: "أعتقد أنه يبدو جيداً!" لأنه لا يدرك مدى الخطورة.

تقدم هذه الورقة نظام سلامة جديداً يسمى SOSECURE. فكر في SOSECURE كأنه مفتش سلامة ذكي جداً يعمل في الوقت الفعلي، يقف بجانب المتدرب مباشرة أثناء قيامه بالكتابة.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. المشكلة: "المكتبة الساكنة"

تدرب المتدرب الذكي (AI) على لقطة ثابتة من الأكواد من الماضي.

  • المشكلة: التهديدات الأمنية تتغير بسرعة. الحيلة البرمجية التي كانت آمنة في عام 2020 قد تصبح ثغرة أمنية هائلة في عام 2026.
  • القصور: لإصلاح المتدرب، يتعين عليك عادةً إرساله للعودة إلى المدرسة (إعادة تدريب النموذج) ليتعلم القواعد الجديدة. وهذا أمر مكلف، بطيء، ولا يحدث إلا نادراً.

2. الحل: "حكمة المجتمع" (SOSECURE)

بدلاً من إرسال المتدرب للعودة إلى المدرسة، ابتكر المؤلفون نظاماً يستمد المعرفة من Stack Overflow.

  • ما هو Stack Overflow؟ تخيل ساحة مدينة عالمية ضخمة حيث يتجمع ملايين المطورين. إذا ارتكب شخص ما خطأً، يصرخ المجتمع قائلاً: "مهلاً! هذا خطير! إليك السبب، وإليك طريقة أكثر أماناً للقيام بذلك".
  • السحر: هذه الساحة تتحدث باستمرار. فهي تعرف عن أحدث المخاطر فور حدوثها.

3. كيف يعمل SOSECURE (سير عمل "مفتش السلامة")

عندما يكتب المتدرب الذكي (AI) قطعة من الكود، لا يسمح SOSECURE بمرورها ببساطة. بل يقوم بثلاث خطوات سريعة:

  1. البحث (الاسترجاع - Retrieval): يبحث النظام في الكود الذي كتبه الذكاء الاصطناعي للتو، ويبحث فوراً في "ساحة المدينة" (Stack Overflow) عن أي نقاشات تبدو مشابهة.
    • التشبيه: كتب الذكاء الاصطناعي سطراً من الكود باستخدام أداة معينة. يبحث SOSECURE فوراً عن موضوع نقاش حيث قال مبرمج خبير: "توقف! استخدام تلك الأداة مع shell=True يشبه تسليم مفاتيح منزلك لشخص غريب".
  2. السياق (التعزيز - Augmentation): يأخذ النظام ذلك التحذير والشرح من المجتمع ويقدمهما للذكاء الاصطناعي.
    • التشبيه: يهمس مفتش السلامة للذكاء الاصطناائي: "مهلاً، انظر إلى هذا. المجتمع يقول إن هذا النمط خطير بسبب X و Y و Z. هل تريد تغيير الكود؟"
  3. المراجعة (السلامة أثناء الاستنتاج - Inference-Time Safety): يقرأ الذكاء الاصطناعي التحذير، ويفكر فيه، ثم يعيد كتابة الكود ليكون أكثر أماناً.
    • التشبيه: يدرك الذكاء الاصطناعي: "أوه! لم أكن أعلم أن هذا فخ. دعني أصلحه الآن قبل أن أنتهي".

لماذا هذا الأمر مميز؟

تسلط الورقة الضوء على ثلاث قدرات خارقة لهذا النهج:

  • إنه شفاف (قابل للتفسير - Interpretability): على عكس الصندوق الأسود السحري الذي يغير الكود فحسب، يوضح لك هذا النظام لماذا قام بالتغيير. إنه يقول: "لقد غيرت هذا لأن المجتمع حذرنا من ذلك". إنه يشبه المعلم الذي يشرح القاعدة، وليس مجرد من يصحح الإجابة.
  • إنه مُحدّث (القوة والمتانة - Robustness): لا تحتاج إلى إعادة تدريب الذكاء الاصطناعي. بمجرد اكتشاف تهديد أمني جديد من قبل البشر ونشره على Stack Overflow، يمكن للذكاء الاصطناعي استخدام تلك المعرفة فوراً. إنه مثل إعطاء المتدرب شريط أخبار مباشر بدلاً من كتاب مدرسي ثابت.
  • إنه آمن (توافق السلامة - Safety Alignment): يقوم النظام بفحص الكود قبل نشره. إنه يمنع الكود السيئ من الوصول إلى العالم الحقيقي أبداً.

النتائج

اختبر الباحثون هذا على آلاف الأمثلة.

  • بدون المفتش: كان الذكاء الاصطناعي يرتكب الأخطاء كثيراً.
  • مع المفتش (SOSECURE): قام الذكاء الاصطناعي بإصلاح حوالي 90% من الثغرات الأمنية التي صنعها.
  • هل تسبب في أي ضرر؟ لا. لم يتسبب النظام في ظهور أي مشاكل جديدة؛ لقد قام فقط بإصلاح المشاكل القديمة.

الصورة الكبيرة

تشير هذه الورقة إلى أن مستقبل الذكاء الاصطناعي الآمن لا يقتصر فقط على بناء روبوتات أذكى. بل يتعلق بـ ربط الروبوتات بالحكمة البشرية. من خلال السماح للذكاء الاصطناعي بالاستماع إلى الصوت الجماعي لمجتمع المطورين في الوقت الفعلي، يمكننا بناء برمجيات ليست ذكية فحسب، بل موثوقة وآمنة أيضاً، حتى مع تغير العالم من حولها.

باختصار: SOSECURE يشبه منح الذكاء الاصطناعي الخاص بك "مساعد طيار" خبيراً في الأمن، يقرأ باستمرار أحدث التحذيرات من الإنترنت، ويساعد الذكاء الاصطناعي على إصلاح أخطائه قبل أن تتحول إلى كوارث.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →