Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software
تقدم هذه الورقة البحثية FSTab، وهو إطار عمل يوضح كيف تظهر البرمجيات التي تولدها النماذج اللغوية الكبيرة ثغرات أمنية متكررة وقابلة للتنبؤ من خلال تمكين هجمات الصندوق الأسود القائمة على ميزات الواجهة الأمامية، وقياس مدى اتساق هذه العيوب عبر المجالات المختلفة وتنوع النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "استخراج الثغرات الأمنية المتكررة من البرمجيات المولدة بواسطة نماذج اللغات الكبيرة (LLM) ذات الصندوق الأسود"، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.
الفكرة الكبرى: "العادة السيئة" للمبرمجين الآليين
تخيل أنك وظفت طباخاً ماهراً وسريعاً جداً (الذكاء الاصطناعي) ليطهو آلاف الوجبات المختلفة لمطعم ما. هذا الطباخ رائع في السرعة والإبداع، لكن لديه سمة غريبة: فهو يستخدم دائماً نفس تقنية السكين الخطيرة قليلاً كلما قطع البصل، بغض النظر عن الطبخة التي يصنعها.
إذا نظرت فقط إلى الطبق النهائي (واجهة الموقع)، سترى سلطة جميلة. لن ترى السكين. ولكن إذا عرفت أي طباخ صنعها، يمكنك التنبؤ بيقين عالٍ بأن السلطة قُطعت بتلك التقنية الخطيرة، حتى لو لم ترَ المطبخ أبداً.
تقدم هذه الورقة أداة تسمى FSTab (جدول الميزات والأمن) والتي تفعل هذا بالضبط بالنسبة للبرمجيات. إنها تثبت أنه عندما تكتب نماذج الذكاء الاصطناعي الأكواد، فهي لا ترتكب أخطاء عشوائية فحسب، بل تطور عادات سيئة يمكن التنبؤ بها تتكرر مراراً وتكراراً.
المشكلة: مطبخ "الصندوق الأسود"
عادةً، عندما يفحص خبراء الأمن البرمجيات، يحتاجون إلى النظر داخل الكود (المطبخ) للعثور على الأخطاء. هذا يشبه الحاجة إلى مفتاح رئيسي للدخول إلى المطبخ وفحص السكاكين.
لكن في العالم الحقيقي، تستخدم العديد من الشركات الذكاء الاصطناعي لبناء البرمجيات، وغالباً ما لا يعطيك هؤلاء الكود المصدري (كتاب الوصفات). أنت ترى فقط الموقع الإلكتروني أو التطبيق (الوجبة النهائية). وهذا ما يسمى بـ "الصندوق الأسود" (Black Box).
تساءل الباحثون: إذا لم نتمكن من رؤية الكود، فهل لا يزال بإمكاننا تخمين أين توجد الثغرات الأمنية بمجرد النظر إلى ما يفعله التطبيق؟
الحل: "ورقة الغش" (FSTab)
قام الباحثون ببناء "ورقة غش" تسمى FstAb. وإليك كيفية عملها، خطوة بخطوة:
1. مرحلة التدريب (تعلم عادات الطباخ)
أولاً، طلب الباحثون من ذكاء اصطناعي كتابة 1,000 موقع إلكتروني مختلف (مثل مخبز، بنك، موقع تواصل اجتماعي). ثم نظروا في الكود ليروا أين أخطأ الذكاء الاصطناعي.
- الاكتشاف: وجدوا أنه كلما طُلب من الذكاء الاصطناعي بناء "صفحة تسجيل دخول" (Login Page)، فإنه دائماً تقريباً ينسى وضع قفل على الباب. وكلما بنى "رفع ملفات" (File Upload)، فإنه دائماً تقريباً يترك نافذة مفتوحة.
- النمط: لم يكن الذكاء الاصطناعي يرتكب أخطاء عشوائية؛ بل كان يتبع نموذجاً معيناً معيباً لكل ميزة محددة.
2. مرحلة الهجوم (استخدام ورقة الغش)
الآن، تخيل أن مخترقاً يريد اختراق موقع إلكتروني جديد. ليس لديه الكود المصدري.
- الخطوة 1: ينظر إلى الصفحة الرئيسية للموقع. يرى زر "تسجيل دخول" وشريط "بحث".
- الخطوة 2: يبحث في "ورقة الغش" (FSTab) الخاصة بنموذج الذكاء الاصطناعي المحدد الذي بنى الموقع (على سبيل المثال: "GPT-5.2").
- الخطوة 3: تقول ورقة الغش: "إذا رأيت زر تسجيل دخول في موقع مبني بواسطة GPT-5.2، فهناك احتمال بنسبة 90% أن الجزء الخلفي (Backend) يحتوي على نوع معين من الثغرات الأمنية."
- النتيجة: يعرف المخترق بالضبط أين يضرب دون أن يرى الكود أبداً.
"البصمات الأربع" لأخطاء الذكاء الاصطناعي
تقيس الورقة مدى عناد هذه العادات السيئة باستخدام أربعة مفاهيم إبداعية:
تكرار الميزات (نفس الأغنية، كلمات مختلفة):
هل يرتكب الذكاء الاصطناعي نفس الخطأ في كل مرة يبني فيها ميزة "تسجيل دخول"، حتى لو بدا بقية الكود مختلفاً؟ نعم. الأمر يشبه مغنياً يخطئ دائماً في نفس النوتة الموسيقية عند كلمة "حب"، مهما كانت الأغنية التي يغنيها.ثبات إعادة الصياغة (الطباخ العنيد):
إذا طلبت من الذكاء الاصطناعي "بناء تسجيل دخول" مقابل "إنشاء صفحة دخول" مقابل "عمل نظام إدخال مستخدم"، فهل لا يزال يرتكب نفس الخطأ؟ نعم. الذكاء الاصطناعي متمسك بطرقه لدرجة أن تغيير الكلمات التي تستخدمها لا يغير الكود السيئ الذي يكتبه.تكرار النطاق (المتجر المتخصص):
هل يرتكب الذكاء الاصطناعي نفس الأخطاء في "تطبيق بنكي" كما يفعل في "مدونة"؟ أحياناً. لديه عادات سيئة محددة لمهام معينة (مثل التعامل مع الأموال)، ولكنه قد يكون أكثر أماناً عند كتابة مدونة.الانتقال عبر النطاقات (العادة السيئة العالمية):
هذا هو الجزء الأكثر رعباً. وجد الباحثون أنهم إذا تعلموا عادات الذكاء الاصطناسي السيئة من "مدونة"، فيمكنهم استخدام تلك المعرفة لاختراق "تطبيق بنكي" بناه لاحقاً. العادات السيئة متجذرة بعمق في عقل الذكاء الاصطناعي لدرجة أنها تنتقل عبر أنواع مختلفة تماماً من البرمجيات.
النتائج: "فجوة الشمولية"
اختبرت الدراسة أفضل نماذج الذكاء الاصطناعي (مثل GPT-5.2 و Claude و Gemini). ووجدت شيئاً صادماً:
- الذكاء الاصطناعي أكثر قابلية للتنبؤ من البشر. قد يرتكب المبرمج البشري خطأً مرة واحدة ويتعلم منه، أما الذكاء الاصطناعي فيبدو وكأن لديه خللاً "محفوراً في بنيته".
- نسبة نجاح عالية: باستخدام "ورقة الغش" الخاصة بهم، استطاع الباحثون التنبؤ بالثغرات الأمنية المخفية بدقة تصل إلى 94%، حتى عندما لم يروا هذا النوع المحدد من البرمجيات من قبل.
لماذا يهم هذا الأمر (الخلاصة)
فكر في البرمجيات المولدة بالذكاء الاصطناعي مثل لعبة أطفال منتجة بكميات كبيرة. إذا كان هناك عيب في القالب الذي تُصنع به اللعبة، فإن كل لعبة تخرج من المصنع سيكون بها نفس العيب. لست بحاجة لفحص كل لعبة على حدة؛ تحتاج فقط لمعرفة أي قالب تم استخدامه.
تحذرنا الورقة البحثية:
- الذكاء الاصطناعي ليس "سيئاً بشكل عشوائي" فقط. بل لديه عيوب أمنية محددة ومتكررة.
- يمكننا التنبؤ بهذه العيوب. بمجرد النظر إلى الواجهة الخارجية لتطبيق ما، يمكننا تخمين ما هو مكسور في الداخل إذا عرفنا أي ذكاء اصطناعي بناه.
- نحن بحاجة إلى دفاعات جديدة. لا يمكننا الاكتفاء بفحص الكود بعد كتابته فقط. نحن بحاجة إلى إصلاح "القوالب" (نماذج الذكاء الاصطناعي نفسها) حتى تتوقف عن خبز هذه الأنماط الخطيرة في كل قطعة برمجية تنتجها.
باختأختصار: تظهر الورقة أن المبرمجين الآليين لديهم "ذاكرة عضلية" لارتكاب الأخطاء، ويمكننا الآن استخدام هذه المعرفة للعثور على نقاط الضعف في البرمجيات دون الحاجة لرؤية الكود أبداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.