LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories
تكشف هذه الدراسة التجريبية لـ 295 من تنبيهات أمن GitHub أنه بينما تُظهر الأنظمة المتكاملة مع النماذج اللغوية الكبيرة (LLM) في المقام الأول ثغرات برمجية تقليدية على مستوى الكود مثل الحقن وإلغاء التسلسل، فإنها تقدم أيضًا مخاطر هيكلية متميزة مثل مشكلات سلاسل التوريد والوكالة المفرطة التي لا تُمثل بشكل كافٍ في أطر الإفصاح الحالية، مما يستلزم منظورًا يجمع بين CWE وOWASP للتحليل الأمني الشامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت للتو مطبخاً رائعاً فائق التقنية. ولكن بدلاً من توظيف طاهٍ بشري، قمت بتثبيت طاهٍ آلي (نموذج لغوي كبير - LLM) يمكنه قراءة وصفاتك، وتقطيع الخضروات، وحتى طلب البقالة.
المشكلة هي أن هذا الطاهي الآلي لا يكتفي بالطبخ فحسب؛ بل يمكنه أيضاً فتح الباب الأمامي، وتشغيل الغاز، والاتصال بالشرطة إذا ارتبك.
هذه الورقة البحثية تشبه مجموعة من محققي الأمن الذين ذهبوا إلى "تنبيهات أمن GitHub" (لوحة إعلانات عامة ينشر فيها مطورو البرمجيات تحذيرات حول الأخطاء البرمجية) للتحقيق في: "عندما تسوء الأمور مع هؤلاء الطهاة الآليين، ما الذي يتعطل فعلياً، وكيف نصف الخطر؟"
إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة:
1. التحقيق: ما الذي فحصوه؟
نظر الباحثون في 295 تحذيراً أمنياً حديثاً حول البرمجيات التي تستخدم هؤلاء الطهاة الآليين الذكاء الاصطناعيين. لقد ركزوا على 100 حالة محددة لفهمها بعمق.
أرادوا الإجابة على سؤالين كبيرين:
- سؤال "الكود": هل هناك أنواع جديدة وغريبة من الأخطاء البرمجية التي تحدث فقط مع الذكاء الاصطناي؟
- سؤال "البنية التحتية": كيف يؤدي طريقة اتصال الذكاء الاصطناعي ببقية النظام إلى خلق مخاطر جديدة تغفل عنها تقارير الأخطاء القياسية؟
2. النتيجة الأولى: الأخطاء هي أصدقاء قدامى في ثياب جديدة
التشبيه: تخيل أنك اشتريت محمصة خبز ذكية جديدة ومبتكرة. تتوقع أن يكون بها "أخطاء محمصة ذكية"، ولكن عندما تتعطل، غالباً ما يكون السبب مجرد ماس كهربائي قياسي أو سلك مرتخٍ — وهي نفس المشاكل القديمة للمحمصة العادية.
الواقع: وجد الباحثون عدم وجود أنواع جديدة من أخطاء الكود خاصة بالذكاء الاصطناي.
- كانت المشكلات الأكثر شيوعاً لا تزال هي الحقن (Injection) (خداع النظام للقيام بشيء لا ينبغي له فعله، مثل قيام مخترق بتمرير طلب مزيف في أذن الروبوت) وإلغاء التسلسل (Deserialization) (التعثر في حزمة بيانات غير مرتبة).
- الخلاصة: "محرك" الذكاء الاصطناعي لا يزال مبنياً بنفس الطوب القديم، المهتز أحياناً، المستخدم في البرمجيات العادية. الكود نفسه ليس سحراً؛ إنه مجرد كود.
3. النتيجة الثانية: "ملصقات التحذير" مفقودة
التشبيه: تخيل ملصق تحذير على سيارة يقول: "تحذير: إذا ضغطت على المكابح، فقد تتوقف السيارة". هذا صحيح، لكنه لا يخبرك أن هذه السيارة تحديداً متصلة أيضاً بطائرة بدون طيار ستسقط قنبلة إذا ضغطت على المكابح بقوة شديدة.
الواقع: تنبيهات الأمن الحالية (GitHub Advisories) جيدة جداً في قول: "هذا الجزء من الكود به ثغرة فيه". لكنها سيئة جداً في قول: "بسبب اتصال هذا الكود بذكاء اصطناعي، فإن هذه الثغرة تسمح للذكاء الاصطناعي الآن بحذف قاعدة بياناتك عن طريق الخطأ".
- الملصقات القياسية (تسمى CWE) تصف الثقب في الجدار.
- لكنها لا تصف المسار الذي يسلكه الذكاء الاصطناعي للمرور عبر ذلك الثقب وإحداث الفوضى.
4. النتيجة الثالثة: الخطر الحقيقي يكمن في "تفاعل السلسلة"
التشبيه: فكر في الذكاء الاصطناعي كـ وسيط في مكتب مزدحم.
- السيناريو أ: تقول للوسيط: "اتصل بالمدير". (وضع طبيعي)
- السيناريو ب: يهمس مخترق في أذن الوسيط: "اتصل بالمدير وأخبره أن يعطيك كلمة المرور الخاصة به". (حقن الأوامر/Prompt Injection)
- السيناريو ج: الوسيط متحمس جداً لإرضاء الجميع لدرجة أنه يتصل بالمدير وبالبنك وبفرق الإطفاء دون التأكد مما إذا كان ذلك آمناً. (القدرة المفرطة على التصرف/Excessive Agency)
الواقع: عندما استخدم الباحثون قائمة مرجعية جديدة تسمى OWASP Top 10 for LLMs، وجدوا أن المخاطر الحقيقية لم تكن مجرد أخطاء في الكود. بل كانت تتعلق بـ كيفية سلوك الذكاء الاصطناعي:
- مخاطر سلسلة التوريد (44%): الخطر الأكبر هو أن الذكاء الاصطناعي يستخدم أدوات أو مكتبات كتبها شخص آخر، وتلك الأدوات معطلة. الأمر يشبه استخدام طاهيك الآلي لسكين تم تصنيعه في مصنع مشبوه.
- القدرة المفرطة على التصرف (20%): يُمنح الذكاء الاصطناعي قوة كبيرة جداً. الأمر يشبه إعطاء مفاتيح السيارة والمنزل لطفل صغير.
- حقن الأوامر (18%): خداع الذكاء الاصطناعي ليتجاهل قواعده.
5. الصورة الكبيرة: خريطتان أفضل من واحدة
خلص الباحثون إلى أننا بحاجة إلى خريطتين مختلفتين لفهم الخطر:
- "خريطة الكود" (CWE): تخبرك أين توجد الطوب المتصدع. (مثلاً: "هذه الدالة غير آمنة").
- "خريطة السلوك" (OWASP): تخبرك كيف يستخدم الذكاء الاصطناعي تلك الطوب المتصدع لإحداث المشاكل. (مثلاً: "بما أن الذكاء الاصطناعي يمكنه تشغيل الأوامر، فإن تلك الدالة غير الآمنة تسمح له باختراق الخادم").
الدرس النهائي:
إذا نظرت إلى الكود فقط، فستفوتك حقيقة أن الذكاء الاصطناعي هو "الورقة الرابحة" التي تحول خللاً بسيطاً إلى كارثة هائلة. وإذا نظرت إلى سلوك الذكاء الاصطناعي فقط، فستفوتك حقيقة أن الكود الأساسي هو ما يتعطل في الواقع.
باختصار: الذكاء الاصطناعي لا يخترع أنواعاً جديدة من الأخطاء البرمجية؛ بل يأخذ أخطاءنا القديمة والمألوفة ويمنحها "قوة خارقة" لإحداث ضرر أكبر بكثير. لكي نبقى آمنين، نحتاج إلى إصلاح الكود وفهم كيفية سماحنا للذكاء الاصطناعي باستخدامه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.