Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
تقدم هذه الورقة تقييماً استكشافياً لطرق نمذجة التهديدات المدركة للذكاء الاصطناه التوليدي في بيئة المؤسسات الصغيرة والمتوسطة، كاشفةً أنه في حين تحدد التقنيات الحالية تهديدات مختلفة، إلا أنها تفتقر حالياً إلى الدعم الكافي للمخاطر المتعلقة بالذكاء الاصطناه التوليدي والخاصة بسلاسل توريد البرمجيات والأمن المتمحور حول الإنسان، إلى جانب تحديات ملحوظة في سهولة الاستخدام والتكامل مع سير العمل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبني قلعة ضخمة وعالية التقنية. قبل أن تضع حجرًا واحدًا، تحتاج إلى "نموذج للتهديدات". فكر في هذا كخريطة كنز خاصة، ولكن بدلاً من تحديد مكان الذهب، أنت ترسم كل طريقة ممكنة يمكن لشرير من خلالها التسلل، أو كسر جدار، أو خداع الحراس. لعقود من الزمن، استخدم خبراء الأمن قائمة مرجعية قياسية تسمى STRIDE لرسم هذه الخرائط. إنها تشبه امتلاك قائمة رئيسية للسرقات الشائعة: شخص يتظاهر بأنه حارس (انتحال الشخصية - Spoofing)، أو يحطم نافذة (التلاعب - Tampering)، أو يسرق المفاتيح (كشف المعلومات - Information Disclosure). هذا الأسلوب يعمل بشكل رائع للبرمجيات التقليدية، التي تشبه آلة صلبة ويمكن التنبؤ بها.
ولكن الآن، نحن نبني نوعًا جديدًا من القلاع: قلعة تعمل بطاقة الذكاء الاصطناعي التوليدي (GenAI). هذا ليس آلة صلبة؛ إنه أشبه بساحر عبقري، فوضوي، ومهلوس أحيانًا يعيش داخل جدرانك. يمكن لهذا الساحر كتابة الكود، والإجابة على الأسेंات، وإنشاء الفنون، ولكن يمكن أيضًا خداعه بـ "همسة ذكية" (حقن الأوامر - Prompt Injection)، أو تغذيته بمكونات سيئة تجعله يبصق سمًا. السؤال الكبير هو: هل يمكن لخرائط الكنز القديمة والجامدة لدينا (قائمة STRIDE) أن تجد الطرق الماكرة لخداع هذا الساحر الجديد؟ إذا حاولنا استخدام خريطة مصممة لقلعة حجرية للعثور على جاسوس في مكتبة سحرية، فهل سنفقد المخاطر الحقيقية؟ يتعمق هذا البحث في تلك المشكلة تحديدًا، متسائلًا عما إذا كانت أدواتنا الأمنية الحالية مستعدة لعصر "سحرة الذكاء الاصطناعي".
قصة الورقة البحثية: اختبار الخرائط القديمة على السحرة الجدد
قرر مؤلفو هذه الورقة، وهم فريق من الباحثين الأمنيين والممارسين في الصناعة، وضع هذا السؤال قيد الاختبار. لم يكتفوا بالجلوس في المختبر والتخمين؛ بل ذهبوا إلى "الخنادق" في شركة حقيقية (شركة صغيرة ومتوسطة - SME) كانت تبني نظامًا يستخدم الذكاء الاصطناعي لمعالجة رسائل البريد الإلكتروني للعملاء وإنشاء تقارير تجارية. أرادوا معرفة مدى فعالية ثلاث طرق مختلفة لـ "نمذجة التهديدات" على هذا النظام المعزز بالذكاء الاصطناعي.
للقيام بذلك، أجروا أولاً مسحًا سريعًا لأحدث الأبحاث للعثور على أفضل الطرق الجديدة المصممة خصيصًا للذكاء الاصطناعي. واختاروا ثلاثة منافسين:
- M1 (إطار عمل AIaaS): طريقة تنظر إلى النظام كمجموعة من الأصول (البيانات، النماذج، العمليات) وتتساءل: "كيف يمكن لشخص ما أن يعبث بهذه الأصول؟"
- M2 (إطار عمل ADMIn): طريقة تركز على ثلاثة أسطح هجوم رئيسية: البيانات، النموذج، والمدخلات.
- M3 (ThreatFinderAI): طريقة متطورة مدعومة بالأدوات، تستخدم لغة خاصة لرسم أجزاء الذكاء الاصطنا في النظام وتتصل بقاعدة بيانات ضخمة من هجمات الذكاء الاصطناعي المعروفة للعثور على التهديدات تلقائيًا.
طبقوا الطرق الثلاث جميعها على نظام الشركة، الذي يستخدم نموذج لغة كبير (LLM) لقراءة رسائل البريد الإلكتروني وكتابة التقارير. ثم تحققوا من نتائجهم مقابل قائمة "أفضل 10" الشهيرة لمخاطر الذكاء الاصطناعي (OWASP Top 10 لـ LLMs) لمعرفة أي طريقة اكتشفت أهم المخاطر. وأخيرًا، سألوا المطورين الفعليين في الشركة عن رأيهم في استخدام هذه الطرق.
ما وجدوه: الجيد، والسيئ، والمفقود
كانت النتائج مزيجًا من "ليس سيئًا" و"نحن بحاجة إلى تحسين الأداء".
الأخبار الجيدة:
كانت الطرق الثلاث جيدة جدًا في رصد حيل الذكاء الاصطناعي "الكلاسيكية". فقد نجحت في تحديد حقن الأوامر (حيث يخدع المستخدم الذكاء الاصطناعي لتجاهل قواعده)، وتسميم البيانات (حيث تفسد البيانات السيئة النموذج)، وكشف المعلومات الحساسة (حيث يسرب الذكاء الاصطناعي الأسرار عن غير قصد). وكانت الطريقة المدعومة بالأدوات، M3، هي الفائز الواضح؛ فقد وجدت أكبر عدد من التهديدات، وكانت الأسهل للمطورين في الاستخدام، ولم تبدُ وكأنها عبء ثقيل. إنها تشبه امتلاك جهاز كشف معادن يصدر صوتًا عاليًا عندما يجد عملة مدفونة، مقارنة بالحفر باستخدام ملعقة.
الأخبار السيئة (الفجوات):
هنا تعثرت الخرائط القديمة. أظهرت الطرق دعمًا محدودًا في رصد المخاطر المتعلقة بـ سلسلة توريد البرمجيات (مثل ما إذا كان نموذج الذكاء الاصطناعي نفسه قد بُني باستخدام أجزاء مسروقة أو معيبة) والوكالة المفرطة (عندما يُمنح الذكاء الاصطناعي سلطة كبيرة لاتخاذ القرارات دون مراجعة بشرية).
- سلسلة التوريد: لم تقدم أي من الطرق طريقة محددة لنمذجة أو تحديد المخاطر القادمة من "المكونات" التي استخدمها الذكاء الاصطناعي. إذا تم تحميل نموذج الذكاء الاصطناعي من موقع إلكتروني مشبوه، فإن الطرق افتقرت إلى الصيغة المحددة أو قوائم التحقق للإشارة إلى ذلك بفعالية.
- المخاطر المتمحورة حول الإنسان: كما فاتتهم مخاطر ثقة البشر المفرطة في الذكاء الاصطناعي. إذا كتب الذكاء الاصطناعي قطعة من الكود تبدو مثالية ولكنها في الواقع خطيرة، وقام مطور بشري بنسخها ببساطة دون فحصها، فهذا يمثل خطرًا كبيرًا. لم تكن لدى الطرق طريقة جيدة لرسم مسار كيف يمكن لهذه "الثقة الكسولة" أن تكسر النظام.
ما قاله المطورون:
اتفق المطورون الذين جربوا هذه الطرق مع البيانات. لقد أحبوا M3 لأن لديه أداة تقوم بالعمل الشاق. وشعروا أن الطرق الأخرى كانت يدوية للغاية وتستغرق الكثير من الوقت. ومع ذلك، أشاروا جميعًا إلى عقبة رئيسية: هذه الطرق لا تتناسب بسهولة مع سير عملهم اليومي. إنهم يريدون قوائم مرجعية، ونماذج جاهزة، وطريقة لربط النتائج الأمنية مباشرة ببرامج إدارة المهام الخاصة بهم (مثل نظام "التذاكر"). قال أحد المطورين: "النماذج الجاهزة ستجعل الأمر أسهل بكثير"، بينما لاحظ آخر أنهم لم يكونوا ليكتشفوا مخاطر تسريب البيانات بمفردهم لولا هذه الأدوات.
الخلاصة: نحن بحاجة إلى خرائط جديدة لقصور جديدة
تشير الورقة البحثية إلى أنه بينما تعد أدواتنا الحالية بداية جيدة لالتقاط حيل الذكاء الاصطناعي الواضحة، إلا أنها ليست كافية للصورة الكاملة. نحن حاليًا عميان عن المخاطر القادمة من سلسلة التوريد (من أين يأتي الذكاء الاصطناعي) والمخاطر الناتجة عن ثقة البشر العمياء في الذكاء الاصطناعي.
تقترح الورقة أن مستقبل نمذجة الأمن يحتاج إلى التغيير في ثلاثة اتجاهات:
- تضمين سلسلة التوريد: نحتاج إلى خرائط لا تظهر القلعة فحسب، بل تظهر أيضًا الطرق التي تأتي منها الطوب والأشخاص الذين صنعوه.
- استخدام الأدوات والمطالبات (Prompts): نحتاج إلى أدوات مؤتمتة يمكنها مساعدتنا في رسم هذه الخرائط بسرعة، وربما استخدام الذكاء الاصطناعي نفسه للمساعدة في العثود على التهديدات في المقام الأول.
- مراقبة البشر: نحتاج إلى نمذجة كيفية تفاعل البشر مع الذكاء الاصطناعي، وتحديدًا البحث عن اللحظات التي قد يصبح فيها الإنسان كسولًا ويثق في إجابة خاطئة، مما يحول خطأً صغيرًا إلى كارثة كبرى.
باختصار، تقترح الورقة أننا لا نستطيع مجرد "ترقيع" الخرائط القديمة؛ بل نحتاج إلى رسم خرائط جديدة تمامًا تأخذ في الاعتبار السحر، وسلسلة التوريد، والميل البشري للثقة في الساحر أكثر من اللازم. وإلى أن نفعل ذلك، قد تبدو قلاع الذكاء الاصطناعي الخاصة بنا آمنة على الورق، ولكن قد تظل تحتوي على أبواب سرية لم نفكر في إغلاقها بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.