Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
تُظهر هذه الورقة أنه بينما يمكن للنماذج اللغوية الكبيرة محاكاة الاستنتاج السيبراني المهيكل عند تزويدها بهياكل رسوم بيانية صريحة للهجمات، فإن قدراتها في اتخاذ القرار هشة، وحساسة للغاية لصياغة الأوامر، وتفشل في التوسع بمتانة مع التعقيد مقارنة بالنماذج المرجعية للتحسين الرسمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأمن السيبراني عالي المخاطر، تواجه المؤسسات حرباً مستمرة وغير مرئية. يبحث المهاجمون عن ثغرات في الشبكات، بحثاً عن وسيلة للتسلل عبر الدفاعات لسرقة البيانات أو تعطيل الخدمات. وعلى المدافعين أن يقرروا كيفية إنفاق مواردهم المحدودة لإيقافهم؛ إذ لا يمكنهم حماية كل شيء بأقوى درع ممكن، بل يتعين عليهم اختيار أي الأقفال يثبتون، وأي الإنذارات يضبطون، وأي الأبواب يعززون. هذه مسألة استراتيجية، وليست مجرد مسألة تقنية. فهي تتطلب رسم مسار لكل طريق محتمل قد يسلكه المهاجم، ومعرفة أي الحواجز المحددة ستسد أكثر المسارات خطورة. لعقود من الزمن، استخدم الخبراء نماذج رياضية معقدة لحل هذا اللغز، حيث تعاملوا مع الشبكة كخريطة ومع الدفاع كلعبة يتحرك فيها المدافع أولاً، محاولاً استباق أفضل رد فعل للمهاجم.
مؤخراً، دخلت أداة من نوع جديد إلى هذا الساحة: النماذج اللغوية الكبيرة. وهي أنظمة ذكاء اصطناعي قوية قادرة على كتابة الأكواد البرمجية، والإجابة على الأسئلة، وتلخيص كميات هائلة من النصوص. لقد تم تدريبها على كل المعلومات العامة المتاحة تقريباً على الإنترنت، بما في ذلك عدد لا يحصى من التقارير الأمنية والأدلة التقنية. ولأنها تعرف الكثير عن هذا المجال، يأمل الكثيرون أن تعمل كمتحدثين خبراء، مما يساعد المدافعين على اتخاذ قرارات أفضل وبسرعة أكبر. لكن يبقى سؤال جوهري: هل تفهم هذه الأنظمة حقاً منطق الهجوم، أم أنها مجرد تتعرف على كلمات مألوفة وتخمن بناءً على ما قرأته من قبل؟ فإذا اعتمد المدافع على ذكاء اصطناعي يحاكي الخبرة دون استيعاب البنية الأساسية للتهديد، فقد تكون العواقب وخيمة.
وضع فريق من الباحثين هذه المسألة تحت الاختبار من خلال تجربة منضبطة. لم يطلبوا من الذكاء الاصطناعي كتابة قصيدة عن اختراق أو تلخيص مقال إخباري، بل وضعوا النماذج في سيناريو صنع قرار صارم. قدموا للذكاء الاصطناعي سبعة سيناريوهات هجوم مختلفة وواقعية مستمدة من حوادث حقيقية، مثل حملات برامج الفدية، واختراقات سلاسل التوريد، والهجمات على أنظمة التحكم الصناعية. ولكل سيناريو، قدم الباحثون خريطة مفصلة للشبكة، توضح كيف يمكن للمهاجم الانتقال من نقطة دخول أولية إلى هدف حرج. كما أُعطي الذكاء الاصطناعي قائمة بالضوابط الأمنية المتاحة، مثل جدران الحماية أو المصادقة متعددة العوامل، مع تكلفة محددة لكل منها وتقييم لمدى فعاليتها. كانت المهمة بسيطة ولكنها صعبة: اختيار مجموعة من هذه الضوابط التي تلتزم بميزانية محددة مع تقليل احتمالية نجاح المهاجم.
ولمعرفة ما إذا كان الذكاء الاصطناعي يقوم بعمل جيد، قارن الباحثون اختياراته بمعيار ذهبي. كان هذا المعيار عبارة عن برنامج حاسوبي متخصص بناه علماء الرياضيات لإيجاد أفضل دفاع ممكن لأي خريطة معينة. هذا البرنامج لا يخمن، بل يحسب كل الاحتمالات ليجد الاستراتيجية الوحيدة التي توفر أقصى قدر من الحماية. ثم طلب الباحثون من نماذج الذكاء الاصطناعي العمل كحكام، لتقييم جودة استراتيجيات الدفاع المختلفة، بما في ذلك استراتيجياتهم الخاصة، واستراتيجيات البرنامج الرياضي، وبعض الاستراتيجيات الضعيفة المتعمدة. كما اختبروا ما إذا كان بإمكان الذكاء الاصطناعي كتابة كود برمجي خاص به لحل المشكلة من الصفر.
كشفت النتة عن صورة من الكفاءة المشروطة. فعندما أعطى الباحثون الذكاء الاصطناعي خريطة واضحة ومنظمة لمسارات الهجوم، أنتجت النماذج غالباً استراتيجيات قريبة جداً من الحل المثالي رياضياً. بدا وكأنها تدرك أن سد نقطة التقاء حرجة في منتصف مسار الهجوم أكثر قيمة من رتق ثغرة ثانوية في البتداء. في هذه الإعدادات المنضبطة، بدا أن الذكاء الاصطناعي يحلل المشكلة منطقياً، وليس مجرد استرجاع للحقائق. ومع ذلك، كانت هذه القدرة هشة؛ فبمجرد أن قام الباحثون بتغيير طريقة عرض المشكلة، أصبح أداء الذكاء الاصطناعي متذبذباً.
وجدت الدراسة أن حكم الذكاء الاصطناعي حساس للغاية لكيفية تسمية الخيارات. في اختبار لافت للنظر، أخذ الباحثون استراتيجية دفاع ضعيفة عمداً -وهي التي ستترك الشبكة مفتوحة تماماً- وقاموا ببساطة بتسميتها "الاستراتيجية المثلى". وعندما رأت نماذج التقييم هذا الملصق، قامت في كثير من الأحيان بتقييم هذا الدفاع الرديء كواحد من أفضل الخيارات، وغالباً ما سجلت درجة أعلى من الحل المثالي الحقيقي. وعلى العكس من ذلك، عندما أُعطيت استراتيجية قوية تسمية سلبية، انخفضت درجتها. يشير هذا إلى أن الذكاء الاصطناعي لم يكن يحلل بعمق المنطق الأمني للدفاع، بل كان يتفاعل مع الكلمات الإيحائية المستخدمة لوصفه. لقد تأثرت النماذج بسهولة بأسلوب الصياغة، معطية الأولوية للملصق والاسم على المحتوى الفعلي.
اكتشف الباحثون أيضاً أن الذكاء الاصطناعي يعاني عندما تزداد تعقيدات الشبكة. فكلما كبرت الخرائط وتضاعفت مسارات الهجوم الممكنة، تلاشت قدرة الذكاء الاصطناعي على إيجاد الحل الأمثل. وفي بعض الحالات، بدأت النماذج في تجاهل البنية المحددة للشبكة تماماً. وبدلاً من النظر في المسارات الفريدة التي يمكن للمهاجم اتخاذها، عادت إلى المعرفة العامة، حيث اختارت ضوابط مشهورة في الصناعة، مثل التشفير أو المصادقة متعددة العوامل، بغض النظر عما إذا كانت هذه الضوابط تسد بالفعل المسارات المحددة في السيناريو. وعندما أزال الباحثون الخريطة تماماً وطلبوا من الذكاء الاصطناعي اختيار الدفاعات بناءً على وصف نصي فقط، تخلى الذكاء الاصطناعي عن التفكير الهيكلي تماماً؛ حيث اختار ببساطة الضوابط ذات تقييمات الفعالية العامة الأعلى، متجاهلاً الطبوغرافيا الفريدة للهجوم.
وحتى عندما طُلب منه كتابة كود برمجي خاص به لحل المشكلة، أظهر الذكاء الاصطناعي فجوة بين الفهم والتنفيذ. استطاعت النماذج توليد كود يبدو صحيحاً ويستخدم النهج رفيع المستوى الصحيح، ولكن عند اختباره على شبكات أكبر، كان الكود بطيئاً جداً ليكون مفيداً. استغرق الكود الذي ولده الذكاء الاصطناعي وقتاً أطول بكثير للعثور على حل مقارنة بالمحلل الرياضي المتخصص، وفي أكبر الخرائط، فشل كود الذكاء الاصطناعي غالباً في إتمام المهمة. استطاع الذكاء الاصطناعي محاكاة منطق الحل، لكنه لم يستطع بناء محرك قوي لتنفيذه على نطاق واسع.
تشير هذه النتائج إلى أنه بينما يمكن للنماذج اللغوية الكبيرة تقريب سلوك محلل أمني خبير، إلا أنها لا تمتلك التفكير المنظم والموثوق المطلوب لاتخاذ القرارات عالية المخاطر. يمكنها تقديم إجابات جيدة عندما تكون المشكلة محددة بوضوح والسياق بسيطاً، لكن أداءها ينهار تحت الضغط، أو الغموض، أو الملصقات المضللة. إنها ليست قادرة بعد على استبدال الخبراء البشر أو الأدوات الرياضية الرسمية. بدلاً من ذلك، تعمل بشكل أفضل كمساعدين يمكنهم تقديم اقتراحات، بشرط أن يتم فحص تلك الاقتراحات مقابل تحليل هيكلي صارم. وتخلص الدراسة إلى أنه في عالم الأمن السيبراني، حيث يمكن لخطأ واحد أن يؤدي إلى اختراق هائل، لا يمكننا الاعتماد على حدس الذكاء الاصطناعي وحده؛ بل يجب أن نتأكد من أن الأدوات التي نستخدمها ترتكز على المنطق الصلب لمسار الهجوم، وليس فقط على القوة الناعمة للملصقات المقنعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.