🤖 AI

Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence

تقدم هذه الورقة دراسة تجريبية تكشف أن الثغرات الأساسية للنماذج اللغوية الكبيرة في مجال استخبارات التهديدات السيبرانية تنبع من عدم التجانس والتقلب المتأصلين في هذا المجال بدلاً من كونها عيوباً عامة في النماذج، مقدمةً إطار عمل يعتمد على وجود العنصر البشري في الحلقة لتحديد وتخفيف ثلاثة أنماط محددة من حالات الفشل المعرفي من خلال دفاعات مستهدفة.

المؤلفون الأصليون: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Jinyuan Jia, Guanhua Yan, Ping Yang, Zhaohan Xi

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Jinyuan Jia, Guanhua Yan, Ping Yang, Zhaohan Xi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "كشف نقاط الضعف في استخبارات التهديدات السيبرانية المدعومة بالنماذج اللغوية الكبيرة (LLM)"، مترجمة إلى لغة بسيطة مع تشبيهات إبداعية.

الصورة الكبيرة: المحقق المرهق

تخيل مكتبة ضخمة وفوضوية حيث تُكتب كتب جديدة عن المجرمين الخطيرين (التهديدات السيبرانية) في كل ثانية. المحللون الأمنيون هم المحققون الذين يحاولون قراءة هذه الكتب لإيقاف المجرمين، ولكن هناك الكثير من الكتب، وبسرعة هائلة.

وللمساعدة، استأجروا فريقًا من المساعدين الأذكياء للغاية (النماذج اللغوية الكبيرة، أو LLMs). يمكن لهؤلاء المساعدين من الذكاء الاصطناي قراءة آلاف الصفحات في لمح البصر. ومع ذلك، اكتشف الباحثون في هذه الورقة أنه بينما يتميز هؤلاء المحققون الآليون بالسرعة، إلا أنهم يرتكبون أخطاءً خطيرة لأن المكتبة نفسها فوضوية، ومتناقضة، ومتغيرة باستمرار.

تجادل الورقة بأن المشكلة ليست مجرد أن الذكاء الاصطناعي "يهلوس" (يختلق أشياءً من خياله)؛ بل المشكلة هي أن مشهد التهديدات (المكتبة) فوضوي للغاية بحيث لا يستطيع الذكاء الاصطناعي التعامل معه بشكل صحيح.

الطرق الثلاث الرئيسية التي يرتبك فيها الذكاء الاصطناعي

وجد الباحثون أن الذكاء الاصطناعي يفشل بثلاث طرق محددة، أطلقوا عليها اسم "الإخفاقات الإدراكية".

1. مشكلة "نميمة المقهى" (الارتباطات الزائفة)

التشبيه: تخيل أنك دخلت مقهى ورأيت شخصين، بوب وأليس، يجلسان عند نفس الطاولة. تفترض تلقائيًا أنهما صديقان مقربان، لكن في الواقع، لقد حدث فقط أنهما جلسا هناك في نفس الوقت؛ وهما لا يعرفان بعضهما البعض حتى.
خطأ الذكاء الاصطناعي: يرى الذكاء الاصطناعي شيئين ذُكرا معًا في تقرير ما (مثل فيروس كمبيوتر معين ودولة معينة) ويفترض أنهما مرتبطان. هو يخلق رابطًا زائفًا.

مثال حقيقي: يرى الذكاء الاصطناي فيروسًا ونوعًا معينًا من الخوادم مذكورين في نفس المقال الإخباري، فيستنتج أن الفيروس لا بد أنه يهاجم ذلك الخادم، رغم أن المقال كان يسردهم فقط كأمثلة غير مرتبطة. الذكاء الاصطناعي يخلط بين "الذكر معًا" وبين "الارتباط ببعضهما".

2. مشكلة "قال فلان وقالت فلانة" (المعرفة المتناقضة)

التشبيه: تخيل أنك تحاول معرفة حالة الطقس. يقول لك صديق: "إنها تمطر!"، ويقول آخر: "الجو مشمس!"، وثالث يقول: "إنها تثلج!". إذا سألت ذكاءً اصطناعيًا لتحديد حالة الطما بناءً على هؤلاء الأصدقاء الثلاثة، فسيصاب بالارتباك وقد يقول: "إنها تمطر-تثلج-مشمسة"، أو قد يتخبط بين الإجابات.
خطأ الذكاء الاصطناعي: غالبًا ما تتعارض تقارير التهديدات السيبرانية. تقول إحدى الشركات الأمنية إن "رقعة برمجية" (Patch) تعالج ثغرة ما، بينما تقول شركة أخرى إن الثغرة لا تزال موجودة. يحاول الذكاء الاصطناعي دمج هذه القصص المتضاربة، مما ينتج عنه إجابة مشوشة وغير مستقرة لا تفيد أحدًا.

مثال حقيقي: يقول تقرير إن مجموعة من الهكرز تستخدم أداة معينة، ويقول تقرير آخر إنهم غيروا أدواتهم. يعلق الذكاء الاصطناعي في المنتصف، غير قادر على تحديد من المصيب، مما يؤدي إلى خطة دفاع ضعيفة.

3. مشكلة "الخريطة القديمة" (التعميم المقيد)

التشبيه: تخيل جهاز GPS تدرب فقط على طرق عام 2010. إذا حاولت القيادة به إلى مدينة جديدة تمامًا بُنيت في عام 2025 تحتوي على سيارات طائرة وأنفاق تحت الأرض، سيحاول جهاز الـ GPS فرض مسارك القدود من عام 2010 على هذه المدينة الجديدة. سيخبرك أن تنعطف يسارًا حيث يوجد الآن مبنى.
خطأ الذكاء الاصطناعي: درس الذكاء الاصطناعي ملايين الهجمات الماضية. عندما يحدث نوع جديد تمامًا من الهجمات لم يسبق رؤيته (هجوم "اليوم الصفر" أو Zero-day)، يحاول الذكاء الاصطناعي إقحامه قسرًا في فئة قديمة. هو يفوت التهديد الجديد لأنه يركز بشدة على ما رآه من قبل.

مثال حقيقي: يستخدم هكر خدعة جديدة تمامًا لاختراق نظام ما. وبما أن الذكاء الاصطناعي لم يرَ هذه الخدعة من قبل، فإنه يفترض أنها خدعة قديمة وشائعة، ويقترح دفاعًا عتيقًا لا يعمل.

كيف اكتشفوا هذه المشكلات؟

لم يكتفِ الباحثون بالتخمين؛ بل قاموا ببناء "معسكر تدريب للمحققين".

العنصر البشري في الحلقة (Human-in-the-Loop): كانوا يعلمون أن طلب تقييم الذكاء الاصطناعي لأعماله بنفسه فكرة سيئة (سيقول فقط: "أنا مثالي!"). لذا، أنشأوا نظامًا يقوم فيه البشر بمراجعة عمل الذكاء الاصطناعي.
المُرشِّح (The Filter): أخذوا آلاف حالات فشل الذكاء الاصطناعي وصنفوها في مجموعات. وجدوا أن مشكلتي "النميمة" و"قال فلان وقالت فلانة" هما الأكثر شيوعًا.
اختبار الضغط (Stress Test): حاولوا خداع الذكاء الاصطناعي عن طريق تغيير تفاصيل صغيرة غير مهمة (مثل التاريخ أو اسم المدينة) في التقرير. إذا غير الذكاء الاصطناعي إجابته لمجرد تغير التاريخ، عرفوا أن الذكاء الاصطناعي يعتمد على أدلة خاطئة (مثل التاريخ) بدلًا من الأدلة الحقيقية (مثل كود الفيروس).

الحل: تعليم الذكاء الاصطناعي التفكير السببي

تقترح الورقة أنه بدلًا من مجرد تغذية الذكاء الاصطناعي بمزيد من البيانات، نحتاج إلى تغيير طريقة تفكيره.

اختبار "ماذا لو؟" (التدخل السببي):
علم الباحثون الذكاء الاصطناعي أن يسأل نفسه: "إذا غيرت هذا التاريخ أو هذا الموقع، هل ستظل استنتاجاتي قائمة؟"

إذا كانت الإجابة "لا، استنتاجي تغير"، يدرك الذكاء الاصطناعي أنه كان يعتمد على مصادفة (مثل التاريخ) بدلاً من السبب الحقيقي.
إذا كانت الإجابة "نعم، استنتاجي يبقى كما هو"، يدرك الذكاء الاصطناعي أنه وجد الحقيقة الفعلية.

النتيجة:
عندما طبقوا اختبار "ماذا لو؟"، ارتكب الذكاء الاصطناعي أخطاءً أقل بكثير. توقف عن التخمين بناءً على النميمة وبدأ يبحث عن دليل صلب.

الملخص

تخلص الورقة إلى أن الذكاء الاصطناعي أداة قوية في الأمن السيبراني، ولكنه حاليًا سهل الارتباك للغاية بسبب الطبيعة الفوضوية والمتناقضة لتقارير التهديدات في العالم الحقيقي.

لإصلاح ذلك، لا يمكننا مجرد بناء نماذج ذكاء اصطناعي أكبر. يجب علينا بناء عمليات أكثر ذكاءً تجبر الذكاء الاصطناعي على:

تجاهل الروابط العرضية (المصادفات).
التعامل مع التقارير المتضاربة دون ارتباك.
التعرف على متى يواجه تهديدًا جديدًا تمامًا لم يره من قبل.

من خلال القيام بذلك، يمكننا تحويل هؤلاء المساعدين من متدربين مرتبكين إلى محققين خبراء وموثوقين.

ملخص تقني: كشف ثغرات النماذج اللغوية الكبيرة المعززة باستخبارات التهديدات السيبرانية

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لأتمتة مهام استخبارات التهديدات السيبرانية (CTI)، بدءاً من تقييم الثغرات الأمنية وصولاً إلى الاستجابة للحوادث. ومع ذلك، لا تزال هناك فجوات كبيرة في الموثوقية ضمن سير العمل التشغيلي. وبينما تعزو الأدبيات الحالية هذه الإخفاقات غالباً إلى قيود عامة في النماذج مثل "الهلوسة" أو "كسر الحماية" (jailbreaking)، تجادل هذه الورقة بأن العائق الرئيسي هو الطبيعة الفريدة لمشهد التهديدات نفسه. فتتميز بيانات استخبارات التهديدات السيبرانية (CTI) بعدم التجانس، والتقلب، والتجزؤ؛ حيث تكون الأدلة غالباً متشابكة، ومبنية على مصادر جماعية، وغير مستقرة زمنياً—وهي خصائص نادراً ما تلتقطها التقييمات القياسية للنماذج اللغوية الكبيرة. ونتيجة لذلك، تواجه هذه النماذج صعوبة في التفكير بفعالية تحت هذه الظروف، مما يؤدي إلى معدلات فشل كبيرة في المهام الأمنية الحرجة.

المنهجية

يقترح المؤلفون دراسة تجريبية شاملة وإطار عمل منهجي مبتكر لتحديد وتصنيف إخفاقات النماذج اللغوية الكبيرة في استنتاجات استخبارات التهديدات السيبرانية.

1. التقييم التجريبي واسع النطاق

تقيم الدراسة مجموعة متنوعة من النماذج، بما في ذلك النماذج الرائدة في الصناعة ذات الأغراض العامة (مثل GPT-5، وClaude-Sonnet-4، وGemini-2.5) والوكلاء المتخصصين في الأمن السيبراني (مثل DeepHat، وSecGPT، وCyber-Zero). يغطي التقييم دورة حياة استخبارات التهديدات السيبرانية الكاملة عبر أربع مراحل:

السياق (Contextualization): إثراء الملاحظات الخام بالسياق (مثل ربط السجلات بثغرات CVE).
الإسناد (Attribution): تحديد المهاجمين وربط الأحداث بملفات تعريف الجهات الفاعلة.
**التنبؤ (Prediction): التنبؤ باحتمالية الاستغلال وتطور الحملات.
التخفيف (Mitigation): التوصية بالرقع الأمنية، وقواعد الكشف، وخطط الاستجابة.

تشمل مجموعات البيانات معايير قائمة (CTIBench، وSevenLLM-Bench، وSWE-Bench، وCyberTeam) وتقارير تهديدات واقعية من مصادر موثوقة (NVD، وCISA، وتنبيهات الشركات المصنعة).

2. تصنيف الإخفاقات عبر العنصر البشري (Human-in-the-Loop)

لمعالجة تحدي تصنيف أنماط الفشل بشكل موثوق دون وجود تسميات (labels) صلبة، قدم المؤلفون إطار عمل طبقياً يعتمد على التدخل البشري:

أخذ العينات الطبقي (Stratified Sampling): يتم تقسيم الحالات إلى طبقات كمية بناءً على درجات التشابه بين مخرجات النموذج والمواد المرجعية. ويؤدي الفحص اليدوي لعينات "المرساة" (anchor samples) ضمن كل طبقة إلى تحديد نطاقات الدرجات للمخرجات "الصحيحة" مقابل "الفاشلة"، مما يقلل عبء العمل اليدوي إلى أقل من 1.5% من إجمالي الحالات.
تنقيح التصنيف التكراري (Iterative Taxonomy Refinement): تعمل عملية تلقائية (autoregressive) على التناوب بين التصنيف بمساعدة النماذج اللغوية والفحص البشري. تُضاف أنماط الفشل الجديدة التي يحددها البشر إلى التصنيف حتى الوصول إلى مرحلة التقارب.
المداولة بين الوكلاء المتعددين (Multi-Agent Deliberation): لضمان الاستقرار، تقوم نماذج لغوية متعددة بتصنيف الحالات بشكل مستقل، يتبعها جولة ثانية من المداولة. يتدخل المفتشون البشريون فقط عند غياب الإجماع بين الوكلاء أو عند تذبذب التوقعات عبر الجولات (أقل من 1.8% من الحالات).

المساهمات الرئيسية

1. تحديد ثلاثة أنواع من الإخفاقات الإدراكية الخاصة بالمجال

تحدد الدراسة ثلاث فئات مهيمنة من الثغرات التي تقيد فعالية النماذج اللغوية في استخبارات التهديدات السيبرانية، وهي متميزة عن عيوب النماذج العامة:

الارتباطات الزائفة (Spurious Correlations): تبالغ النماذج في نسب الأحداث بناءً على سمات سطحية أو متزامنة بدلاً من الروابط السببية. تشمل الأمثلة: خطأ في الإسناد بناءً على أدوات شائعة (تحيز الذكر المشترك/Co-mention bias) أو المبالغة في إسناد إعادة استخدام البنية التحتية بناءً على مؤشرات اختراق (IoCs) أعيد تدويرها عمداً.
المعرفة المتناقضة (Contradictory Knowledge): تؤدي التناقضات عبر مصادر استخبارات التهديدات (مثل التقارير المتضاربة، أو التناقضات الزمنية بين الأدلة القديمة والحديثة، أو الصراعات الدلالية في التسمية) إلى إرباك النماذج، مما يؤدي إلى تنبؤات غير مستقرة أو متضاربة.
التعميم المقيد (Constrained Generalization): تواجه النماذج صعوبة في التوسع خارج التوزيعات المألوفة، وتفشل أمام التهديدات الناشئة (Zero-day) أو الأنماط غير المرئية. يشمل ذلك التحيز التوزيعي (الاعتماد المفرط على بيانات التدريب الشائعة) وعدم الوعي بالبيئة المحيطة (تجاهل قيود النشر المحددة).

2. تحليل السبب الجذري عبر مراحل استخبارات التهديدات

تربط الورقة هذه الثغرات بمراحل وتقنيات محددة في استخبارات التهديدات. فعلى سبيل المثال، ينشأ "تحيز الذكر المشترك" غالباً أثناء مرحلة السياق عندما تعامل أنظمة الاسترجاع الكيانات المتزامنة كعلاقات سببية. كما أن المعرفة المتناقضة غالباً ما تزعزع استقرار عمليات الإسناد والتخفيف عندما تختلف المصادر حول هوية الفاعل أو فعالية الرقعة الأمنية. أما إخفاقات التعميم المقيد فتظهر بوضوح في التنبؤ والتخفيف عندما تواجه النماذج ناقلات هجوم جديدة أو قيوداً بيئية غير موجودة في بيانات التدريب.

3. التحقق عبر التدخلات السببية

يتحقق المؤلفون من هذه الأسباب الجذرية من خلال دراسات التدخل السببي. فمن خلال تغيير الرموز السياقية غير السببية (مثل التواريخ أو القطاعات) مع الحفاظ على السمات السببية (مثل تقنيات الهجوم وآليات الاستغلال)، يثبتون أن تنبؤات النماذج غالباً ما تنقلب، مما يؤكد الاعتماد على الارتباطات الزائفة.

4. الاستراتيجيات الدفاعية

تقترح الورقة وتقيم استراتيجيات تخفيف مستهدفة:

التدخل السببي ( $C^3$ ): فحص اتساق مضاد للواقع (counterfactual consistency check) أثناء الاستنتاج، يجبر النماذج على التحقق مما إذا كانت الاستنتاجات ستظل مستقرة عند تغيير السياق غير السببي.
التخفيف دقيق التفاصيل (Fine-Grained Mitigations): تقنيات محددة لكل نوع فرعي من الثغرات، مثل تصفية الأدلة أثناء الاسترجاع (لإزالة تحيز الذكر المشترك)، وإعادة التصنيف الواعي زمنياً (لحل التناقضات)، والاستنتاج الواعي بالجدة (للتعامل مع الأنماط غير المرئية).

النتائج

فجوات الأداء: يكشف التقييم عن فجوات عالمية في جميع النماذج. تتفوق النماذج اللغوية العامة في المهام التي تعتمد على الفهم (مثل تقييم موثوقية المصدر) ولكنها تعاني في المخرجات التشغيلية. أما الوكلاء المتخصصون في الأمن السيبراني فيظهرون أداءً أفضل في عمليات التصنيف التشغيلية المحددة، لكنهم يعانون من التعميم المقيد تجاه التهديدات الناشئة.
معدلات الفشل: بدون تخفيف، تكون معدلات الفشل كبيرة عبر جميع المراحل. على سبيل المثال، تظهر النماذج العامة معدلات فشل عالية في "كشف الرايات الزائفة" (False Flag Detection) و"إعادة استخدام البنية التحتية".
فعالية الدفاعات:
- يحقق التدخل السببي ( $C^3$ ) مكاسب أداء عالمية، مع تحسينات ملحوظة في "كشف الرايات الزائفة" (بزيادة تصل إلى +0.115 في مقياس F1) وفي "بناء الجدول الزمني للأحداث" (متوسط Δ ≈ 0.08).
- تقلل التخفيفات دقيقة التفاصيل من نسب الثغرات بشكل كبير. فالنهج "كامل القدرة" (الذي يجمع بين تصفية الاسترجاع وقيود الاستنتاج) يقلل معدلات الفشل في جميع الفئات. على سبيل المثال، انخفضت إخفاقات "التناقض الزمني" في النماذج العامة من 17.53% إلى 4.25% باستخدام التخفيف القائم على الاسترجاع فقط، بينما تمت معالجة إخفاقات "الارتباط الزائف" بشكل أفضل عبر فحوصات الاستنتاج فقط.

الأهمية والادعاءات

تدعي الورقة أنها كشفت عن "النقاط العمياء" في ثغرات النماذج اللغوية الكبيرة الخاصة بمجال استخبارات التهديدات السيبرانية. وتجادل بأن التكيف القياسي للنماذج أو هندسة الأوامر (prompt engineering) ليست كافية لأن الإخفاقات متجذرة في الخصائص الجوهرية لمشهد التهديدات (عدم التجانس، التقلب، والتجزؤ).

تكمن أهمية هذا العمل في:

تغيير التركيز: نقل النقاش من عيوب النماذج اللغوية العامة (الهلوسة) إلى إخفاقات الاستنتاج النوعية المرتبطة بمجال استخبارات التهديدات.
تقديم خارطة طريق: تقديم مسار ملموس ومبني على التصنيف لبناء وكلاء استخبارات تهديدات سيبرانية أكثر مرونة ووعياً بالمجال.
إثبات الجدوى: إظهار أن الدفاعات الخفيفة والمستهدفة (فحوصات الاتساق السببي وتصفية الاسترجاع) يمكن أن تخفف بشكل كبير من أنماط الفشل هذه دون الحاجة إلى إعادة تدريب ضخمة.

يخلص المؤلفون إلى أن تحليل استخبارات التهديدات السيبراتية القوي القائم على النماذج اللغوية يتطلب حمايات مصممة خصيصاً لطبيعة التهديدات المتغيرة، مما يوفر رؤى تأسيسية للتكيفات المنهدجة المستقبلية في الأنظمة اللغوية الموجهة للأمن السيبراني.