💻 computer science

Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

تستعرض هذه الورقة الحلول القائمة على الذكاء الاصطناعي للخداع السيبراني الديناميكي على مستوى الشبكة والأجهزة في البيئات المتنازع عليها، مع التركيز بشكل خاص على دمج النماذج اللغوية الكبيرة (LLMs) والتعلم المعزز (RL) لتحسين الاستراتيجيات فعالة التكلفة ضد الهجمات الخفية على أنظمة التكنولوجيا التشغيلية (OT).

المؤلفون الأصليون: Abhijeet Sahu, Shuva Paul, Richard Macwan

نُشر 2026-03-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Abhijeet Sahu, Shuva Paul, Richard Macwan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حارس أمن لمحطة طاقة ضخمة وعالية التقنية. مهمتك هي الحفاظ على استمرار تشغيل الأضواء وتدوير التوربينات. ولكن هناك مشكلة: القراصنة (الهاكرز) يحاولون التسلل للداخل.

في الأيام الخوالي، كانت الحماية تشبه بناء جدار عالٍ وسميك؛ حيث كنت تحاول منع المخترق من الدخول. لكن المخترقين أذكياء، ويستمرون في إيجاد طرق جديدة لتسلق الجدار أو الحفر تحته.

تقترح هذه الورقة استراتيجية أكثر ذكاءً ومكراً: الخداع السيبراني (Cyber Deception). فبدلاً من مجرد بناء جدار، ستقوم ببناء متاهة ضخمة ومعقدة من الأبواب والغرف الوهمية داخل محطتك. هدفك هو جعل المخترق يدخل إلى غرفة وهمية، ويظن أنه وجد الكنز، فيضيع كل وقته هناك بينما تراقبه أنت من الظلال.

إليك كيف يجعل مؤلفو هذه الورقة تلك المتاهة أكثر ذكاءً باستخدام نوعين من الذكاء الاصطناعي (AI): التعلم التعزيزي (Reinforcement Learning - RL) والنماذج اللغوية الكبيرة (Large Language Models - LLMs).

1. الشخصيتان الرئيسيتان في قصتنا

لفهم الحل، فكر في نظام الدفاع كفريق من روبوتين متخصصين:

الروبوت (أ): شرطي المرور (وكيل التعلم التعزيزي - RL Agent)
- ماذا يفعل: يتحكم هذا الروبوت في الطرق الرقمية (أجهزة التوجيه/الراوترات) داخل محطة الطاقة.
- مهمته: عندما يرى سيارة مشبوهة (المخترق) تسير في الشارع، يقوم بسرعة بتغيير لافتات المرور. وبدلاً من السماح للمخترق بالقيادة إلى غرفة التحكم الحقيقية، فإنه يعيد توجيهه بلطف (أو بغير لطف) إلى غرفة تحكم وهمية (مصيدة/Honeypot).
- كيف يتعلم: يستخدم التعلم التعزيزي. فكر في الأمر كتدريب كلب؛ في كل مرة ينجح فيها الروبوت في خداع المخترق وإدخاله إلى الغرفة الوهمية، يحصل على "مكافأة" (Treat). وإذا تمكن المخترق من الهروب إلى الغرفة الحقيقية، فإنه يتلقى "توبيخاً" (عقوبة). مع مرور الوقت، يتعلم أنماط المرور المثالية لإبقاء المخترق تائهاً في المتاهة.
الروبوت (ب): الممثل المتمكن (وكيل النماذج اللغوية الكبيرة - LLM Agent)
- ماذا يفعل: يعيش هذا الروبوت داخل غرفة التحكم الوهمية.
- مهمته: عندما يدخل المخترق أخيراً إلى الغرفة الوهمية، فإنه يتوقع رؤية شاشة كمبيوتر حقيقية وبيانات حقيقية. إذا بدت الغرفة الوهمية وكأنها مجرد لوحة كرتونية رخيصة، فسيدرك المخترق أنها فخ وسيهرب.
- السحر: يستخدم هذا الروبوت نموذجاً لغوياً كبيراً (مثل التقنية التي تقف وراء ChatGPT). فهو لا يكتفي بتشغيل نص مسجل مسبقاً، بل يعمل مثل "الممثل المتمكن" (Method Actor). إذا سأل المخترق: "ما هو الجهد الكهربائي على الخط الرئيسي؟"، يقوم الممثل فوراً بتوليد إجابة تقنية واقعية تبدو تماماً كما لو أن مهندساً حقيقياً قالها. كما يتذكر ما قاله قبل خمس دقائق حتى لا يناقض نفسه.

2. المشكلة في الطريقة القديمة

في الماضي، كان بناء هذه الغرف الوهمية صعباً ومكلفاً.

الفخاخ الثابتة: كان عليك بناء خادم وهمي يبدو تماماً مثل الخادم الحقيقي. وإذا طرح المخترق سؤالاً غريباً، فإن الخادم الوهمي قد يتوقف عن العمل أو يعطي إجابة آلية جامدة، مما يكشف اللعبة.
الاعتماد الكبير على البشر: كنت بحاجة إلى فريق من البشر لتحديث هذه الخوادم الوماوية باستمرار لجعلها تبدو حقيقية.
البطء الشديد: بحلول الوقت الذي يقوم فيه البشر بتحديث الخادم الوهمي، يكون المخترق قد اكتشف بالفعل أنه فخ.

3. حل "المتاهة الذكية" الجديد

جمع المؤلفون بين شرطي المرور والممثل المتمكن لإنشاء فخ ديناميكي وحي.

العمل الجماعي: يقرر شرطي المرور (RL) أين يرسل المخترق. ويقرر الممثل المتمكن (LLM) ماذا يقول بمجرد وصوله.
حلقة التغذية الراجعة:
1. يدخل المخترق الغرفة الوهمية.
2. يتحدث إليه الممثل المتمكن.
3. يفحص النظام: "هل صدقنا المخترق؟ هل بقي لفترة أطول؟"
4. إذا قام الممثل بعمل رائع (بقي المخترق)، يحصل شرطي المرور على مكافأة كبيرة ويتعلم إرسال المزيد من المخترقين إلى تلك الغرفة الوهمية المحددة.
5. إذا بدا الممثل غير واقعي (غادر المخترق)، يتعلم شرطي المرور التوقف عن إرسال الناس إلى هناك ويجرب طريقاً مختلفاً.

4. لماذا هذا مهم لمحطات الطاقة (أنظمة OT)

تتحدث الورقة تحديداً عن التكنولوجيا التشغيلية (OT)، وهي الأشياء التي تدير العمليات الفيزيائية مثل شبكات الطاقة، ومحطات معالجة المياه، والمصانع.

المخاطر أعلى بكثير: في مكتب عادي، إذا سرق مخترق كلمة مرور، فالأمر مزعج فقط. أما في محطة طاقة، فإذا عبث المخترق بأدوات التحكم، فقد تنطفئ الأضواء، أو والأسوأ من ذلك، قد تنفجر المعدات.
التوقيت أمر حاسم: تتواصل أجهزة الكمبيوتر في محطة الطاقة الحقيقية مع بعضها البعض في أجزاء من الثانية. إذا تأخر جهاز الكمبيوتر الوهمي في الرد، سيعرف المخترق أنه وهمي.
الحل: تم تدريب "الممثل المتمكن" (LLM) للإجابة فوراً وبـ التوقيت الدقيق لآلة حقيقية. إنه ليس مجرد روبوت دردشة؛ بل هو روبوت دردشة يعرف كيف يحاكي نبض قلب شبكة الطاقة.

5. النتائج (النهاية السعيدة)

اختبر الباحثون هذا في شبكة طاقة محاكية (بناءً على نموذج قياسي يسمى نظام IEEE 123-bus).

بدون الذكاء الاصطناعي: اكتشف المخترقون الغرف الوهمية بسرعة وانتقلوا إلى الغرف الحقيقية.
مع فريق الذكاء الاصطناعي: علق المخترقون في المتاهة. أمضوا وقتاً طويلاً في التحدث إلى الروبوتات الوهمية، ظناً منهم أنهم يخترقون النظام الحقيقي.
الفائدة: بينما كان المخترق يضيع وقته في الغرفة الوهمية، ظل النظام الحقيقي آمناً. تمكن المدافعون من مراقبة كل حركة للمخترق، وفهم حيله، وجمع المعلومات دون تعريض شبكة الطاقة الفعلية لأي خطر.

ملخص التشبيه

تخيل لصاً يحاول سرقة بنك.

الدفاع القديم: باب فولاذي كبير. يفتح اللص القفل ويدخل.
الدفاع الجديد (هذه الورقة): البنك يحتوي على نظام أنفاق سري.
- شرطي المرور (RL) يرى اللص ويفتح فوراً باباً يؤدي إلى غرفة خزنة وهمية.
- الممثل المتمكن (LLM) موجود داخل تلك الغرفة. عندما يسأل اللص: "أين المال؟"، يقول الممثل: "إنه في الخزنة خلف اللوحة"، ويتصرف تماماً مثل موظف بنك متوتر.
- يقضي اللص 3 ساعات في محاولة العثور على الخزنة خلف اللوحة، غير مدرك تماماً أن المال الحقيقي آمن في الطابق السفلي، وأن الشرطة (المدافعين) تسجل كل شيء.

باختصار: تُظهر هذه الورقة كيف يمكننا استخدام الذكاء الاصطناعي الذكي لبناء "فخ مغرٍ" (Honey Trap) يكون مقنعاً ومتكيفاً لدرجة تجعل المخترقين يضيعون وقتهم في أهداف وهمية، مما يحافظ على سلامة بنيتنا التحتية الحيوية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الخداع السيبراني على مستوى الشبكة والأجهزة في البيئات المتنازع عليها باستخدام التعلم المعزز والنماذج اللغوية الكبيرة (RL and LLMs)."

1. بيان المشكلة

تتناول الورقة عدم التماثل المتأصل في الأمن السيبراني، حيث يمتلك المهاجمون وقتاً كافياً للاستطلاع والتحرك الجانبي، بينما يجب على المدافعين الاستجابة فوراً. هذا التحدي يكون حاداً بشكل خاص في بيئات التكنولوجيا التشغيلية (OT) (مثل شبكات الطاقة)، حيث يمكن أن تؤدي الاستجابة المتأخرة إلى تعطيل الأنظمة الفيزيائية.

قصور أساليب الخداع الحالية: غالباً ما تكون أساليب الخداع التقليدية (مثل مصائد الاختراق/Honeypots، وعشوائية عناوين IP) ثابتة، ومكلفة من حيث الصيانة، وتتطلب تدخلاً بشرياً كبيراً. كما يسهل اكتشافها من قبل المهاجمين المهرة من خلال تحليل التوقيت أو عدم الاتساق في البروتوكولات.
التحدي الخاص بالتكنولوجيا التشغيلية (OT): تواجه نهج التعلم المعزز (RL) الحالية للخداع صعوبة مع بروتوكولات الـ OT مثل بروتوكول DNP3 (بروتوكول الشبكة الموزعة الإصدار الثالث). إن نمذجة DNP3 كعملية قرار ماركوف (MDP) قياسية أمر غير ممكن بسبب الطبيعة عالية الأبعاد وذات الحالة (stateful) لبروتوكولات نظم التحكم الصناعي (ICS)، والتي تتطلب دقة في توقيتات الإرسال، واتساق الحالة بين الجهاز الرئيسي والمحطة الطرفية (master-outstation)، ومنطق الرسائل غير المطلوبة.
الفجوة: هناك نقص في الأطر التي تجمع بين إعادة توجيه حركة المرور التكيفية على مستوى الشبكة وبين محاكاة المضيف (host-level emulation) الواعية بالبروتوكول والمخصصة لأنظمة الـ OT.

2. المنهجية

يقترح المؤلفون بنية هجينة مركبة تعتمد على التعلم المعزز والنماذج اللغوية الكبيرة (RL-LLM)، تدمج إعادة توجيه حركة المرور على مستوى الشبكة مع محاكاة البروتوكول على مستوى الجهاز.

أ. بنية النظام

يتكون الإطار من ثلاث طبقات مترابطة وثيقة الصلة:

طبقة التحكم في الشبكة (وكيل التعلم المعزز - RL Agent): نظام تعلم معزز متعدد الوكلاء (MARL) حيث تعمل أجهزة التوجيه (Routers) الفردية كوكلاء مستقلين. تقوم هذه الأجهزة بتعديل سياسات التوجيه ديناميكياً لإعادة توجيه حركة المرور المشبوهة من وحدات الطرفية البعيدة (RTUs) الحقيقية إلى مصائد الاختراق (Honeypots) الخداعية.
طبقة محاكاة المضيف (وكيل النموذج اللغوي الكبير - LLM Agent): مصيدة اختراق مدفوعة بنموذج لغوي كبير (LLM) تقوم بمحاكاة المحطات الطرفية لبروتوكول DNP3. وخلافاً للمصائد الثابتة، يقوم هذا الوكيل بتوليد استجابات متسقة مع السياق والبروتوكول لطلبات المهاجم.
طبقة التقييم والتغذية الراجعة: آلية تقيس "جودة الخداع" لاستجابات الـ LLM وتغذي هذه الإشارة مرة أخرى في دالة المكافأة الخاصة بالتعلم المعزز (RL).

ب. المكونات التقنية الرئيسية

صياغة عملية قرار ماركوف (MDP): يتم نمذجة مشكلة خداع الشبكة كعملية MDP ( $M = S, A, P, R, \gamma$ $M = S, A, P, R, γ$ ).
- الحالة (State): تكوين التوجيه، معدلات إسقاط الحزم، واستغلال الواجهات.
- الإجراء (Action): إعادة توجيه حركة المرور إلى واجهات محددة.
- المكافأة (Reward): دالة مكافأة "سيبرانية-فيزيائية" مركبة مصممة لمنع "اختراق المكافأة" (reward hacking). وهي توازن بين:
  - المكافأة السيبرانية: تعظيم حركة المرور المتجهة إلى المصائد ( $N_{pot}$ ) وتقليل حركة المرور المتجهة إلى وحدات الـ RTU الحقيقية ( $N_{act}$ ).
  - المكافأة الفيزيائية: معاقبة فقدان خطوط الأحمال الحرجة ومكافأة استعادة القدرة الكهربائية.
تكامل الـ LLM والجيل المعزز بالاسترجاع (RAG): لا يُستخدم الـ LLM بشكل عشوائي؛ بل يتم تقييده عبر "الجيل المعزز بالاسترجاع" (RAG) و"حقن الشخصية" (باستخدام ملف personality.yml) لضمان التزام الاستجابات بهيكل DNP3 وقيود التوقيت.
- مقياس الدقة ( $P_{dec}$ ): تُقاس جودة استجابة الـ LLM باستخدام "الارتباك" (Perplexity - $M_{perp}$ ) مقابل تسلسل مرجعي. يتم تحويل هذا المقياس إلى احتمالية ( $P_{dec}$ ) باستخدام دالة Sigmoid، والتي تعدل مكافأة الـ RL. إذا ولد الـ LLM استجابات غير واقعية، يتم معاقبة وكيل الـ RL لتوجيه حركة المرور إلى ذلك العقدة.
نموذج المهاجم: يُفترض أن المهاجم لديه موطئ قدم أولي ويعمل كـ "رجل في المنتصف" (MITM)، وهو قادر على التفتيش السلبي لحركة المرور، والاستعلام النشط (مثل حالة قاطع الدائرة)، وحقن الأوامر الخبيثة.

C. مراحل التدريب

مرحلة التدريب: تحسين مشترك للـ RL والـ LLM باستخدام تفاعلات المهاجم المحاكية. يتم تحديث ملف شخصية الـ LLM بشكل تكراري بناءً على بيانات التفاعل.
مرحلة النشر: تنفيذ الاستدلال (Inference) للـ RL فقط (بدون تحديثات السياسة عبر الإنترنت) مع قيود زمن الاستجابة لضمان الجدوى في الوقت الفعلي.

3. المساهمات الرئيسية

إطار عمل رسمي للتعلم المعزز (RL): إطار عمل للتعلم المعزز أحادي ومتعدد الوكلاء لخداع الشبكة التكيفي مع تصميم مكافأة مركبة محدودة تأخذ في الاعتبار النتائج السيبرانية والفيزيائية.
أول مصيدة اختما (Honeypot) واعية بالبروتوكول مدفوعة بـ LLM لبروتوكول DNP3: أول تنفيذ لمصيدة اختراق مدفوعة بـ LLM مخصصة لمحطات DNP3 الطرفية، والتي تحافظ على دقة التوقيت ودلالات الحالة لنظم التحكم الصناعي (ICS)، متجاوزة بذلك مجرد محاكاة SSH/HTTP البسيطة.
بنية مركبة (RL-LLM): دمج مبتكر حيث تؤثر جودة خداع الـ LLM مباشرة على قرارات التوجيه لوكيل الـ RL، مما يخلق حلقة تغذية راجدة مغلقة.
التحليل الحسابي: تحليل للأعباء واعتبارات النشر في بيئات الـ OT في الوقت الفعلي، مع تسليط الضوء على المقايضات بين دقة المحاكاة ووقت التدريب.

4. النتائج والتحليل

قام المؤلفون بتقييم نهجهم باستخدام نموذج تغذية (feeder) من نوع IEEE 123-bus مع حركة مرور DNP3.

أداء التعلم المعزز (الشبكة فقط):
- التعلم المعزز متعدد الوكلاء مقابل أحادي الوكيل: تفوق التعلم المعزز متعدد الوكلاء (باستخدام PettingZoo) بشكل كبير على النهج أحادي الوكيل من حيث سرعة التقارب والاستقرار. حقق الوكلاء المتعددون أطوال حلقات أقصر (حوالي 5 خطوات مقابل 14-24 خطوة) ومكافآت أعلى، مما أظهر قدرة أفضل على التوسع.
- مقارنة الخوارزميات: أظهرت خوارزمية (PPO) عموماً تقارباً أسرع واستقراراً أفضل مقارنة بخوارزمية (A2C) في السيناريوهات المعقدة.
أداء الـ LLM:
- كانت استجابات الـ LLM الأولية ذات دقة منخفضة (ارتباك عالٍ). ومن خلال التحديثات التكرارية لملف الشخصية وسياق الـ RAG، انخفض مقياس الارتباك ( $M_{perp}$ ) من 5.07 إلى 0.12، وزادت احتمالية الخداع ( $P_{dec}$ ) من 0.06 إلى 0.90 خلال 6 خطوات زمنية.
الدمج بين RL و LLM (السيبراني-الفيزيائي):
- أدى دمج مقياس دقة الـ LLM ( $P_{dec}$ ) في دالة مكافأة الـ RL إلى تحسين الأداء بشكل كبير.
- طول الحلقة: قلل النهج المدمج متوسط طول الحلقة إلى 40.2 (مقارنة بـ 59.25 لـ CP-only و 54.4 لـ A2C CP-only)، مما يشير إلى أن الوكيل تعلم إعطاء الأولوية لعقد الخداع عالية الجودة بشكل أسرع.
- المكافأة: حقق النهج المدمج متوسط مكافأة إيجابي (45.6)، بينما ظلت بعض التكوينات المرجعية سالبة، مما يشير إلى نجاح الخداع وحماية النظام الفيزيائي.

5. الأهمية والعمل المستقبلي

الأهمية: يجسّر هذا العمل الفجوة بين الدفاع المدفوع بالذكاء الاصطناعي ومحاكاة بروتوكول الـ OT الواقعية. ومن خلال إثبات إمكانية تقييد الـ LLMs لتوليد استجابات متوافقة مع البروتوكول، يوضح المؤلفون مساراً نحو استراتيجيات خداع ديناميكية، منخفضة التكلفة، وعالية الفعالية للبنية التحتية الحيوية. تضمن دالة المكافأة المركبة عدم حدوث الخداع على حساب استقرار النظام الفيزيائي.
القيود والآفاق المستقبلية:
- القابلية للتوسع: تستخدم التنفيذ الحالي متعدد الوكلاء مساحات إجراء موحدة؛ ويهدف العمل المستقبلي إلى دعم مساحات إجراء غير متجانسة باستخدام RLlib.
- الدقة (Fidelity): تعتمد التقييمات الحالية على بيئات محاكاة. يخطط العمل المستقبلي للنشر في ساحة سيبرانية (Cyber Range) تابعة لـ NREL باستخدام محاكاة افتراضية من نوع Minimega و HELICS لاختبارها مع حركة مرور SCADA حقيقية.
- النقل من المحاكاة إلى الواقع (Sim-to-Real Transfer): معالجة التكلفة الحسابية للتدريب في بيئات عالية الدقة من خلال استكشاف تقنيات النقل من المحاكاة إلى الواقع.

في الختام، تقدم الورقة آلية دفاعية قوية وتكيفية تستفيد من القدرات التوليدية للنماذج اللغوية الكبيرة (LLMs) وقدرة اتخاذ القرار للتعلم المعزز (RL) لإنشاء دفاع "الهدف المتحرك" (moving target defense) المصمم خصيصاً للقيود المعقدة للتكنولوجيا التشغيلية (OT).