OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection
تقدم هذه الورقة OrgForge-IT، وهو معيار مرجعي اصطناعي قابل للتحقق يستخدم محرك محاكاة حتمي لضمان الاتساق عبر الأدوات في كشف التهديدات الداخلية، مما يكشف عن رؤى نقدية حول أداء النماذج، والتعامل مع الضجيج، وضرورة وجود مسارات فرز متخصصة من خلال تقييم شامل لعشرة نماذج لغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حارس أمن في مبنى مكاتب ضخم ومزدحم. مهمتك هي رصد "الأشرار" (التهديدات الداخلية) بين آلاف الموظفين الذين يقومون فقط بأعمالهم المعتادة.
المشكلة هي أن المبنى ضخم، ومعظم الوقت، الجميع يعملون بشكل طبيعي. ولكن أحياناً، يقوم شخص ما بسرقة ملف، أو يسجل دخوله في الساعة 3 صباحاً، أو يقع ضحية لعملية احتيال عبر الهاتف. العثور على هذه "الإبر في كومة القش" أمر صعب للغاية.
تقدم هذه الورقة البحثية ساحة تدريب جديدة (تسمى OrgForge-IT) لتعليم الذكاء الاصطناعي (AI) كيف يكون حارس أمن أفضل. إليك تفصيل بسيط لسبب تميزها وما توصلت إليه.
1. المشكلة في كتيبات التدريب القديمة
في السابق، كانت فرق الأمن تدرب ذكاءها الاصطناعي على مجموعات بيانات قديمة وزائفة (مثل مجموعة بيانات "CERT").
- العيب: كانت مجموعات البيانات القديمة هذه مثل قصة كتبها شخص واحد من خياله. أحياناً، كانت القصة تناقض نفسها (على سبيل المثال: "جون سجل دخوله في الساعة 3 صباحاً" في جملة، ولكن "جون كان في اجتماع في الساعة 3 مساءً" في جملة أخرى). كان الذكاء الاصطناعي يصاب بالارتباك لأن الحقائق لم تكن متطابقة.
- الحل الجديد (OrgForge-IT): قام المؤلف ببناء محرك محاكاة رقمي. فكر في الأمر كمحرك لعبة فيديو يدير المكتب.
- المحرك هو "الإله" في عملية المحاكاة. هو يعرف الحقيقة المطلقة: من فعل ماذا، ومتى، ولماذا. وهو يحتفظ بـ "مفتاح الإجابة" السري.
- الذكاء الاصطناعي (النموذج اللغوي) يكتب فقط "الحوار" (رسائل البريد الإلكتروني، رسائل Slack، السجلات) بناءً على قواعد المحرك.
- لماذا هذا مهم: لأن المحرك هو من يتحكم في الحقائق، فإن القصة لا تتناقض أبداً. إذا قال الذكاء الاصطناعي "جون سرق ملفاً"، فإن المحرك يعرف يقيناً ما إذا كان جون قد فعل ذلك أم لا. وهذا يجعل التدريب مثالياً وعادلاً.
2. الاختبار: أربعة سيناريوهات مخادعة
أنشأت المحاكاة 51 يوماً من حياة المكتب بـ 2,904 سجلاً. 96% منها كانت مجرد "ضجيج" طبيعي (أشخاص يعملون فقط). كان على الذكاء الاصطنا_ي العثور على الـ 4% التي تمثل تهديدات. تضمن الاختبار أربعة أفخاخ محددة صُممت لخداع الذكاء الاصطناعي البسيط:
- تسجيل الدخول "الشبح": شخص ما سجل دخوله، لكنه لم يفعل أي شيء بعد ذلك. الذكاء الاصطناعي البسيط يبحث عن النشاط. يتطلب هذا السيناريو من الذكاء الاصطناعي أن يلاحظ عدم حدوث شيء ويدرك أن هذا أمر مريب.
- فخ "التصيد الصوتي" (Vishing): شخص سيء يتصل بموظف، ويخدعه، ثم يسجل الدخول إلى حساب الموظف.
- الفخ: الذكاء الاصطنا_ي البسيط يرى "الموظف سجل دخوله" ويعتقد أن الموظف هو الشرير.
- الحقيقة الفعلية: الموظف هو الضحية. الشرير هو من قام بالمكالمة.
- سرقة "الاحتراق البطيء": سرقة البيانات لا تكون دائماً عبر تحميل كبير واحد. بل هي نسخ الملفات يوم الاثنين، وضغطها يوم الثلاثاء، وإرسالها عبر البريد الإلكتروني يوم الأربعاء.
- الفخ: إذا نظر الذكاء الاصطناعي إلى يوم واحد فقط في كل مرة، فإنه سيفقد القصة كاملة.
- "بناء الثقة": شخص سيء يرسل بريداً إلكترونياً لطيفاً وغير ضار اليوم، ثم يشن هجوماً بعد ثلاثة أيام. يجب على الذكاء الاصطناعي أن يتذكر البريد الإلكتروني اللطيف ليمسك بالهجوم لاحقاً.
3. النتائج: تقسيم "الفرز" مقابل "الحكم"
اختبر المؤلف 10 نماذج مختلفة من الذكاء الاصطناعي. إليك المفاجأة الكبيرة التي وجدوها:
"الفرز" (التصنيف) مقابل "الحكم" (القرار)
- الفرز (Triage): هذا يشبه ممرض الفرز في المستشفى. "هل هذا المريض مريض بما يكفي لرؤية الطبيب؟"
- النتيجة: كانت معظم نماذج الذكاء الاصطنا_ي جيدة في هذا. استطاعت تحديد الأشخاص المشبوهين.
- الحكم (Verdict): هذا هو القاضي في قاعة المحكمة. "هل هذا الشخص مذنب أم بريء؟"
- النتيجة: هنا انقسمت نماذج الذكاء الاصطنا_ي إلى فريقين.
- الفئة (أ) (القضاة الأذكياء): أدركت هذه النماذج: "مهلاً، لقد تم خداع الموظف! إنه بريء". لقد حددوا الضحية بشكل صحيح.
- الفئة (ب) (القضاة المرتبكون): رأت هذه النماذج تسجيل الدخول المشبوه وقالت: "مذنب!". لقد عاقبوا الضحية بدلاً من المهاجم.
- النتيجة: هنا انقسمت نماذج الذكاء الاصطنا_ي إلى فريقين.
مشكلة "الإنذار الكاذب"
وجدت الورقة أن الدقة ليست كافية وحدها.
- تخيل اثنين من حراس الأمن. كلاهما أمسك باللص.
- الحارس (أ) أمسك باللص وتجاهل 99 شخصاً بريئاً.
- الحارس (ب) أمسك باللص ولكنه اتهم أيضاً 40 شخصاً بريئاً بأنهم لصوص.
- الاستنتاج: الحارس (ب) عديم الفائدة، حتى لو أمسك باللص. تقول الورقة إننا يجب أن نقيس عدد الإنذارات الكاذبة التي يطلقها الذكاء الاصطنا_ي، وليس فقط ما إذا كان قد أمسك بالرجل السيئ.
4. "هلوسة المفردات"
حاول الباحثون طرح نفس الأسئلة على نماذج الذكاء الاصطنا_ي ولكن بطرق مختلفة (بعضها مهيكل جداً، وبعضها مجرد محادثة عادية).
- وجدوا أنه عندما لم يُجبر الذكاء الاصطنا_ي على استخدام "كلمات رمزية" محددة (مثل قاموس صارم)، فإنه سيصف الجريمة بشكل مثالي ولكنه سيستخدم الكلمات الخاطئة.
- مثال: يقول الذكاء الاصطنا_ي: "الرجل نسخ الملفات ووضعها في حقيبة سحاب (zip bag)". نظام التقييم لا يقبل إلا مصطلح "تخزين بيانات المضيف" (Host Data Hoarding). لذا، يحصل الذكاء الاصطنا_ي على صفر، رغم أنه فهم الجريمة تماماً.
- الدرس: نحن بحاجة لتقييم الذكاء الاصطنا_ي بناءً على ما يفهمه، وليس فقط إذا كان يستخدم المفردات الصحيحة بدقة.
5. الخلاصة الكبرى
تثبت هذه الورقة أن:
- نحن بحاجة لبيانات تدريب أفضل: يحتاج الذكاء الاصطنا_ي إلى محاكاة حيث تكون الحقائق صحيحة بنسبة 100%، وليس مجرد قصة مختلقة.
- الذكاء وحده لا يكفي: الذكاء الاصطنا_ي الذي يمسك بالرجل السيئ ولكنه يتهم الضحية البريء هو نموذج فاشل.
- السياق هو الملك: للإمساك بالتهديدات الحديثة، يحتاج الذكاء الاصطنا_ي إلى النظر إلى الأسبوع بأكمله، وليس اليوم فقط، وفهم الفرق بين الضحية والمجرم.
باخت-صار، OrgForge-IT هو "محاكي طيران" مثالي لذكاء الأمن الاصطنا_ي، وقد أظهر لنا أنه بينما تتحسن نماذج الطيران الحالية في رصد الاضطرابات الجوية، إلا أنها لا تزال بحاجة لتعلم كيفية التمييز بين العاصفة وبين مسافر يعاني من نوبة ذعر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.