Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity?
تتقصى هذه الورقة مدى فعالية استخدام نماذج اللغات الكبيرة (LLMs) كوكلاء في سيناريوهات الأمن السيبراني القائمة على نظرية الألعاب، كاشفةً أن سلوكياتها الاستراتيجية وعوائدها تتأثر بشكل كبير بسمات الشخصية، والمعرفة بالتفاعلات المتكررة، والسياق اللغوي، مما يسلط الض الضوء على مخاوف حرجة تتعلق بالاستقرار والتحيز عند نشرها في تطبيقات الأمن العالمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بكيفية تصرف شخصين في مباراة شطرنج عالية المخاطر، ولكن بدلاً من اللاعبين البشر، لديك روبوتان فائقان الذكاء (نماذج لغوية كبيرة، أو LLMs) يلعبان ضد بعضهما البعض.
هذه الورقة البحثية تطرح سؤالاً مهماً للغاية: هل يمكننا الوثوق بهذه الروبوتات الاصطناعية لتتصرف كلاعبين استراتيجيين "مثاليين" كما يتوقع الرياضيات؟
إليك تفصيل الدراسة باستخدام تشبيهات بسيطة:
1. الإعداد: ملعب الأمن السيبراني
تخيل الإنترنت كأنه ملعب ضخم وفوضوي. على أحد الجوانب، لديك المهاجمون (يحاولون كسر الأراجيح)، وعلى الجانب الآخر، المدافعون (يحاولون الحفاظ على سلامة الأراجيح).
لسنوات، استخدم الخبراء نظرية الألعاب (فرع من الرياضيات) للتنبؤ بكيفية تصرف هذين الجانبين. الأمر يشبه كتاب قواعد يقول: "إذا قام المهاجم بـ X، يجب على المدافع القيام بـ Y ليفوز".
الآن، لدينا النماذج اللغوية الكبيرة (LLMs) (العقول وراء برامج الدردشة مثل الذي تتحدث إليه الآن). نريد استخدام هذه الذكاءات الاصطناعية لمحاكاة هذه الهجمات والدفاعات. ولكن قبل أن نطلق سراحها، نحتاج إلى معرفة: هل تتبع الرياضيات حقاً، أم أن لديها غرائبها الخاصة؟
2. التجارب: لعبتان كلاسيكيتان
وضع الباحثون أربعة نماذج مختلفة من الطراز الرفيع (GPT-4، وGemini، وMistral، وLlama) في سيناريوهين محددين للعبة لرؤية كيف سيتصرفون.
اللعبة 1: لعبة الصفر-مجموع (لعبة "الفطيرة")
- التشبيه: تخيل شخصين يتنافسان على فطيرة واحدة. إذا حصلت أنت على قطعة أكبر، سأحصل أنا على قطعة أصغر. لا توجد طريقة ليفوز كلانا؛ فربح أحدهما هو خسارة للآخر.
- توقع الرياضيات: الاستراتيجية المثلى هي عادةً أن تكون غير متوقع (تختار القطع بشكل عشوائي) حتى لا يتمكن الخصم من تخمين حركتك.
- ما فعله الذكاء الاصطناعي: لم تكن النماذج متسقة. أحياناً كانت تلعب بعشوائية، وأحياناً تلعب بنفس الطريقة في كل مرة. والأسوأ من ذلك، إذا طلبت من نفس الذكاء الاصطناعي لعب اللعبة باللغة الإنجليزية، فإنه يلعب بطريقة معينة. وإذا طلبت منه لعبها بالفرنسية أو العربية، فإنه يغير استراتيجيته تماماً! كان الأمر كما لو أن الذكاء الاصطناعي لديه شخصية مختلفة بناءً على اللغة التي يتحدث بها.
اللعبة 2: معضلة السجين (لعبة "الثقة")
- التشبيه: مشتبه بهان في زنزانتين منفصلتين. يمكنهما إما التعاون (البقاء صامتين) أو الخيانة (الوشاية بالآخر).
- إذا بقي كلاهما صامتين، سيحصل كلاهما على حكم مخفف (جيد!).
- إذا وشى أحدهما وبقي الآخر صامتاً، يخرج الوشي حراً ويحصل الآخر على حكم ثقيل (سيء!).
- إذا وشى كلاهما، سيحصل كلاهما على حكم متوسط (مقبول، لكن ليس رائعاً).
- توقع الرياضيات: في جولة واحدة، الحركة الذكية هي الوشاية (الخيانة) لأنك لا تعرف أبداً ما سيفعله الطرف الآخر. ولكن إذا لعبت هذه اللعبة مرات عديدة (معضلة السجين المتكررة)، فإن الحركة الذكية هي تعلم الثقة والتعاون للحصول على نتائج أفضل بمرور الوقت.
- ما فعله الذكاء الاصطناعي: تعلمت النماذج عموماً التعاون بمرور الوقت (وهذا أمر جيد!). ومع ذلك، تأثر سلوكها بشدة بـ الشخصية واللغة.
- إذا قيل للذكاء الاصطناعي أن يكون "أنانياً"، فقد زاد معدل الوشاية لديه.
- إذا قيل له أن يكون "متعاوناً"، فقد زاد معدل بقائه صامتاً.
- الصدمة: نفس نموذج الذكاء الاصطناعي كان يتعاون بالإنجليزية ولكنه يخون شريكه باللغة الفيتنامية. اللغة نفسها غيرت بوصلته الأخلاقية!
- التشبيه: مشتبه بهان في زنزانتين منفصلتين. يمكنهما إما التعاون (البقاء صامتين) أو الخيانة (الوشاية بالآخر).
3. الاكتشاف الكبير: مشكلة "اللكنة"
الاكتشاف الأكثر إثارة للدهشة هو أن اللغة تهم أكثر مما كنا نعتقد.
تخيل أنك وظفت حارس أمن. تتوقع منه أن يتصرف بنفس الطريقة سواء كان يتحدث الإنجليزية أو الفرنسية أو الصينية. لكن في هذه الدراسة، غيرت نماذج الذكاء الاصطناعي "الحراس" تكتيكاتها بناءً على اللغة التي تتحدث بها.
- قد يكون الذكاء الاصطناعي "بطلاً" بالإنجليزية ولكنه "شرير" بالعربية.
- هذا يعني أنه إذا بنيت نظام أمن سيبراني باستخدام الذكاء الاصطناعي، ونشرته في بلد يتحدث لغة مختلفة، فقد يصبح نظامك الأمني فجأة ضعيفاً أو غير قابل للتنبؤ.
4. الخلاصة: لا تضغط على زر "التشغيل" فحسب
تخلص الورقة البحثية إلى أنه بينما يعد الذكاء الاصطناعي أداة قوية في الأمن السيبراني، لا يمكننا مجرد توصيله والافتراض بأنه سيعمل بشكل مثالي.
- الخبر الجيد: لدينا طريقة جديدة لاختبار هذه النماذج (باستاستخدام أداة تسمى FAIRGAME) لمعرفة ما إذا كانت مستقرة.
- الخبر السيئ: تتصرف نماذج الذكاء الاصطناعي المختلفة بشكل مختلف تماماً. بعضها مستقر (مثل Llama وGPT-4 في بعض الاختبارات)، بينما البعض الآخر فوضوي (مثل Claude وMistral في هذه الدراسة).
- التحذير: إذا كنت تبني نظام دفاع، يجب عليك اختبار الذكاء الاصطناعي الخاص بك في نفس اللغة والسياق الثقافي الذي سيُستخدم فيه. لا يمكنك افتراض أن الذكاء الاصطناعي الذي تدرب بالإنجليزية سيتصرف بنفس الطريقة في فيتنام أو الشرق الأوسط.
استعارة الملخص
فكر في هذه النماذج اللغوية الكبيرة كأنها حرباء.
في نظرية الألعاب، نريد روبوتاً يكون بمثابة صخرة—صلباً، متوقعاً، وغير متغير.
لكن هذه النماذج اللغوية الكبيرة هي حرباء. إنها تغير لونها (استراتيجيتها) بناءً على الخلفية (اللغة) والمزاج (سمات الشخصية) المعطى لها.
الدرس المستفاد: قبل أن تسمح لحرباء بحراسة قلعتك، يجب أن تعرف بالضبط ما هو اللون الذي ستكون عليه في الغرفة المحددة التي تقف فيها. وإلا، فقد تصبح غير مرئية في اللحظة التي تحتاج إليها فيها بشدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.