Online Security Learning in Cooperative Multi-Agent Systems under Hidden Byzantine Attacks

تخيل عالماً تعمل فيه فرق من الروبوتات، أو السيارات ذاتية القيادة، أو حتى المساعدين الذكيّين معاً لحل مشكلات كبيرة، مثل توصيل الطرود أو إدارة شبكة طاقة. في العالم المثالي، يتبع كل عضو في الفريق الخطة بدقة تامة. ولكن في الواقع، تسوء الأمور. أحياناً يتعطل روبوت، أو والأسوأ من ذلك، يتسلل "خائن" إلى المجموعة. في علوم الحاسوب، نسمي هؤلاء الخونة "الوكلاء البيزنطيين" (Byzantine agents). فكر فيهم كجاسوس في فيلم جاسوسية لا يكتفي بالانسحاب فحسب؛ بل يبقى في الغرفة، ويتظاهر بكونه متعاوناً، لكنه يغير تعليمات الفريق سراً قبل تنفيذها مباشرة. إذا خططت مجموعة من الطائرات بدون طيار للتحليق في دائرة، فقد يهمس الجاسوس لأحد الطائرات: "في الواقع، طيري بخط مستقيم نحو الحائط"، فتفعل الطائرة ذلك، مما يتسبب في تحطمها. الجزء المرعب هو أن أعضاء الفريق الآخرين لا يعرفون وجود الجاسوس، ولا يمكنهم رؤية الهمسة السرية التي غيرت الخطة. هم يرون فقط النتيجة النهائية: التحطم.

تتناول هذه الورقة البحثية السؤال الشائك: كيف يمكن للفريق أن يتعلم العمل معاً بأمان عندما لا يعرف من هو الجاسوس، أو حتى ماذا يفعل الجاسوس؟ الأمر يشبه محاولة تعلم رقصة بينما يستمر شخص ما في تغيير حركات شريكك سراً. يريد الباحثون معرفة: هل يمكن للفريق تعلم استراتيجية تعمل بشكل جيد حتى في أسوأ السيناريوهات حيث يحاول الجاسوس بذل قصارى جهده لإفساد كل شيء؟ إنهم يبحثون عن "ضمان أمني" — وعد بأنه بغض النظر عن كيفية عبث الجاسوس بالخطة، سيظل الفريق يؤدي بشكل جيد. هذه الورقة لا تكتفي بالتخمين؛ بل تستخدم رياضيات ثقيلة لتثبت بالضبط ما هو ممكن وما هو مستحيل، وتوضح لنا حدود التعلم عندما لا يمكنك رؤية يد العدو.

الجاسوس في الآلة

تبدأ القصة بفريق من الوكلاء يحاولون تعلم لعبة تعاونية. لديهم خطة، ولكن هناك عقبة: مجموعة مخفية من الوكلاء "البيزنطيين" (الجواسيس) يمكنهم رؤية خطة الفريق وتغيير جزءهم منها سراً قبل حدوثها. تخيل مجموعة من الأصدقاء يخططون لعملية سطو. يتفقون على مسار معين. لكن أحد الأصدقاء، الذي هو في الواقع جاسوس، يرى المسار ويقرر تغيير حركته الخاصة لتعطيل المجموعة بأكملها. بقية الفريق لا يرون سوى الخطة التي ظنوا أنهم وضعوها والنتيجة النهائية (هل حصلوا على الكنز أم لا؟)، لكنهم لا يرون أبداً التغيير السري للجاسوس أو الحركة الفعلية التي قام بها الجاسوس.

سأل الباحثون: هل يمكن للفريق أن يتعلم كيف يكون آمناً؟ لقد عرّفوا "الأمان" بأنه تحقيق أفضل نتيجة ممكنة ضد أسوأ شيء يمكن أن يفعله الجاسوس. إذا تعلم الفريق سياسة تضمن الحصول على درجة جيدة حتى لو كان الجاسوس يحاول بكل قوته كسرهم، فهذا يعتبر فوزاً.

القوة السرية للجاسوس

اكتشفت الورقة شيئاً رائعاً حول قوة الجاسوس: إنها تعتمد كلياً على ما يعرفه الجاسوس.

إذا كان بإمكان الجاسوس رؤية خطة الفريق قبل تغييرها (مثل جاسوس يقرأ الخريطة قبل مغادرة الفريق)، تصبح المشكلة نوعاً معيناً من الألغاز الرياضية يسمى (s, a)-rectangular robust MDP. وباللغة البسيطة، هذا يعني أن الجاسوس يمكنه اختيار أسوأ نتيجة لكل خطة محددة يضعها الفريق. إنه يشبه لعبة حيث يختار الجاسوس، مقابل كل حركة تقوم بها، أسوأ رد فعل ممكن لتلك الحركة تحديداً.

ومع ذلك، إذا كان الجاسوس "أعمى" ويضطر للتخمين بشأن خطة الفريق دون رؤيتها (مثل جاسوس يضطر للصراخ بتغيير قبل أن يكتب الفريق الخطة)، فإن الرياضيات تتغير. تصبح المشكلة نموذج s-rectangular. هنا، يجب على الجاسوس اختيار استراتيجية تعمل ضد جميع الخطط الممكنة في آن واحد، وهو أمر أسهل قليلاً للفريق للتعامل معه لأن الجاسوس لا يمكنه تفصيل عملية التخريب لتناسب كل خطة محددة.

النقطة العمياء التي لا يمكن تجنبها

إليك الجزء الأكثر إثارة للدهشة في القصة. أثبت الباحثون أنه توجد حدود أساسية لما يمكن للفريق تعلمه بمجرد مراقبة النتائج.

تخيل عالمين مختلفين. في العالم (أ)، الجاسوس سيء والفريق يبلي بلاءً حسناً. في العالم (ب)، الجاسوس عبقري والفريق يبلي بلاءً سيئاً. أظهر الباحثون أنه من الممكن إعداد هذين العالمين بحيث يرى الفريق نفس النتائج تماماً. يرى نفس الخطط، ونفس المكافآت، ونفس النتائج. ولأن البيانات تبدو متطابقة، لا يمكن للفريق التمييز بين أي عالم هو فيه.

يؤدي هذا إلى حقيقة قاسية: لا يمكنك دائماً معرفة مدى "سوء" تصرف الجاسوس بمجرد النظر إلى النتائج. قد يعتقد الفريق: "مهلاً، لقد أبلينا بلاءً حسناً، لذا لا بد أن الجاسوس كان ضعيفاً!" ولكن في الواقع، ربما كانوا محظوظين فقط لأن الجاسوس لم يختر أسوأ حركة ممكنة في ذلك اليوم. تطلق الورقة على الفجوة بين "ما حدث بالفعل" و"أسوأ شيء كان يمكن أن يحدث" اسم فجوة الاستجابة (response gap).

لقد أثبت المؤلفون أن هذه الفجوة لا يمكن تجنبها. بغض النظر عن مدى ذكاء خوارزمية التعلم، إذا كان الجاسوس مسموحاً له بأن يكون غير متوقع، فلن يتمكن الفريق أبداً من التأكد بنسبة 100% من أمانه. يمكنهم فقط التأكد من أنهم أدوا بشكل جيد ضد حركات الجاسوس الفعلية، وليس بالضرورة ضد أسوأ حركات الجاسوس الممكنة.

استراتيجية التعلم الجديدة

إذاً، إذا لم نتمكن من رؤية الجاسوس بشكل مثالي، فكيف نتعلم؟ تقدم الورقة طريقة تعلم جديدة تسمى stage-tied robust estimation-to-decisions learner (متعلم تقدير-إلى-قرارات مرتبط بالمرحلة).

فكر في هذا الأمر كالمحقق الذي لا يحاول الإمساك بالجاسوس مباشرة. بدلاً من ذلك، يبني المحقق "شبكة أمان" لكل مرحلة من مراحل اللعبة.

1. شبكة الأمان: بدلاً من محاولة تخمين هوية الجاسب أو تحركاته السرية، يبني المتعلم نموذجاً لجميع "النتائج السيئة" التي يمكن أن تحدث.
2. خدعة الارتباط بالمرحلة (Stage-Tied): عادةً، تضطر خوارزميات التعلم إلى فحص كل حالة وإجراء بشكل منفصل، وهو أمر يشبه فحص كل بلاطة في أرضية ضخمة واحدة تلو الأخرى. هذا بطيء وغير فعال. الطريقة الجديدة تجمع هذه الفحوصات حسب "المرحلة" (أو الخطوة الزمنية). إنه يشبه فحص الأرضية بأكملها عبر المشي في صفوف بدلاً من فحص كل بلاطة على حدة. هذا يجعل عملية التعلم أسرع وأكثر كفاءة بكثير.
3. النتيجة: يتعلم الفريق استراتيجية مضمونة الأداء بشكل جيد. تثبت الورقة أن "ندم" الفريق (مدى سوء أدائهم مقارنة باستراتيجية السلامة المثالية) ينمو ببطء شديد مع لعب المزيد من الألعاب. وتحديداً، ينمو الخطأ بمعدل مرتبط بالجذر التربيعي لعدد الألعاب الملعوبة، وهي نتيجة جيدة جداً في عالم خوارزميات التعلم.

الخلاصة

هذه الورقة لا تقول فقط: "إليكم خوارزمية رائعة". بل ترسم خطاً واضحاً في الرمال. إنها تثبت أنه بينما يمكننا التعلم لنكون أقوياء ضد الخونة المختبئين، لا يمكننا أبداً القضاء تماماً على عدم اليقين بشأن مدى "سوء" الخائن في أي يوم معين. "فجوة الاستجابة" هي سمة دائمة في اللعبة.

ومع ذلك، تمنحنا الورقة أيضاً الأمل. من خلال استخدام هذه الطريقة الجديدة "المرتبطة بالمرحلة"، يمكننا تعلم استراتيجيات آمنة وفعالة بشكل مثبت، حتى دون معرفة من هو الجاسوس أو ماذا يفعل. إنها مخطط لبناء فرق يمكنها النجا من الخيانة، مما يضمن أنه حتى لو حاول الجاسوس إفساد الخطة، يمكن للفريق الاستمرار في النجاح. الرياضيات متينة، البراهين دقيقة، والخاتمة واضحة: يمكننا التعلم لنكون آمنين، ولكن يجب أن نقبل بأننا لا يمكننا رؤية يد الجاسوس بالكامل أبداً.