ملخص تقني: الهجمات العدائية العملية على المندوبات العشوائية عبر حقن البيانات المزيفة

1. بيان المشكلة

تعد خوارزميات المندوب متعدد الأذرع (MAB) حجر الزاوية في أنظمة اتخاذ القرار عبر الإنترنت، حيث توازن بين الاستكشاف والاستغلال في تطبيقات مثل التوصيات الشخصية، والإعلانات عبر الإنترنت، والتجارب السريرية. وبينما أثبتت الأبحاث السابقة أن خوارزميات MAB معرضة للهجمات العدائية، فإن نماذج التهديد الحالية تعتمد على افتراضات غير واقعية تحد من صلتها بالأنظمة الحقيقية.

تحديداً، تعتمد الأعمال السابقة (مثل Jun et al., 2018; Liu and Shroff, 2019; Zuo, 2024) بشكل أساسي على نموذج تشويه التغذية الراجعة (feedback-perturbation model). في هذا النموذج، يراقب المهاجم الذراع التي اختارها المتعلم والمكافأة المرتبطة بها في كل جولة، ثم يقوم بتعديل المكافأة بشكل تعسفي قبل الكشف عنها للمتعلم. يمنح هذا النموذج المهاجم سيطرة كاملة على قناة التغذية الراجعة في كل خطوة زمنية ويفترض قدرات تشويه غير محدودة.

في الممارسة العملية، غالباً ما تكون هذه القدرات غير مجدية. فعلى سبيل المثال، في منصة توصية بالمطاعم، لا يمكن للمهاجم الكتابة فوق التقييمات الحقيقية لآلاف العملاء الحقيقيين باستمرار. بدلاً من ذلك، تتضمن الهجمات الواقعية إنشاء حسابات مزيفة لحقن مراجعات مفبركة أو تفاعلات اصطناعية (مثل الاحتيال في النقرات). تقوم هذه الهجمات بإضافة بيانات مزيفة بدلاً من تغيير البيانات الموجودة، وتخضع لقيود الموارد أو الكشف على مستوى النظام، ويجب أن تلتزم بنطاقات التغذية الراجعة الصالحة (مثل تقييمات من 1 إلى 5 نجوم).

تعالج هذه الورقة الفجوة بين نماذج الهجوم النظرية والقيود العملية من خلال اقتراح نموذج تهديد جديد: حقن البيانات المزيفة (Fake Data Injection). التحدي الجوهري يكمن في تصميم استراتيجيات هجوم يمكنها تضليل المتعلم لجعله يختار ذراعاً معيناً غير مثالية (الهدف) في جميع الجولات تقريباً مع تكلفة تحت خطية (sublinear cost)، وذلك تحت قيود:

1. عدم تعديل التغذية الراجعة الحقيقية: لا يمكن للمهاجم الكتابة فوق بيانات المستخدمين الحقيقية.
2. المكافآت المحدودة: يجب أن تقع المكافآت المزيفة المحقونة ضمن نطاق التغذية الراجعة الصالح $[r_l, r_u]$.
3. القيود الزمنية: قد يكون المهاجم مقيداً في عدد العينات المزيفة التي يمكنه حقنها في كل جولة (حجم الدفعة) أو في وتيرة الحقن.

2. المنهجية والمفاهيم الأساسية

2.1 نموذج تهديد حقن البيانات المزيفة

يصيغ المؤلفون إعداداً حيث يحقن المهاجم $N_F$ من عينات البيانات المزيفة $\{(a^F_s, r^F_s)\}$ في سجل المتعلم. يعامل المتعلم هذه العينات المحقونة كأنها تفاعلات شرعية لا يمكن تمييزها عنها، حيث يقوم بتحديث المتوسطات التجريبية، وعدادات السحب، والعدادات الداخلية للجولات بناءً عليها.

• تكلفة الهجوم: تُعرف بـ $C_F(T) = \sum |r^F_s - \mu_{a^F_s}|$.
• معيار النجاح: يكون الهجوم ناجحاً إذا دفع المتعلم لاختيار الذراع المستهدفة في $T - o(T)$ من الجولات مع ضمان أن تكون $C_F(T) = o(T)$.

2.2 مبدأ الكبت (The Suppression Principle)

الرؤية التقنية المركزية هي مبدأ الكبت. فبدلاً من تشويه المكافآت باستمرار، يهدف المهاجم إلى حقن تغذية راجعة مزيفة محدودة بما يكفي لكبت التقدير التجريبي لذراع غير مستهدفة لتصبح أدنى من معيار مرجعي مستقر للذراع المستهدفة. بمجرد كبت الذراع غير المستهدفة بشكل كافٍ، تمنع آلية الاستكشاف الخاصة بالمتعلم اختيارها مرة أخرى لفترة زمنية طويلة.

تمهيدية الكبت الأسي (لخوارزمية UCB)

بالنسبة لخوارزمية الحدود العليا للثقة (UCB)، يثبت المؤلفون أنه إذا تم سحب ذراع غير مستهدفة $i$ بشكل كافٍ ($N_i(t) \geq \log T/\delta_0^2$) وتم دفع متوسطها التجريبي ليكون أدنى من حد سفلي محدد $\hat{\ell}_K(t)$ للذراع المستهدفة $K$، فإن الذراع $i$ لن يتم اختيارها مرة أخرى حتى جولة لا تقل عن $\exp(N_i(t)\delta_0^2)$ باحتمالية عالية. هذا "الكبت الأسي" يسمح للمهاجم بتحقيق تلاعب طويل الأمد من خلال حدث حقن واحد لكل ذراع.

2.3 استراتيجيات الهجوم

أ. الحقن المتزامن (Simultaneous Injection - SI)

مصمم لإعداد يمكن فيه للمهاجم حقن البيانات حسب الحاجة دون قيود صارمة لكل جولة.

• الآلية: لكل ذراع غير مستهدفة $i$، ينتظر المهاجم حتى يتم سحبها $\lceil \log T/\delta_0^2 \rceil$ مرة. بعد ذلك، يحقن المهاجم دفعة من العينات المزيفة ذات الحد الأدنى من المكافأة الصالحة $r_l$ لتقليل متوسطها التجريبي ليكون أدنى من الحد السفلي للثقة للذراع المستهدفة.
• النتيجة: يجبر هذا خوارزمية UCB على اختيار الذراع المستهدفة لـ $T - o(T)$ من الجولات بتكلفة تراكمية قدرها $\tilde{O}(K\sigma\sqrt{\log T})$.

ب. الحقن المحدود الدوري (Periodic Bounded Injection - PBI)

مصمم للقيود الواقعية حيث يواجه المهاجم حداً لحجم الدفعة ($f$ من العينات في كل جولة) ويجب عليه تجنب إطلاق إنذار الكشف عن الشذوذ.

• الآلية: بدلاً من الحقن الكبير لمرة واحدة، يقوم المهاجم بتوزيع العينات المزيفة المطلད་ على فترات زمنية. بمجرد وصول ذراع غير مستهدفة إلى عتبة السحب، يحسب المهاجم إجمالي عدد العينات المطلوبة وفترة "التبريد" $R_i$. يقوم المهاجم بحقن دفعات بحجم $f$ بشكل دوري، تفصلها $R_i$ من الجولات، مما يضمن بقاء الذراع مكبوتة بين عمليات الحقن.
• النتيجة: يحقق PBI هجمات ناجحة بتكلفة تحت خطية حتى في ظل قيود زمنية ومقدارية صارمة، موازناً بين التخفي والفعالية.

ج. إطار العمل العام المقيد بالكبت

يوسع المؤلفون هذه النتائج إلى ما وراء UCB لتشمل فئة من الخوارمانيات تسمى المقيدة بالكبت (Suppression-Bounded). تكون الخوارزمية مقيدة بالكبت إذا كانت تسحب الذراع غير المستهدفة عدداً محدوداً فقط من المرات الإضافية بمجرد أن يهيمن عليها الذراع المستهدف تجريبياً.

• ينطبق هذا الإطار على خوارزميات Thompson Sampling و $\epsilon$-greedy.
• تتضمن استراتيجية الهجوم حقن الحد الأدنى من العينات المزيفة لاستيفاء شرط يظل فيه المتوسط التجريبي للذراع غير المستهدفة تحت المعيار المرجعي للذراع المستهدفة، مستغلةً الحد الطبيعي للخوارزمية في عمليات السحب بعد الكبت.

3. المساهمات الرئيسية

1. نموذج تهديد جديد: تقديم حقن البيانات المزيفة، والذي يعكس القيود الواقعية (المكافآت المحدودة، وتكرار الحقن المحدود، وعدم القدرة على الكتابة فوق البيانات الحقيقية) التي أغفلها نماذج تشويه التغذية الراجعة السابقة.
2. مبدأ الكبت: صياغة آلية يمكن من خلالها للحقن المزيف المحدود أن يكبت الأذرع غير المستهدفة بشكل دائم، محولاً الهجوم إلى مسألة إنشاء وحفاظ على الكبت بدلاً من التشويه المستمر.
3. الاستراتيجيات الخوارزمية:
   • الحقن المتزامن (SI): استراتيجية مثالية لـ UCB تحت أدنى القيود.
   • الحقن المحدود الدوري (PBI): استراتيجية قوية لـ UCB تحت قيود حجم الدفعة والوقت.
   • الإطار العام: توسيع تحليل الكبت ليشمل Thompson Sampling و $\epsilon$-greedy.
4. الضمانات النظرية: إثبات أن هذه الهجمات يمكن أن تضلل المتعلمين لجعلهم يختارون ذراعاً مستهدفة في $T - o(T)$ من الجولات بتكلفة هجوم تحت خطية ($o(T)$)، حتى مع قيم مكافأة محدودة.
5. التحقق التجريبي: تجارب على البيانات الاصطناعية ومجموعة بيانات MovieLens 25M توضح أن البيانات المزيفة المتفرقة والمحدودة يمكن أن تحيز متعلمي المندوب بشكل كبير في الواقع.

4. النتائج التجريبية

قيم المؤلفون استراتيجياتهم على:

• بيانات اصطناعية: توزيعات مكافأة غاوسية مع $K=10$ أذرع.
• بيانات من العالم الحقيقي: مجموعة بيانات MovieLens 25M، التي تحاكي نظام توصية بـ 10 أذرع (أفلام) وتفاعلات مستخدمين.

النتائج الرئيسية:

• الفعالية: نجحت كل من SI و PBI في إجبار متعلمي UCB و Thompson Sampling على اختيار الذراع المستهدفة في أكثر من 95% من الجولات بعد مرحلة الكبت الأولية.
• كفاءة التكلفة: حقق PBI أداءً مقارباً لـ SI ولكن بتكاليف هجوم أقل في السيناريوهات طويلة الأمد من خلال توزيع عمليات الحقن عبر الزمن.
• المقارنة مع الخطوط المرجعية: فشلت خطوط مرجعية استدلالية (Heuristic baseline) قامت بحقن عينات عشوائياً (بنسبة تتناسب مع الوقت المتبقي) في جعل المتعلم يتقارب نحو الذراع المستهدفة، مما يسلط الضوء على الأهمية البالغة لـ جدول الحقن ومبدأ الكبت.
• المتانة تجاه القيود: أظهر PBI أنه حتى مع القيود الصارمة على حجم الدفعة ($f=5$ أو $f=10$)، يظل الهجوم فعالاً، في حين أن الاستراتيجيات غير المحدودة (مثل Least Injection) تحقق أقل تكلفة نظرية ولكنها قد تكون أقل عملية في البيئات التي تكثر فيها عمليات الكشف.

5. الأهمية والقيود

الأهمية:
تجسّر هذه الورقة الفجوة بين المتانة العدائية الكلاسيكية والأمن العملي في التعلم عبر الإنترنت. فهي تثبت أن افتراض "التلاعب غير المحدود بالمكافآت في كل جولة" يبالغ كثيراً في تقدير صعوبة مهاجمة الأنظمة الحقيقية. ومن خلال إظهار أن البيانات المزيفة المتفرقة والمحدودة والموزعة زمنياً يمكن أن تقوض خوارزميات المندوب القياسية، تكشف هذه الدراسة عن ثغرة حرجة في أنظمة اتخاذ القرار المتسلسل المستخدمة في المجالات عالية المخاطر. توفر تمهيدية الكبت المقترحة أداة عامة لتحليل نقاط الضعف في الخوارزميات التي تعتمد على المتوسطات التجريبية وعلاوات الاستكشاف.

القيود (كما ذكرها المؤلفون):

• المتعلم السلبي: يفترض التحليل وجود متعلم سلبي يعالج جميع التغذية الراجعة دون آليات دفاعية (مثل التصفية أو التدقيق).
• الإعداد العشوائي: يقتصر الإطار حالياً على المندوبات العشوائية (Stochastic Bandits)؛ وتظل عملية توسيع النطاق ليشمل المندوبات السياقية (Contextual Bandits) أو التعلم التعزيزي (Reinforcement Learning) مسألة مفتوحة.
• مخاطر الكشف: لا يتناول النموذج الحالي بشكل صريح التفاعل الديناميكي بين المهاجمين والمتعلمين التكيفيين الذين يستخدمون الكشف عن الشذوذ أو التدقيق على مستوى الذراع.

يخلص المؤلفون إلى أنه بينما تكشف نتائجهم عن فجوة بين ضمانات المتانة الكلاسيكية والأمن العملي، يجب أن تبحث الأبحاث المستقبلية في الدفاعات مثل الكشف عن الشذوذ والتفاعل الديناميكي بين المهاجمين والمتعلمين التكيفيين والدفاعيين.