RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress
تقدم هذه الورقة البحثية RepetitionCurse، وهو هجوم الصندوق الأسود منخفض التكلفة الذي يستغل غياب قيود موازنة الأحمال في نماذج اللغات الكبيرة القائمة على تقنية "خليط الخبراء" (Mixture-of-Experts) عبر استخدام أنماط رموز تكرارية بسيطة لفرض تركيز توجيه شديد، مما يؤدي إلى خلق اختناقات حوسبية وتدهور كبير في زمن استجابة الاستدلال وتوافر الخدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة ضخمة وعالية التقنية حيث تُخزن آلاف الكتب (الخبراء) على أرفف مختلفة (وحدات معالجة الرسومات - GPUs). عندما يتلقى أمين المكتبة (الموجّه - router) طلبًا، فإنه لا يكتفي بجلب كتاب واحد فحسب؛ بل يختار أفضل بضعة كتب للإجابة على السؤال. ولجعل العملية سريعة، تقسم المكتبة العمل: بعض الأرفف تتعامل مع الكتب القليلة الأولى، وأخرى تتعامل مع الدفعة التالية، ويعمل الجميع في وقت واحد. هكذا تعمل نماذج الذكاء الاصطعي الحديثة التي تسمى "خليط الخبراء" (Mixture-of-Experts - MoE)؛ فهي مصممة لتكون فائقة الكفاءة من خلال توزيع العمل بشكل متساوٍ.
ومع ذلك، تكشف ورقة بحثية جديدة تسمى "لعنة التكرار" (RepetitionCurse) عن خلل خفي في كيفية عمل هذه المكتبة.
المشكلة: خدعة "النسخ واللصق"
اكتشف الباحثون أنه إذا وجهت لأمين المكتبة سؤالاً باستخدام نمط غريب ومتكرر للغاية (مثل كتابة "الذكاء الاصطناعي الذكاء الاصطناعي الذكاء الاصطناني..." مراراً وتكراراً)، فإن أمين المكتبة يصاب بالارتباك.
في الحالة الطبيعية، ينظر أمين المكتبة إلى معنى كلماتك ليقرر أي الكتب سيختار. ولكن عند استخدام نمط متكرر، يتوقف أمين المكتبة عن البحث عن المعنى ويبدأ بالتصرف كأنه أسطوانة مشروخة. وبدلاً من توزيع العمل على جميع الأرفف، يقرر أمين المكتبة فجأة أن رفاً واحداً محدداً هو الذي يمتلك الكتب المناسبة لهذا النمط المتكرر.
النتيجة: ازدحام مروري
إليك ما يحدث بعد ذلك:
- عنق الزجاجة: يتم إلقاء كل العمل على ذلك الرف الواحد. يتحرك أمناء المكتبة في ذلك الرف بجنون، محاولين العثور على جميع الكتب.
- العمال الخاملون: في هذه الأثناء، يقف أمناء المكتبة في جميع الأرفف الأخرى دون فعل أي شيء، ينتظرون الرف المزدحم حتى ينتهي.
- التأخير: ولأن النظام بأكمده يجب أن ينتظر هذا الرف البطيء ليلحق بالركب قبل الانتقة إلى الخطوة التالية، فإن المكتبة بأكملها تتوقف عن العمل.
في عالم الذكاء الاصطناعي، يُسمى هذا التأخير "وقت الوصول لأول رمز" (Time-to-First-Token - TTFT). وهو الوقت الذي يستغرقه الذكاء الاصطناعي لنطق كلمته الأولى. في الظروف العادية، يكون هذا سريعاً. أما تحت هجوم "لعنة التكرار"، فقد يستغرق الأمر من الذكاء الاصطناعي ضعف أو ثلاثة أضعاف الوقت المعتاد ليبدأ في التحدث.
لماذا يهم هذا الأمر؟
تسمي الورقة البحثية هذا هجوماً من نوع "حجب الخدمة" (Denial-of-Service - DoS). الأمر يشبه شخصاً يدخل مطعماً للوجبات السريعة ويطلب 1000 برجر معقد ومتطابق في آن واحد. ينسد المطبخ وهو يحاول صنع تلك البرجر المحددة، وفجأة، يضطر الشخص الذي أراد فقط كوباً من القهوة إلى الانتظار لساعة كاملة.
- الهجوم بسيط: لا تحتاج لأن تكون عبقرياً في الاختراق. كل ما تحتاجه هو كتابة كلمات متكررة. تسمي الورقة هذا هجوماً "في الصندوق الأسود" (black-box)، مما يعني أنك لا تحتاج لمعرفة كيف يعمل عقل الذكاء الاصطناعي من الداخل؛ بل يكفي أن تعرف أن تكرار الكلمات يكسر التوازن.
- إنه يعمل في كل مكان: اختبر الباحثون هذا الهجوم على 139 نموذجاً مختلفاً للذكاء الاصطناعي (بما في ذلك نماذج شهيرة مثل Mixtral و Qwen). ووجدوا أن معظمها عرضة لهذا الخلل.
- كلما زاد الحجم، زاد السوء: ومن المفارقات، أنه كلما كان نظام الذكاء الاصطناعي أكثر قوة (باستخدام المزيد من أجهزة الكمبيوتر للعمل بالتوازي)، كان من الأسهل كسره. وجد الباحثون أن استخدام المزيد من أجهزة الكمبيوتر لتقسيم العمل يجعل الازدحام المروري أسوأ عند استخدام هذا الهجوم.
الخلاصة
تخلص الورقة البحثية إلى أنه بينما يجعل تقسيم العمل بين العديد من أجهزة الكمبيوتر الذكاء الاصطناعي أسرع، فإنه يخلق أيضاً نقطة ضعف. إذا استخدم شخص ما خدعة بسيطة ومتكررة، يمكنه إجبار النظام على تجاهل قواعد الكفاءة الخاصة به، مما يؤدي إلى إبطائه بشكل كبير وربما الإخلال بوعوده للمستخدمين (مثل "سنرد خلال ثانيتين").
وتشير الورقة إلى أنه ما لم تجد شركات الذكاء الاصطناعي طريقة أفضل لموازنة العمل تلقائياً، فقد تحتاج إلى توخي الحذر بشأن عدد أجهزة الكمبيوتر التي تستخدمها في وقت واحد، وإلا فإنها تخاطر بأن تصبح أنظمتها رهينة لحلقة مفرغة من "الذكاء الاصطناعي، الذكاء الاصطناعي، الذكاء الاصطناعي".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.