SwiftQK: Fast and Communication-Efficient Tensor Parallelism for Query-Key Normalization

تخيل أنك تحاول تشغيل عقل روبوت ضخم وذكي للغاية يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة مثل البشر. هذا "العقل" يسمى "نموذج لغة كبير" (LLM). ولجعله يعمل، يستخدم العلماء آلاف الرقائق الحاسوبية القوية التي تسمى (GPUs). لكن هذه الرقائق لديها مشكلة: فهي تشبه عمالاً بارعين ولكنهم صغار جداً، لا يمكنهم حمل سوى كمية صغيرة من المعلومات في جيوبهم في وقت واحد. ولحل المشكلات الكبيرة، يتعين عليهم العمل معاً، وتبادل الملاحظات فيما بينهم. ويسمى هذا العمل الجماعي "التوازي التنسوري" (Tensor Parallelism).

ومع ذلك، هناك جزء معقد في عقل الروبوت يسمى "تطبيع الاستعلام والمفتاح" (Query-Key Normalization). فكر في هذا كأنه فحص لمراقبة الجودة حيث يتأكد الروبوت من أن أفكاره متوازنة ومستقرة قبل أن يبدأ في الكتابة. في الماضي، ولإجراء هذا الفحص، كان على كل عامل أن يُظهر دفتر ملاحظاته بالكامل لكل عامل آخر حتى يتمكنوا من حساب "درجة توازن" واحدة. وهذا يعني حدوث ازدحام مروري هائل للملاحظات التي يتم تمريرها، مما يؤدي إلى إبطاء كل شيء. لاحظ الباحثون في هذه الورقة البحثية أن هذا الازدحام المروري هو السبب الرئيسي الذي جعل عقل الروبوت الخارق يتوقف عن العمل. لقد أرادوا إيجاد طريقة لإجراء فحص الجودة دون إجبار الجميع على تبادل دفاتر ملاحظاتهم بالكامل.

وهنا يأتي دور SwiftQK، وهي خدعة ذكية جديدة ابتكرها فريق من علماء الكمبيوتر لإصلاح هذا الازدحام المروري. فبدلاً من إجبار كل وحدة معالجة رسومية (GPU) على تبادل دفتر ملاحظاتها بالكامل (وهو أمر ضخم وبطيء)، يقوم SwiftQK بتغيير قواعد اللعبة. فقد أدرك أن حساب "درجة التوازن" لا يتطلب بالفعل الدفتر بأكمبله؛ بل تحتاج فقط إلى رقم واحد يمثل إجمالي "الجهارة" أو "الطاقة" للملاحظات.

إليك كيف يعمل SwiftQK، باستخدام تشبيه مرح: تخيل مجموعة من الأصدقاء يحاولون معرفة إجمالي مستوى صوت أغنية تعمل على هواتفهم. في الطريقة القديمة، سيتعين على الجميع الصراخ بكلمات أغنيتهم بالكامل للمجموعة حتى يتمكنوا من جمعها جميعاً. وهذا يستغرق وقتاً طويلاً جداً. أما مع SwiftKF، فكل صديق يهمس برقم واحد فقط — وهو إجمالي مستوى صوت أغنيته — للمجموعة. وتقوم المجموعة بجمع هذه الأرقام القليلة للحصول على إجمالي الصوت فوراً.

لكن SwiftQK لا يكتفي بالهمس فحسب؛ بل يفعل شيئاً أكثر ذكاءً. فبينما يهمس الأصدقاء بأرقامهم لبعضهم البعض، لا يقف الآخرون مكتوفي الأيدي بانتظارهم. بل يبدأون فوراً في أداء واجباتهم المنزلية الخاصة (ضرب ملاحظاتهم في وزن خاص). عملية "الهمس" (التواصل) و"الواجب المنزلي" (الحوسبة) تحدثان في نفس الوقت، وتتداخلان بشكل مثالي بحيث لا يضيع أي وقت. يطلق الباحثون على هذا اسم "نواة مستمرة آمنة من الجمود" (deadlock-safe persistent kernel)، وهي طريقة معقدة تعني أنهم وضعوا نظاماً يعرف فيه الجميع بالضبط متى يتحدثون ومتى يعملون، حتى لا يعلق أحد في انتظار صديق مشغول.

والنتائج التي حققها هذا الأسلوب الجديد مبهرة. فعندما اختبر الفريق SwiftQK على نماذج لغوية قوية وحديثة، وجدوا أنه جعل خطوة "فحص الجودة" أسرع بنسبة 81.4% إلى 93.9% مقارنة بالطريقة القديمة المتمثلة في تبادل الدفاتر الكاملة. وفي اختبار واقعي حيث كان الروبوت يجيب على أسئلة العديد من الأشخاص في وقت واحد، قلل SwiftQK من الوقت المستغرق للحصول على استجابة (المسمى TPOT) بنسبة 29.5% مقارنة بالطريقة القياسية. وحتى عند مقارنته بنسخة محسنة قليلاً من الطريقة القديمة والتي حاولت أيضاً الهمس بالأرقام، كان SwiftQK أسرع بنسبة 14.3%.

تظهر الورقة البحثية أنه من خلال كوننا أذكياء بشأن حجم البيانات التي يجب مشاركتها ومن خلال التأكد من أن الحواسيب تعمل أثناء التحدث، يمكننا جعل عقول الذكاء الاصطالي العملاة هذه تعمل بسلاسة وسرعة أكبر بكثير. إنها تثبت أنك لست بحاجة لإرسال مكتبة كاملة لإصلاح خطأ مطبعي واحد؛ فأحياناً، إرسال رقم واحد فقط يكفي، طالما أنك ترسل الرقم في الوقت المناسب.