Understanding and Improving Communication Performance in Multi-node LLM Inference
تقدم هذه الورقة دراسة أداء لاستنتاج النماذج اللغوية الكبيرة (LLM) متعددة العقد، والتي تحدد عمليات "all-reduce" كعنق زجاجة رئيسي، وتقدم NVRAR، وهو خوارزمية "all-reduce" هرمية تستخدم NVSHMEM تعمل على تقليل زمن الاستجابة بشكل كبير وتحسين الأداء النهائي للنماذج الكبيرة مثل Llama 3.1 405B مقارنة بتنفيذات NCCL القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم ومعقد. في عالم الذكاء الاصطناعي، هذا اللغز هو "نموذج لغوي كبير" (LLM) — وهو بمثابة عقل حاسوبي فائق الذكاء يمكنه كتابة القصص، والإجابة على الأسئلة، وحل المشكلات. ومع ازدياد حجم هذه العقول وذكائها، تصبح ثقيلة جداً بحيث لا يمكن لحاسوب واحد استيعابها.
لحل هذه المشكلة، قام العلماء بتقسيم قطع اللغز عبر العديد من الحواسيب (التي تسمى "عُقد" أو Nodes) التي تعمل معاً. وتدور هذه الورقة البحثية حول كيفية جعل هذه الحواسيب تتواصل مع بعضها البعض بكفاءة حتى لا تضيع الوقت في الانتظار.
إليك شرح مبسط لما اكتشفه الباحثون وما قاموا ببنائه:
1. المشكلة: عنق الزجاجة في "لعبة الهاتف"
عندما تعمل الحواسيب معاً، يتعين عليها تبادل المعلومات باستمرار.
- الإعداد: تخيل فريقاً مكوناً من 32 شخصاً (وحدات معالجة الرسوميات - GPUs) يحاولون حل اللغز. هم مقسمون إلى مجموعات (عُقد). داخل المجموعة الواحدة، يمكنهم الصراخ لبعضهم البعض فوراً (باستخدام جهاز لاسلكي داخلي فائق السرعة يسمى NVLink). ولكن للتحدث مع المجموعات الأخرى، يتعين عليهم استخدام خط هاتف بعيد المدى وأبطأ (الشبكة بين العُقد).
- المشكلة: وجد الباحثون أنه عندما تحاول الحواسيب حل جزء "فك التشفير" (decode) من اللغز (أي توليد كلمة تلو الأخرى)، فإنها تحتاج إلى إرسال رسائل صغيرة جداً لبعضها البعض.
- التشبيه: تخيل أنك في سباق تتابع. إذا كان عليك الركض لمسافة طويلة لتمرير ملاحظة صغيرة للعداء التالي، وكان الشخص الذي تمرر له الملاحظة بطيئاً في استقبال الملاحظات، فستقضي معظم وقتك في الانتظار. وجدت الورقة أن برنامج "خط الهاتف" القياسي (المسمى NCCL) كان سيئاً جداً في التعامل مع هذه الملاحظات الصغيرة والمتكررة بين المباني المختلفة (العُقد). كان الأمر أشبه بمحاولة إرسال بطاقة بريدية عبر خدمة بريدية بطيئة بينما كنت بحاجة لتمرير مصافحة سرية فورية.
2. المقارنة: طريقتان لتنظيم الفريق
اختبر الباحثون طريقتين رئيسيتتين لتنظيم الفريق:
- التوازي الموتري (Tensor Parallelism - TP): يعمل الجميع على نفس جزء اللغز في نفس الوقت، لكن يتعين عليهم التحقق باستمرار مع الجميع للتأكد من اتفاقهم. هذا رائع للأجزاء الكبيرة من العمل، ولكنه يتباطأ بسبب كثرة عمليات "التحقق" (التواصل).
- التوازي الهجين (Hybrid Parallelism - HP): يقومون بتقسيم اللغز إلى أجزاء كبيرة وتخصيص أجزاء مختلفة لأشخاص مختلفين. هذا يقلل من الحاجة إلى التحقق، ولكنه ليس فعالاً بنفس القدر لجزء "توليد الكلمات" من المهمة.
النتيجة: بالنسبة لجزء "توليد الكلمة تلو الأخرى" من المهمة (وهو ما يحدث معظم الوقت)، فإن TP عادة ما يكون أفضل، ولكن فقط إذا تمكن الفريق من التحدث مع بعضهم البعض بسرعة كافية. طريقة التواصل القياسية كانت بطيئة جداً، مما تسبب في توقف الفريق.
3. الحل: NVRAR (المسار السريع)
لإصلاح التواصل البطيء، بنى الباحثون أداة جديدة تسمى NVRAR.
- كيف يعمل: بدلاً من استخدام الخدمة البريدية القياسية والبطيئة، بنوا "مساراً سريعاً" مخصصاً باستخدام تقنية تسمى NVSHMEM.
- التشبيه: فكر في الطريقة القديمة كإرسال رسالة يجب ختمها وفرزها ثم نقلها بواسطة شاحنة. أما NVRAR فهو يشبه امتلاك طائرة بدون طيار (درون) مخصصة تطير مباشرة من شخص لآخر، لتسليم الملاحظة واستلام الرد في اللحظة نفسها.
- خدعة "المضاعفة التكرارية" (Recursive Doubling): نظموا عملية التواصل مثل لعبة "الهاتف" حيث يضاعف كل شخص عدد الأشخاص الذين يتحدث إليهم في كل خطوة. بدلاً من أن يتحدث الجميع مع الجميع واحداً تلو الآخر، يقومون بالاقتران، ثم الدمج، ثم الاقتران مرة أخرى، ثم الدمج مرة أخرى. هذا أسرع بكثير للمجموعات الكبيرة.
4. النتائج: تسريع الفريق
عندما قاموا بدمج هذا "المسار السريع" الجديد (NVRAR) في نظامهم:
- تواصل أسرع: بالنسبة للرسائل الصغيرة المستخدمة في مهام الذكاء الاصطنا هذه، كان النظام الجديد أسرع بمقدار 1.9 إلى 3.6 مرة من النظام القياسي.
- حل أفضل للألغاز: عندما استخدموا هذا النظام الجديد لتشغيل نموذج "Llama 3.1 405B" الضخم (عقل ذكاء اصطناعي عملاق)، انخفض الوقت المستغرق لتوليد الإجابات بشكل كبير. في بعض الحالات، أنهى الفريق المهمة بسرعة أكبر بـ 1.72 مرة مما كان عليه من قبل.
- اختبار واقعي: اختبروا ذلك على حركة مرور حقيقية (محاكاة لآلاف المستخدمين الذين يطرحون أسئلة) ووجدوا أن النظام يمكنه التعامل مع المزيد من الطلبات في الثانية دون أن يتباطأ.
الملخص
تتمحور هذه الورقة البحثية حول إدراك أننا عندما يحاول فريق ضخم من الحواسيب حل لغز ذكاء اصطناعي، فإن التأخير الأكبر ليس في "التفكير" — بل في "التحدث". كانت الطريقة القياسية للتحدث بين المباني المختلفة بطيئة جداً للرسائل الصغيرة والمتكررة المطلوبة. قام المؤلفون ببناء نظام تواصل مخصص عالي السرعة (NVRAR) يعمل كمسار سريع، مما يسمح للفريق بالتنسيق فورياً وحل اللغز بشكل أسرع بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.