HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters
يُعد Does CCL إطار عمل مبتكرًا يتيح اتصالات جماعية فعالة في العناقيد غير المتجانسة متعددة الموردين من خلال تقديم نقل P2P خالٍ من نسخ المضيف إلى الجهاز، وآلية مُتواصل حدودي مستقلة عن المورد، وتجريدًا للهيكل الهرمي، محققًا بذلك عرض نطاق ترددي أعلى بـ 19 مرة من Gloo وتسريع تدريب النماذج اللغوية الكبيرة بنسبة 16.9%.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تنظيم سباق تتابع عالمي ضخم لتدريب ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير). في الماضي، كان بإمكانك فقط استخدام عداءين من بلد واحد محدد (مورد أجهزة واحد، مثل NVIDIA). جميعهم يرتدون نفس الأحذية، ويتحدثون نفس اللغة، ويعرفون تماماً كيفية تمرير عصا التتابع. هذا جعل السباق سريعاً وسلساً.
ولكن اليوم، أصبح تشغيل سباق باستخدام عداءين من بلد واحد فقط أمراً مكلفاً للغاية أو مستحيلاً بسبب نقص الإمدادات. لذا، قررت خلط عداءين من بلدان مختلفة (NVIDIA، AMD، Huawei، إلخ). المشكلة هي أنهم يتحدثون لغات مختلفة، ويرتدون أحذية مختلفة، ولا يعرفون كيفية تمرير العصا لبعضهم البعض دون إسقاطها.
هذه هي المشكلة التي يحلها HetCCL. إليك كيف يعمل، مقسماً إلى مفاهحات بسيطة:
1. المشكلة: عنق الزجاجة لدى "المدرب" (The Host Bottleneck)
في محاولات السباق المختلط السابقة، إذا احتاج عداء من البلد (أ) إلى تمرير عصا إلى عداء من البلد (ب)، كان عليه الركض أولاً إلى "مدرب" مركزي (وحدة المعالجة المركزية - CPU). يأخذ المدرب العصا، ويدونها في دفتر ملاحظات، ثم يركض بها إلى الجانب الآخر، ويسلمها للعداء الجديد.
- المشكلة: خطوة "المدرب" هذه بطيئة. فهي تهدر الوقت في الركض ذهاباً وإياباً، والمسار بين المدرب والعدائين هو ممر ضيق ومزدحم (عنق زجاجة PCIe).
2. الحل: "الخط المباشر" (P2P Transport)
ابتكر HetCCL طريقة جديدة لتمرير العصا. بدلاً من استخدام المدرب، قام ببناء نفق مباشر عالي السرعة بين أيدي العدائين، حتى لو كانوا من بلدان مختلفة.
- كيف يعمل: يحتفظ HetCCL بـ "التحكم" (التعليمات الخاصة بـ متى يركضون) لدى المدرب، لكن "البيانات" (العصا الفعلية) تظل في أيدي العدائين طوال الوقت.
- التشبيه: تخيل أن المدرب يرسل رسالة نصية تقول: "انطلق!". ثم يقوم العداء بتمرير العصا مباشرة لبعضهم البعض عبر نفق فائق السرعة، متجاوزين مكتب المدرب تماماً. هذا يلغي وقت "الركض ذهاباً وإياباً" البطيء.
3. خدعة "حارس الحدود" (Vendor-Independent Reduction)
أحياناً، لا يقتصر السباق على مجرد تمرير العصا؛ بل يتعلق بدمج المعلومات. على سبيل المثال، إذا كان لدى العداء (أ) الرقم "5" ولدى العداء (ب) الرقم "3"، فعليهما جمعهما للحصول على "8" قبل تمرير النتيجة.
- المشكلة: تستخدم البلدان المختلفة آلات حاسبة مختلفة. لا يمكنك ببسا دل طلب من العداء (أ) أن يستخدم الآلة الحاسبة الخاصة بالعداء (ب).
- الحل: ينشئ HetCCL نظام "حارس الحدود". يأخذ الأرقام من العدائين المختلفين، وينقلها إلى "محطة حدودية" محددة حيث يمكن لآلة حاسبة قياسية وعالمية (مدمجة في البرمجيات الحالية لكل بلد) إجراء العملية الحسابية. الأمر يشبه وجود مترجم عالمي عند الحدود يقوم بعملية الجمع للجميع، بحيث لا يضطر أحد لتعلم لغة جديدة.
4. "خط التجميع" (Hierarchical & Pipelined Design)
في سباق ضخم يضم فرقاً كثيرة، إذا انتظر الجميع انتهاء الفريق السابق قبل البدء، فسيكون السباق بطيئاً.
- الحل: ينظم HetCCL السباق في شكل خط تجميع هرمي.
- الخطوة 1: ينهي العداء داخل نفس البلد عمليات التسليم المحلية أولاً.
- الخطوة 2: بينما يقومون بذلك، يبدأ "حراس الحدود" في تمرير البيانات بين البلدان.
- الخطوة 3: تحدث عمليات التسليم النهائية داخل البلدان مرة أخرى.
- التشبيه: بدلاً من انتظار الخط بأكمله ليتوقف، يبدأ الدفعة التالية من العدائين في التحرك بمجرد خلو المسار من الدفعة السابقة. هذا يحافظ على "الأنفاق" (عرض نطاق الشبكة) ممتلئة ومشغولة، بدلاً من أن تظل خاملة.
ماذا أثبتوا؟
قام الباحثون ببناء هذا النظام (المسمى HetCCL) واختبروه باستخدام أجهزة حقيقية من أربع شركات مختلفة. وهذا ما وجدوه:
- السرعة: في سيناريوهات السباق المختلط، كان HetCCL أسرع بـ 17 إلى 19 مرة من طريقة "المدرب" القديمة (Gloo).
- الكفاءة: حقق سرعة تقارب سرعة العمل وكأن الجميع من نفس البلد، حتى عند خلط أجهزة مختلفة.
- التأثير في العالم الحقيقي: عندما استخدموه لتدريب نماذج الذكاء الاصطناعي (مثل Llama 3)، انتهت عملية التدريب بسرعة أكبر بنسبة تصل إلى 16.9% لكل خطوة مقارنة بالطرق القديمة.
باختصار: HetCCL هو مترجم عالمي ومسار سريع يسمح لأنواع مختلفة من شرائح الكمبيوتر بالعمل معاً كفريق واحد دون أن تبطئ بعضها البعض، مما يجعل بناء أنظمة الذكاء الاصطناوية الضخمة أكثر تكلفة وسرعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.