Heterogeneous Parallelism for Multimodal Large Language Model Training
تقدم هذه الورقة إطار عمل للتوازي غير المتجانس لتدريب النماذج اللغوية الكبيرة متعددة الوسائط، والذي يتيح تخطيطات توازي تنسور مستقلة لمختلف الوحدات داخل رسم بياني واحد، مما يعالج عدم التوافق في التوسع الخاص بكل وسيط ويحقق زيادة تصل إلى 49.3% في عمليات التنسور العائمة (TFLOPS) لكل وحدة معالجة رسومية من خلال التنفيذ المشترك الأمثل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تدريب روبوت فائق الذكاء يمكنه الرؤية، والسمع، والقراءة. للقيام بذلك، تحتاج إلى دمج نوعين مختلفين تماماً من "الأدمغة":
- المُشفّر (The Encoder): هذا الجزء يشبه كاميرا أو ميكروفون متخصص. إنه بارع في معالجة الصور أو الأصوات، لكنه يعمل بشكل أفضل مع قطعة بيانات محددة وثابتة الحجم.
- نموذج اللغة الكبير (LLM): هذا هو العقل اللغوي العملاق. إنه ضخم، ويحتاج إلى قراءة كميات هائلة من النصوص دفعة واحدة، ويتطلب طريقة مختلفة تماماً لتنظيم عمله ليكون فعالاً.
المشكلة: "البدلة الموحدة" التي تناسب الجميع
في الماضي، عندما كان المهندسون يدربون هذه الروبوتات المدمجة، كانوا يجبرون كلا الدماغين على ارتداء نفس "الزي الموحد" (طريقة محددة لتقسيم العمل عبر العديد من أجهزة الكمبيوتر).
فكر في الأمر كطاقم بناء حيث يُجبر السباكون والكهربائيون على العمل في نفس التشكيل تماماً.
- الكهربائيون (الـ LLM) يحتاجون للوقوف في دائرة ضخمة لتمرير الأسلاك بسرعة (تقنية تسمى "التوازي الموتر" - Tensor Parallelism).
- السباكون (الـ Encoder) يحتاجون فقط للعمل في أزواج صغيرة لأن أنابيبهم قصيرة وثابتة.
إذا أجبرت السباكين على الوقوف في دائرة الكهربائيين الضخمة، فسيقضون كل وقتهم في انتظار انتهاء الكهربائيين من تمرير الأسلاك. هم لا يقومون بأي أعمال سباكة؛ إنهم فقط واقفون بلا حراك. وهذا يبطئ المشروع بأكمله.
الحل: "التوازي غير المتجانس" (Heterogeneous Parallelism)
يقدم هذا البحث طريقة جديدة لتنظيم طاقم البناء تسمى "التوازي غير المتجانس". بدلاً من إجبار كل فريق على ارتداء الزي الموحد الذي يناسب الجميع، فإنه يسمح لكل فريق بارتداء الزي الذي يناسبه بشكل أفضل، حتى لو كانوا يعملون في نفس المبنى.
يسمح النظام لفريق "المُشفّر" وفريق "الـ LLM" بـ:
- تقسيم عملهم بشكل مختلف: يمكن للـ LLM استخدام دائرة ضخمة من أجهزة الكمبيوتر، بينما يمكن للمُشفّر استخدام زوج ضيق ومحدد.
- اختيار أماكن جلوسهم: يمكنهم الجلوس على نفس أجهزة الكمبيوتر (مشاركة الأجهزة) أو على أجهزة كمبيوتر مختلفة تماماً، اعتماداً على ما يوفر أكبر قدر من المساحة والوقت.
الخدعة السحرية: "المترجم"
الجزء الأصعب في السماح لفريقين بالعمل بشكل مختلف هو تمرير المعلومات بينهما. إذا انتهى المُشفّر من عمله بتنسيق "الزوج الصغير"، ولكن الـ LLM يتوقع تنسيق "الدائرة الضخمة"، فإن البيانات ستصبح مشوهة.
قام المؤلفون ببناء "مترجم" خاص (يسمى مواصل الاتصال الحدودي - Boundary Communicator).
- التمرير الأمامي (عملية التسليم): عندما ينتهي المُشفّر، يقوم المترجم فوراً بإعادة تشكيل البيانات إلى التنسيق الذي يحتاجه الـ LLM. الأمر يشبه ساعي بريد يأخذ طرداً صغيراً، ويعيد تعبئته في صندوق كبير، ثم يسلمه لفريق الـ LLM.
- التمرير الخلفي (عملية الإرجاع): عندما يتعلم الـ LLM من أخطائه، فإنه يرسل ملاحظات عكسية. يأخذ المترجم تلك الملاحظات، ويعيد تفكيكها إلى التنسيق الصغير الذي يفهمه المُشفّر، ويعيدها إليه.
هذا يضمن أنه على الرغم من أن الفريقين يعملان بطرق مختلفة، إلا أنهما لا يفقدان تتبع البيانات أو عملية التعلم.
طريقتان للجلوس: "المتمركزون في نفس المكان" مقابل "غير المتمركزين"
اختبر البحث طريقتين لترتيب هذين الفريقين:
المتمركزون في نفس المكان (مشاركة نفس المكتب):
- السيناريو: المُشفّر والـ LLM يتناسبان مع نفس مجموعة أجهزة الكمبيوتر.
- الفائدة: بدلاً من إجبار المُشفّر على الجلوس في دائرة الـ LLM غير الفعالة، يسمح النظام للمُشفّر بالجلوس في أزواجه الفعالة الخاصة على نفس أجهزة الكمبيوتر.
- النتيجة: هذا يشبه وجود طباخ ومساعد طباخ في نفس المطبخ. الطباخ يقطع الخضروات (المُشفّر) بينما المساعد يحرك الحساء (الـ LLM). لا يعيق أحدهما الآخر، وتعمل المطبخ بسرعة أكبر بنسبة تصل إلى 49% لأن لا أحد ينتظر أحداً.
غير المتمركزين (غرف منفصلة):
- السيناريو: المُشفّر ضخم جداً (أو الـ LLM يستهلك الكثير من الذاكرة) بحيث لا يمكنهما مشاركة نفس أجهزة الكمبيوتر دون نفاد المساحة.
- الفائدة: يقوم النظام بنقل المُشفّر إلى غرفة منفصلة (مجموعة أخرى من أجهزة الكمبيوتر) تماماً. هذا يفرغ غرفة الـ LLM لترتيبها بشكل مثالي لاحتياجاتها الخاصة دون أن يزحمها المُشفّر.
- النتيجة: هذا يشبه نقل الآلات الثقيلة إلى مستودع منفصل حتى يتم تنظيم المكتب الرئيسي لتحقيق أقصى قدر من الكفاءة. أدى هذا إلى تحسين السرعة الإجمالية لمعالجة الكلمات بنسبة تصل إلى 13%.
الإثبات
لم يكتفِ المؤلفون بالتخمين بأن هذا سينجح؛ بل قاموا باختباره.
- أثبتوا أن "المترجم" لا يفسد العمليات الحسابية. الروبوت يتعلم بنفس السرعة والدقة كما في السابق، ولكن بشكل أسرع.
- أظهروا أنه بالنسبة للمُشفّرات الصغيرة، فإن المشاركة في نفس الأجهزة (المتمركزون في نفس المكان) هي الأفضل.
- أظهروا أنه بالنسبة للمُشفّرات الضخمة، فإن نقلها إلى غرفة منفصلة (غير المتمركزين) هو الأفضل.
الملخص
يتعلق هذا البحث بإيقاف نهج "الزي الموحد الذي يناسب الجميع" في تدريب الذكاء الاصطناعي. من خلال السماح لأجزاء مختلفة من نظام الذكاء الاصطناعي باستخدام الطريقة الأكثر كفاءة للعمل من أجل مهمتها المحددة، ومن خلال بناء مترجم ذكي لتمرير البيانات، يقوم النظام بالتدريب بسرعة أكبر بكثير ويستخدم طاقة حاسوبية أقل. إنه يشبه أخيراً السماح للسباكين والكهربائيين بالعمل في تشكيلاتهم الطبيعية بدلاً من إجبارهم على السير بخطوات متزامنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.