Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts
تقدم هذه الورقة البحثية إطار عمل MOSAIC، وهو إطار للتصميم المشترك المدرك للنظم يوضح كيف أن التناثر الأمثل لنماذج خليط الخبراء المتناثرة لا ينبثق إلا من خلال التحسين المشترك لبنية النموذج مع قيود الأجهزة، بدلاً من الاعتماد فقط على قوانين القياس المثلى للحوسبة التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء أذكى وأقوى دماغ لروبوت. في عالم الذكاء الاصطناعي، هذا "الدماغ" هو برنامج حاسوبي ضخم يسمى "نموذج لغوي كبير" (LLM). ولجعل هذه الأدمغة أكثر ذكاءً، اكتشف العلماء قاعدة بسيطة: إذا غذيت هذه الأدمغة بمزيد من البيانات وجعلتها أكبر، فستصبح أفضل في فهم العالم. تُسمى هذه القاعدة "قانون القياس" (Scaling Law). لفترة طويلة، كانت وصفة بناء هذه الأدمغة منقسمة إلى خطوتين منفصلتين. أولاً، يقوم عالم رياضيات بتحديد الحجم المثالي للدماغ بناءً على مقدار القدرة الحاسوبية (التي تسمى "الحوسبة") المتاحة. ثم، يحاول مهندس آخر حشر ذلك الدماغ في مجموعة محددة من الرقائق الحاسوبية لجعله يعمل بأسرع ما يمكن.
فكر في الأمر كأنك تخطط لرحلة برية. الخطوة الأولى هي تحديد المسافة التي تريد قطعها بناءً على ميزانية الوقود الخاصة بك. الخطوة الثانية هي اختيار السيارة. ولكن ماذا لو كانت السيارة التي اخترتها ثقيلة وضخمة بحيث تستهلك الوقود بمعدل سيئ للغاية، مما يعني أنك لن تستطيع فعلياً قطع المسافة التي خططت لها؟ هذا هو المشكل الذي يعالجه هذا البحث. يجادل البحث بأنك لا تستطيع فقط اختيار حجم الدماغ ثم القلق بشأن السيارة. يجب أن تصمم الدماغ والسيارة معاً، لأن شكل الدماغ يغير مدى كفاءة قيادة السيارة. إذا تجاهلت محرك السيارة، فقد ينتهي بك الأمر بـ "دماغ مثالي" لكنه ثقيل جداً بحيث لا يمكن تحريكه، مما يتركك عالقاً عند خط البداية.
المشكلة: "الدماغ المثالي" الذي لن يتسع
يقدم البحث طريقة جديدة للتفكير تسمى MOSAIC (تحسين النماذج عبر التدريب المتوافق مع الأنظمة). لاحظ المؤلفون، الذين يعملون في Amazon AGI Foundations، أن الطريقة القديمة في القيام بالأمور كانت تهدر الكثير من الفرص. تقليدياً، كان الباحثون يحسبون النموذج "الأمثل حوسبياً" (Compute-Optimal). وهذا هو حجم النموذج الذي يحقق أفضل النتائج مقابل قدرة حاسوبية ثابتة، بافتراض أن كل جزء من القدرة يُستخدم بشكل مثالي.
ومع ذلك، وجد المؤلفون فخاً خفياً. فقد ركزوا على نوع خاص من بنية الذكاء الاصطناعي يسمى "خليط الخبراء" (Mixture-of-Experts - MoE). تخيل مكتبة ضخمة، بدلاً من وجود أمين مكتبة واحد عملاق يقرأ كل الكتب، لديك آلاف الخبراء المتخصصين الصغار. عندما يأتي سؤال، يقوم "موجه" ذكي بإرساله إلى عدد قليل فقط من هؤلاء الخبراء (مثلاً 2 من أصل 100) للإجابة عليه. هذا يجعل النموذج سريعاً وفعالاً للغاية لأنه لا يحتاج إلى إيقاظ المكتبة بأكملة لكل سؤال.
كانت الرياضيات القديمة تشير إلى أنه للحصول على أفضل النتائج، يجب جعل المكتبة ضخمة قدر الإمكان وإيقاظ أقل عدد ممكن من الخبراء. بعبارة أخرى، النموذج "المثالي" يجب أن يكون متفرقاً للغاية (أي أن معظم أجزائه تكون غير نشطة). يوضح البحث أنه إذا نظرت فقط إلى الرياضيات الخام لـ "كم عدد العمليات الحسابية التي نحتاجها؟"، فإن الإجابة ستكون دائماً: "اجعل النموذج متفرقاً قدر الإمكان". تقول الرياضيات إن أفضل درجة تفرق هي عند الحافة القصوى لما هو ممكن.
التحول: محرك السيارة مهم
هنا تتغير القصة. أدرك المؤلفون أنه بينما تقول الرياضيات "اجعله متفرقاً للغاية"، فإن الواقع الفيزيائي للرقائق الحاسوبية يقول "مستحيل".
عندما يكون لديك نموذج يحتوي على آلاف الخبراء الصغار، يتعين على الحاسوب القيام بالكثير من العمل الإضافي لمجرد اتخاذ القرار بشأن أي الخبراء سيتم إيقاظهم وكيفية تمرير المعلومات بينهم. الأمر يشبه وجود مبنى مكاتب ضخم حيث يقضي المدير طوال اليوم في الركض بين المكاتب لتسليم المذكرات، مما يترك وقتاً قليلاً جداً للعمل الفعلي. كلما أصبح النموذج أكثر تفرقاً، زاد الوقت الذي يهدره الحاسوب في مهام "الركض ذهاباً وإياباً" هذه (والتي تسمى تكاليف الاتصال) وقل الوقت الذي يقضيه في التفكير الفعلي (العمليات الحسابية).
يجادل البحث بأن رياضيات "الأمثل حوسبياً" القديمة كانت معيبة لأنها افترضت أن الحاسوب يمكنه توجيه 100% من قوته إلى جزء التفكير. في الواقع، قد يحصل نموذج متفرق للغاية على 8% فقط من قوة الحاسوب للقيام بالتفكير الفعلي، بينما قد يحصل نموذج أكثر كثافة قليلاً على 15%.
الحل: MOSAIC
لإصلاح ذلك، قام الفريق ببناء MOSAIC. بدلاً من السؤال: "ما هو أفضل نموذج لكمية ثابتة من الرياضيات؟"، سألوا: "ما هو أفضل نموذج يمكننا تشغيله فعلياً على مجموعتنا المحددة من الحواسيب في وقت ثابت؟"
لقد دمجوا شيئين:
- قانون قياس: تنبؤ بمدى ذكاء النموذج بناءً على حجمه وشكله.
- نموذج أداء: محاكي يتنبأ بمدى سرعة تشغيل النموذج على الأجهزة الحقيقية، مع مراعاة تكاليف "الركض ذهاباً وإياباً".
عندما قاموا بتشغيل MOSAIC، كانت النتائج مفاجئة. لم يكن "النموذج المثالي" هو ذلك الموجود عند الحافة القصوى للتفرق. بدلاً من ذلك، كان النموذج الأفضل هو حل "داخلي" — وهو حل وسط سعيد. كان متفرقاً بما يكفي ليكون فعالاً، ولكن ليس لدرجة تجعل الحاسوب يغرق في أعباء إدارة كل هؤلاء الخبراء الصغار.
ما وجدوه
اختبر الفريق ذلك على أجهزة حقيقية باستخدام وحدات معالجة الرسومات NVIDIA B200. قاموا بتدريب نماذج تتراوح من 700 مليون إلى 18 مليار معلمة نشطة (وما يصل إلى 79 مليار معلمة إجمالية).
- الطريقة القديمة: إذا اتبعت الرياضيات القديمة فقط، فستختار نموذجاً بدرجة تفرق تبلغ حوالي 0.985 (بمعنى أن 98.5% من الخبراء نائمون). ولكن على مجموعتهم المحددة، سيكون هذا النموذج بطيئاً جداً لدرجة أن تدريبه سيستغرق وقتاً طويلاً جداً، وسيكون في الواقع أقل ذكاءً من نموذج أكثر كثافة قليلاً.
- طريقة MOSIC: وجد النظام أن "نقطة التوازن" كانت عند درجة تفرق تبلغ حوالي 0.96. لم يكن هذا النموذج هو "الأفضل نظرياً"، ولكنه كان "الأفضل عملياً". لقد كان يعمل بشكل أسرع، واستخدم قوة الحاسوب بكفاءة أكبر، وحقق معدل خطأ أقل (مما يعني أنه كان أكثر ذكاءً) من "النموذج النظري الأفضل".
في الواقع، أظهروا أن النموذج الذي بدا الأفضل على الورق (الذي يمتلك أكبر عدد من عمليات "Model FLOPs") كان في الواقع الأبطأ في التدريب في الحياة الواقعية. النموذج الذي فاز هو الذي وازن بين الرياضيات وواقع الأجهزة.
لماذا هذا مهم
يشير هذا البحث إلى أننا بحاجة إلى التوقف عن معاملة تصميم نماذج الذكاء الاصطناعي وتصميم الحواسيب التي تشغلها كخطوات منفصلة. لا يمكنك فقط اختيار حجم النموذج وتأمل أن تتمكن الحواسيب من التعامل معه. فشكل النموذج يغير كيفية سلوك الحاسوب.
يلاحظ المؤلفون بحذر أن نتائجهم محددة بنوع الرقائق الحاسوبية التي استخدموها (NVIDIA B200) والبرمجيات التي بنوها. لم يجدوا قانوناً عالمياً ينطبق على كل حاسوب في الكون. ومع ذلك، فقد أثبتوا أنه بالنسبة لآفاق تدريب الذكاء الاصطناعي، فإن تجاهل "الأنظمة" (الأجهزة وكيفية نقل البيانات) يؤدي إلى نتائج دون المستوى المطلوب.
باستخدام MOSAIC، أظهروا أن "أفضل" نموذج ليس نقطة ثابتة على رسم بياني، بل هو هدف متحرك يعتمد على ميزانية الأجهزة الخاصة بك. النموذج الأكثر كفاءة هو الذي يناسب مجموعتك مثل القفاز، وليس النموذج الذي يبدو الأفضل على ورقة. هذا تحول من "الأمثل حوسبياً" (ما تقوله الرياضيات) إلى "الأمثل للمجموعة" (ما يمكن للأجهزة تقديمه فعلياً).
باختصار، إذا كنت تريد بناء أذكى ذكاء اصطناعي ممكن، فأنت لا تحتاج فقط إلى دماغ أكبر؛ بل تحتاج إلى دماغ يناسب الجسد الذي يعيش فيه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.