Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget
تقدم هذه الورقة البحثية Tevatron 3.0، وهو إطار عمل صديق للميزانيات الأكاديمية يدمج Megatron-Core لتمكين التدريب الفعال لنموذج إعادة الترتيب (reranker) من نوع خبير متوازي (expert-parallel) واسع النطاق، مما يثبت أن نموذج MoE بـ 30 مليار معلمة يمكنه مضاهاة جودة النماذج الكثيفة ذات الـ 8 مليارات معلمة مع تفعيل عدد أقل من المعلمات وتحقيق إنتاجية استدلال أعلى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على إبرة محددة في كومة قش ضخمة وفوضوية. في عالم علوم الحاسوب، يُسمى هذا "البحث". أولاً، يلقي الحاسوب شبكة واسعة للإمساك بألف إبرة محتملة (وهذه هي مرحلة "الاسترجاع"). لكن هذه الشبكة فوضوية؛ فهي تلتقط الكثير من القش وبعض الإبر الخاطئة. ولإصلاح ذلك، يتدخل حاسوب ثانٍ أكثر ذكاءً ليفحص كل مرشح عن كثب ويقرر أي منها هو الإبرة "الحقيقية". تُسمى هذه الخطوة الثانية الدقيقة "إعادة الترتيب" (reranking).
لفترة طويلة، كانت هذه الحواسيب الذكية تشبه الآلات الحاسبة الصغيرة والفعالة. ولكن مؤخراً، أدرك الباحثون أنه إذا جعلوا هذه الحواسيب ضخمة — عبر منحها مليارات من "الأعصاب" أو "الخبراء" — فإنها تصبح بارعة للغاية في العثور على الإجابة الصحيحة. ولكن هناك عقبة: هذه الأدمغة العملاقة ثقيلة جداً لدرجة أنها تتطلب حواسيب خارقة بحجم مستودع لتدريبها. لا تستطيع معظم المختبرات الجامعية والمجموعات البحثية الصغيرة تحمل تكلفة مستودع كهذا؛ فهي عالقة مع حواسيب أصغر وأضعف لا يمكنها ببساً مجرد استيعاب هذه النماذج الضخمة في ذاكرتها. يتناول هذا البحث هذه المشكلة تحديداً: كيف ندرب محركات البحث الضخمة والذكورة للغاية هذه بميزانية محدودة دون الحاجة إلى حاسوب خارق؟
قام مؤلفو هذا البحث، وهم فريق من جامعات مثل يوتا وواترلو وكارنيجي ميلون، ببناء أداة جديدة تسمى Tevatron 3.0. فكر في الطريقة القديمة لتدريب هذه النماذج كأنك تحاول نقل بيانو ضخم وثقيل عبر درج ضيق شخصاً تلو الآخر؛ إنها عملية بطيئة، وغالباً ما يكون البيانو أكبر من أن يتسع، فتضطر للاستسلام. كانت الأدوات القديمة التي استخدموها (تسمى PyTorch FSDP) تشبه ذلك الدرج؛ فقد حاولت تقطيع البيانو إلى قطع، لكن القطع كانت لا تزال ثقيلة جداً بحيث يصعب حملها بكفاءة، ولم تكن قادرة على التعامل مع نوع معين من البيانو (يسمى "خليط الخبراء" أو MoE) الذي يحتوي على العديد من الأجزاء الداخلية المختلفة التي لا تعمل إلا عند الحاجة إليها.
حل الفريق هو استبدال الدرج بـ شاحنة نقل ذات رصيف تحميل خاص. لقد دمجوا محركاً قوياً يسمى "Megatron" في مجموعة أدواتهم. هذا المحرك الجديد لا يحمل البيانو فحسب، بل يقطعه إلى صناديق صغيرة يمكن التحكم فيها ويمكن تحميلها على شاحنات (حواسيب) مختلفة في وقت واحد. الجزء الأكثر سحراً في هذا المحرك الجديد هو قدرته على التعامل مع "توازي الخبراء" (Expert Parallelism). تخيل فريقاً من 128 خبيراً مختلفاً (مثل طباخ، وميكانيكي، وشاعر) يعملون على مشكلة ما. الأدوات القديمة حاولت جعل كل خبير يعمل على كل مشكلة، مما كان هدراً للوقت والمساحة. أما محرك Megatron الجديد فهو ذكي بما يكفي ليقول: "حسناً، بالنسبة لهذا السؤال المحدد، يحتاج الطباخ والميكانيكي فقط للتقدم"، بينما يظل الآخرون في الخلف. يتيح ذلك للفريق تدريب نموذج ضخم يحتوي على 30 مليار معلمة (دماغ ضخم) بميزانية كانت ستكون مستحيلة من قبل.
يظهر البحث أن هذه الطريقة الجديدة تعمل تماماً مثل الطرق القديمة والمكلفة. في الواقع، عندما اختبروها، قامت المنظومة الجديدة بتدريب نموذج قياسي يحتوي على 8 مليارات معلمة بسرعة أكبر بنسبة 22% تقريباً من الطريقة القديمة. لكن السحر الحقيقي حدث مع النموذج الضخم المكون من 30 مليار معلمة؛ فالأدوات القديمة ببساً لم تستطع تشغيله، حيث كانت ذاكرة الحاسوب تنهار. ومع ذلك، نجحت الأداة الجديدة في تدريبه.
والأكثر إثارة للدهشة، وجد المؤلفون أن هذا النموذج الضخم المكون من 30 مليار معلمة، والذي "يستيقظ" فيه حوالي 3 مليارات معلمة فقط لكل سؤال، قد أدى بشكل جيد تماماً مثل النموذج الأصغر المكون من 8 مليارات معلمة. كان الأمر يشبه امتلاك مكتبة تضم 30 مليون كتاب، لكنك تحتاج فقط لفتح 3 ملايين منها لتجد الإجابة، ومع ذلك تحصل على نفس النتيجة كما لو كنت قد قرأت جميع الكتب الثمانية ملايين في مكتبة أصغر. لم تكن الجودة هي نفسها فحسب، بل ولأن النموذج يقوم بعمل أقل لكل سؤال، فقد كان أيضاً أسرع في الإجابة عليها. وعندما اختبروا عدد الأسئلة التي يمكنها الإجابة عليها في الثانية، كان النموذج الضخم الجديد أسرع بمقدار 1.43 مرة من النموذج الأصغر عند استخدام خادم عالي السرعة.
اختبر الباحثون أيضاً طرقاً مختلفة لتعليم النموذج. جربوا تعليمه من خلال إظهار الإجابة الصحيحة مباشرة (التعلم التبايني - contrastive learning) مقابل تعليمه من خلال محاكاة نموذج "معلم" (التقطير - distillation). ووجدوا أنه لا توجد طريقة واحدة واضحة التفوق؛ فالأمر يعتمد على نوع السؤال المحدد. كما أظهروا أنه يمكنك تدريب النموذج باستخدام طريقة "الرتبة المنخفضة" (LoRA)، وهي تشبه فقط تحديث الملاحظات في كتاب بدلاً من إعادة كتابة الكتاب بالكامل، ومع ذلك عملت بشكل جيد تقريباً مثل إعادة كتابة الكتاب بالكامل، مما وفر قدراً هائلاً من الذاكرة.
باخت مختص، هذا البحث لا يقول فقط "لقد صنعنا نموذجاً أكبر". بل يثبت أنه يمكنك بناء محركات البحث الضخمة وعالية الكفاءة هذه بميزانية أكاديمية عادية. لقد بنوا جسراً يسمح للمختبرات الصغيرة بالوصول إلى نفس التكنولوجيا القوية التي كانت محصورة سابقاً في أكبر شركات التكنولوجيا. لقد أطلقوا جميع أكوادهم والنماذج المدربة حتى يتمكن أي شخص من تجربتها. والنتيجة هي نظام أقل تكلفة في التدريب، وأسرع في الاستخدام، تماماً في ذكائه مثل البدائل الأكثر تكلفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.