Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model
تقدم الورقة البحثية "خليط التدريب" (Mixture of Training - MoT)، وهو إطار عمل للتدريب المسبق المعياري القائم على السقالات، والذي يقوم بتقسيم نموذج "ترانسفورمر" إلى كتل طبقات قابلة للتدريب بشكل مستقل يمكن إعادة تركيبها في نموذج متماسك، مما يثبت أن عمليات التدريب المفككة هذه يمكن أن تحقق تكافؤاً في الجودة مع التدريب المتجانس مع تقديم مزايا حوسبية محتملة من خلال السقالات القابلة لإعادة الاستخدام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء قلعة ضخمة ومعقدة من قطع "ليغو". عادةً، الطريقة الوحيدة للقيام بذلك هي امتلاك فريق واحد ضخم من البنائين يعملون معاً على الهيكل بأكال لمرة واحدة. إذا أسقط شخص واحد قطعة، يتعين على الفريق بأكمله التوقف، وإذا أصبح الفريق كبيراً جداً، ستصبح الغرفة مزدحمة ويصبح المشروع مكلفاً للغاية وبطيئاً في الإصلاح. هذه هي الطريقة التي يبني بها العلماء عادةً "نماذج اللغات الكبيرة" (LLMs) — تلك الأدمغة الحاسوبية فائقة الذكاء التي يمكنها كتابة القصص، والإجابة على الأسئلة، والدردشة معنا. يتم تدريب هذه النماذج ككتلة واحدة عملاقة وغير قابلة للتجزئة. ولكن ماذا لو كان بإمكانك بناء القلعة في غرف منفصلة وأصغر حجماً، وتترك فرقاً مختلفة تعمل على كل غرفة بشكل مستقل، ثم تجمعهم جميعاً في النهاية؟ هذا هو السؤال الكبير الذي تطرحه هذه الورقة البحثية: هل يمكننا تقسيم تدريب ذكاء اصطناعي ذكي إلى قطع أصغر يمكن إدارتها وإعادة تجميعها لاحقاً دون فقدان السحر؟
قرر الباحثون وراء هذه الدراسة، الذين يعملون على مشروع يسمى "مزيج التدريب" (Mixture of Training أو MoT)، اختبار هذه الفكرة. لم يكتفوا بالتخمين؛ بل قاموا ببناء نموذج ذكاء اصطناعي بـ 1.3 مليار معلمة (نموذج من طراز "Gemma") وحاولوا تدريبه على شكل شرائح. بدلاً من تدريب النموذج بأكمله دفعة واحدة، قاموا بتقسيمه إلى قطعتين كبيرتين. وللتأكد من أن هاتين القطعتين ستتناسبان معاً لاحقاً، استخدموا حيلة ذكية: "سقالة" (Scaffold). تخيل مجموعة من عجلات التدريب أو إطاراً صلباً يحافظ على القطع في مكانها أثناء بنائها. لقد قاموا بتجميد هذا الإطار (الذي يسمى "المُحاذي" أو Aligner) بحيث لا يتغير، ثم قاموا بتدريب كل قطعة من الذكاء الاصطناعي داخل هذا الإطار. بهذه الطريقة، تعلمت كل قطعة "لغة" البيانات نفسها، على الرغم من أنه تم تدريبها بشكل منفصل.
كانت النتائج مزيجاً من "لقد نجح الأمر!" و"الأمر يعتمد على الظروف". وجد الفريق أنهم استطاعوا بالفعل أخذ هذه القطع المدربة بشكل مستقل، وتركيبها معاً، والحصول على ذكاء اصطناعي يعمل. ومع ذلك، في اللحظة التي قاموا فيها بتركيبها معاً، بدا الذكاء الاصطناعي مرتبكاً قليلاً وارتكب المزيد من الأخطاء (درجة "ارتباك" أو Perplexity أعلى بلغت 19.3 مقارنة بـ 15.0 في الطريقة التقليدية). لكن الجزء المذهل هو أنه بعد جلسة "ضبط" قصيرة جداً حيث تركوا النموذج بأكمله يتحدث مع نفسه لفترة وجيزة، وصل الذكاء الاصطناعي إلى نفس جودة طريقة الكتلة العملاقة التقليدية. في الواقع، وجدوا طريقة لتدريبه استخدمت نفس القدر من القدرة الحوسبية ووصلت إلى نفس الجودة تماماً كما في الطريقة القياسية.
لكن هناك عقبة. تشير الورقة البحثية إلى أن هذه الطريقة ليست عصا سحرية توفر المال للجميع فوراً. فـ "السقالة" نفسها تتطلب الكثير من الطاقة لبنائها أولاً. إذا كنت تبني ذكاءً اصطناعياً واحداً فقط، فإن السقالة تجعل العملية برمتها أكثر تكلفة من الطريقة القديمة. ومع ذلك، إذا أعدت استخدام نفس السقالة لبناء العديد من نماذج الذكاء الاصطناذائي المختلفة (مثل بناء ثلاثة أو أكثر من القلاع باستخدام نفس عجلات التدريب)، فإن التكلفة لكل قلعة تنخفض، وتصبح هذه الطريقة هي الرابحة. كما اكتشف الباحثون أنه إذا حاولت تقسيم الذكاء الاصطناعي إلى قطع صغيرة جداً، فسيصبح من الصعب تركيبها معاً، وستنخفض الجودة. لذا، ورغم أن هذه الطريقة ليست بديلاً لطريقة التدريب الضخمة "الكل في واحد" في الوقت الحالي، إلا أنها تثبت أن تقسيم تدريب الذكاء الاصطناعي إلى مهام أصغر، وقابلة لإعادة الاستخدام، ومتوازية هو أمر ممكن. إن هذا يفتح آفاقاً جديدة لتجربة الذكاء الاصطناعي، مما يجعل من السهل إصلاح الأخطاء، وإعادة تشغيل أجزاء من المهمة، ومن المحتمل تدريب نماذج أذكى في المستقبل دون الحاجة إلى حاسوب فائق بحجم مدينة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.