WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training
تقدم الورقة البحثية WDL-OPD، وهي طريقة تدريب مشترك مقيدة بالمزيج تعمل على تثبيت التقطير داخل السياسة من خلال التدريب المشترك لسياسة تدحرج مرجعية وسياسة تقييم مساعدة لمطابقة معلم مجمد عبر تباعد KL العكسي، محققةً أداءً هو الأفضل في مجاله في مهام الاستدلال الرياضي وتوليد الكود مقارنة بالنهج الحالية ذات السياسة الواحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم متدرب شاب كيفية خبز الكعكة المثالية. في الأيام الخوالي، ربما كنت ستسلمهم كتاب وصفات كتبه شيف ماهر وتطلب منهم حفظه. لكن هناك مشكلة: المتدرب لا يمارس التدريب إلا بالمكونات التي يجدها في مطبخه الخاص، والتي قد تختلف تماماً عن خزانة المكونات الراقية الخاصة بالشيف. هذا التباين يسبب ارتباكاً للمتدرب عندما يحاول الخبز أخيراً في العالم الحقيقي.
في عالم الذكاء الاصطناعي، يُسمى هذا "التقطير" (distillation). نحن نحاول تعليم ذكاء اصطناعي أصغر وأسرع (الطالب) من خلال جعله يتعلم من ذكاء اصطناائي ضخم وذكي للغاية (المعلم). عادةً، يتعلم الطالب من إجابات المعلم المثالية. لكن هناك طريقة أحدث وأذكى تسمى "التقطير على السياسة" (On-Policy Distillation - OPD) تغير قواعد اللعبة: يتعلم الطالب من خلال ممارسة محاولاته الخاصة، بينما يقوم المعلم بتصحيح تلك المحاولات المحددة في الوقت الفعلي. الأمر يشبه قيام المتدرب بخبز كعكاته الفوضوية الخاصة، بينما يتدخل الشيف لإصلاح تلك الكعكات تحديداً. المشكلة هي أن هذا يمكن أن يصبح غير مستقر. ففي كل مرة يتعلم فيها الطالب شيئاً جديداً، فإنه يغير طريقة خبزه في المرة القادمة، مما يغير ما يجب على الشيف تصحيحه، مما يخلق حلقة تغذية راجعة متذبذبة يمكن أن تجعل الطالب أسوأ بدلاً من أن تجعله أفضل.
تقدم هذه الورقة البحثية طريقة جديدة تسمى WDL-OPD لإصلاح هذا التذبذب. بدلاً من وجود طالب واحد فقط يحاول التعلم من المعلم، وضع الباحثون فريقاً من طالبين يعملان معاً. أحد الطلاب، وهو "المرتكز" (Anchor)، يقوم بكل عملية الخبز (توليد مسائل التدريب). أما الطالب الثاني، وهو "المساعد" (Auxiliary)، فيراقب نفس عملية الخبز لكنه لا يقوم بالعمل. كلاهما ينظر إلى تصحيحات المعلم، لكنهما يمزجان أفكارهما معاً لمعرفة الطريقة الأفضل للتعلم. فكر في الأمر مثل ثنائي رقص، حيث يقود أحدهما الخطوات، بينما يساعد الآخر في موازنة الإيقاع. إذا تعثر القائد، يمكن للشريك أن يمتص بعض الصدمة حتى لا ينهار الرقص بأكمله.
اختبر الباحثون هذه الفكرة على نوعين من مهام الذكاء الاصطناعي: حل المسائل الرياضية وكتابة أكواد الكمبيوتر. استخدموا نماذج تتراوح من 1.7 مليار إلى 4 مليارات "خلية دماغية" (معلمة/parameter). كانت النتائج واعدة ولكنها ليست سحرية. في الاختبارات الرياضية، أنتج فريق الطالبين الجديد أذكى طالب ذكاء اصطناعي رأوه على الإطلاق. على سبيل المثال، في اختبار رياضي صعب يسمى MATH500، حصل نموذج الطالب (4 مليارات معلمة) على 68.5% من الإجابات الصحيحة، وهي قفزة كبيرة عن أفضل نتيجة سابقة بلغت 63.0%. وفي نسخة الـ 1.7 مليار معلمة، قفزت النتيجة من 52.1% إلى 58.5%.
ومع ذلك، فإن القصة تصبح أكثر إثارة مع اختبارات كتابة الأكواد. في هذه التجارب، انهار أسلوب الطالب الواحد (الطريقة القديمة) تماماً؛ حيث بدأ الذكاء الاصطناعي في تكرار نفسه أو يصاب بالارتباك، وهي مشكلة تُعرف باسم "نمو الإنتروبيا" (entropy growth). أما فريق الطالبين، فقد تمكن من الحفاظ على استقراره لفترة كافية لإنتاج ذكاء اصطناعي قادر على كتابة الأكواد سجل 0.637 في اختبار قياسي، بينما فشلت محاولات الطالب الواحد في إنتاج أي نتيجة قابلة للاستخدام على الإطلاق.
يقول المؤلفون بحذر إنهم لم يثبتوا أن هذا هو السبب الوحيد لنجاح الطريقة. هم يقترحون فرضية مفادها: ربما يعمل الطالب الثاني كـ "ممتص للصدمات"، حيث يتحمل جزءاً من العبء الثقيل للتعلم حتى لا يضطر الطالب الرئيسي لتغيير سلوكه بشكل جذري أو سريع جداً. هذا يحافظ على استقرار عملية التعلم. لكنهم يعترفون بأنهم لا يستطيعون التأكد بنسبة 100% لأنهم لم يجروا اختباراً جنباً إلى جنب يكون عادلاً تماماً حيث تكون كل الأشياء متطابقة باستثناء عدد الطلاب. كما يشيرون إلى أن الطريقة تستهلك طاقة حوسبة أكبر لأنها تدرب نموذجين في وقت واحد.
باختصار، تشير هذه الورقة البحثية إلى أن إضافة طالب "مساعد" إلى عملية التعلم يمكن أن يجعل تدريب الذكاء الاصطناعي أكثر استقراراً وفعالية، خاصة عندما يحاول الذكاء الاصطناعي تعلم مهام صعبة مثل البرمجة أو الرياضيات المتقدمة. هي لا تدعي أنها حلت جميع مشاكل تدريب الذكاء الاصطناعي، لكنها تقدم أداة جديدة ومثيرة للاهتمام تبدو وكأنها توقف عملية التعلم من الانهيار، على الأقل في الاختبارات المحددة التي أجروها. يعتقد المؤلفون أن الخطوة التالية هي إجراء المزيد من التجارب المنضبطة لإثبات سبب عمل فريق الطالبين بشكل جيد تماماً، وفصل فوائد وجود عقلين عن العوامل الأخرى مثل كيفية إعداد التدريب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.