SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
تقترح الورقة البحثية إطار عمل SMOPD، وهو إطار عمل لتقطير السياسات عبر الإنترنت يعتمد على مرحلتين هما "التخصص والدمج"، حيث يقوم بتدريب نماذج معلمة متخصصة في المكافآت ودمجها في سياسة طالب واحدة لموازنة إشارات المكافآت المتعددة ذات المستويات المتباينة من الكفاءة بفعالية، متفوقاً بذلك على الأساليب الحالية مثل GDPO عبر مختلف هياكل النماذج الأساسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ليكون مساعداً مثالياً. تريد منه أن يكون مفيداً، وغير ضار، وقادراً أيضاً على اتباع قواعد التنسيق الصارمة، مثل استخدام وسوم محددة أو استدعاء الأدوات الصحيحة. هذا هو عالم التعلم المعزز من التعليقات البشرية (RLHF). فكر في الأمر كتدريب كلب: أنت تعطيه مكافأة (جائزة) عندما يفعل شيئاً جيداً، وهو يتعلم تكرار هذا السلوك. ولكن الجزء الصعب هنا هو: ماذا لو أردت من الكلب أن يجلس، ويظل في مكانه، ويحضر الكرة، كل ذلك في آن واحد؟ إذا أعطيته مجرد مكافأة واحدة كبيرة للقيام بكل شيء، فقد يصاب بالارتباك. قد يدرك أن "إحضار الكرة" هي الطريقة الأسهل للحصول على المكافأة، لذا سيتجاهل "الجلوس" و"البقاء في مكانه" تماماً. في عالم الذكاء الاصطناي، يُسمى هذا حجب المكافأة (reward masking)، حيث تطغى إشارة قوية واحدة على الإشارات الأخرى.
مؤخراً، حاول العلماء إصلاح ذلك عبر إعطاء الذكاء الاصطناي درجات منفصلة لكل مهمة قبل دمجها، وهي طريقة تُسمى GDPO. كان الأمر يشبه إعطاء الكلب بطاقة تسجيل للجلوس، وأخرى للبقاء في مكانه، وثالثة لإحضار الكرة، ثم جمعها معاً. لكن كانت هناك عقبة: بعض المهام سهلة القياس (مثل "هل أحضرت الكرة؟")، بينما مهام أخرى نادرة وصعبة الملاحظة (مثل "هل بقيت ساكناً تماماً لمدة 10 ثوانٍ؟"). إذا حصل الذكاء الاصطناي على مليون درجة لـ "إحضار الكرة" ودرجة واحدة فقط لـ "البقاء في المكان"، فستضيع إشارة "البقاء في المكان" وسط الضجيج. سيتعلم الذكاء الاصطناي إحضار الكرة ببراعة ولكنه سينسى البقاء ساكناً. هذه الورقة البحثية، SMOPD، تطرح سؤالاً بسيطاً: كيف نضمن تعلم الذكاء الاصطناي للمهارات النادرة والصعبة الملاحظة دون أن ينسى المهارات السهلة؟
المشكلة: "الفصل الدراسي الصاخب"
تخيل فصلاً دراسياً يحاول فيه معلم تعليم الطلاب شيئين في آن واحد: كيفية حل مسائل رياضية معقدة (مكافأة "كثيفة" لأن هناك خطوات كثيرة يجب إتقانها) وكيفية رفع أيديهم قبل التحدث (مكافأة "متفرقة" لأنها تحدث مرة واحدة فقط في الحصة).
إذا صرخ المعلم بإجمالي الدرجات في نهاية اليوم، سيركز الطلاب تماماً على الرياضيات. سيتجاهلون رفع الأيدي لأن، من الناحية الإحصائية، نقاط الرياضيات موجودة في كل مكان، بينما نقاط رفع الأيدي نادرة. حتى لو حاول المعلم موازنة نقاط رفع الأيدي بالتساوي، فلن يسمعها الطلاب بوضوح كافٍ وسط ضجيج درجات الرياضيات. كانت نماذج الذكاء الاصطناي تواجه هذا المشكل بالضبط: كانت بارعة في المهام "الكثيفة" ولكنها سيئة جداً في المهام "المتفرقة"، مثل تنسيق إجاباتها بشكل صحيح أو أن تكون غير ضارة عندما يتطلب الأمر ذلك.
الحل: التخصص، ثم الدمج
يقترح مؤلفو هذه الورقة استراتيجية ذكية من خطوتين تسمى SMOPD (التقطير المستمر للسياسة عبر التخصص والدمج). بدلاً من محاولة تعليم طالب واحد ليكون مثالياً في كل شيء في نفس الوقت، يقومون بإنشاء فريق من المتخصصين ثم دمج مهاراتهم.
الخطوة 1: التخصص (المعلمون المتخصصون)
أولاً، يقوم الباحثون بتدريب عدة نماذج "معلمة" مختلفة. ولكن هنا تكمن الخدعة: كل معلم يُطلب منه التركيز فقط على مهارة واحدة محددة.
- المعلم (أ) يُقال له: "تجاهل الرياضيات! مهمتك الوحيدة هي التأكد من أن الطلاب يرفعون أيديهم". وللقيام بذلك، يحصل المعلم على مكافأة ضخمة مقابل كل مرة تُرفع فيها اليد، مما يجعل هذه الإشارة مستحيلة التجاهل.
- المعلم (ب) يُقال له: "تجاهل رفع الأيدي! مهمتك الوحيدة هي حل المسائل الرياضية".
لأن كل معلم يركز بشدة، يصبح خبيراً في وظيفته المحددة. المعلم (أ) يتعلم مهارة "رفع اليد" النادرة ببراعة لأنها الشيء الوحيد الذي يهمه. والمعلم (ب) يصبح عبقرياً في الرياضيات. هما لا يحاولان الموازنة بين الاثنين؛ بل يصبان كل تركيزهما على جانب واحد.
الخطوة 2: الدمج (نموذج "الطالب")
الآن، يستدعي الباحثون نموذج "طالب" جديد. هذا الطالب لا يستمع لمعلم واحد فقط؛ بل يستمع إلى جميع المعلمين في نفس الوقت.
- عندما يكتب الطالب إجابة، فإنه ينظر إلى ما كان سيفعله المعلم (أ) (رافع الأيدي) وما كان سيفعله المعلم (ب) (عبقري الرياضيات).
- يتعلم الطالب نسخ أفضل الأجزاء من كل منهما. إذا كان المعلم (أ) واثقاً بشأن التنسيق، ينسخ الطالب ذلك. وإذا كان المعلم (ب) واثقاً بشأن الرياضيات، ينسخ الطالب ذلك أيضاً.
الأهم من ذلك، يمتلك الطالب أيضاً "شبكة أمان" (تسمى المرساة - anchor) تتحقق من الإجابة النهائية للتأكد من أنها لا تزال إجابة جيدة وشاملة، وليست مجرد عملية نسخ ولصق. هذا يضمن أن يتعلم الطالب موازنة المهارات بشكل طبيعي، بدلاً من أن يكون مجرد مزيج مشوش من شخصين مختلفين.
ما وجدوه
اختبر الفريق هذه الفكرة على نماذج ذكاء اصطناي بأحجام مختلفة (1.5 مليار، 3 مليارات، و7 مليارات معلمة) باستخدام تحديين مختلفين تماماً:
- استدعاء الأدوات (Tool Calling): التأكد من أن الذكاء الاصطناي يستخدم الأدوات الصحيحة (مثل الآلة الحاسبة أو محرك البحث) و ينسق المخرجات بدقة (مثل استخدام وسوم XML محددة).
- السلامة (Safety): التأكد من أن الذكاء الاصطناي مفيد ولكن غير ضار.
كانت النتائج مبهرة. في اختبار "استدعاء الأدوات"، نجحت الطرق القديمة (GDPO) في ضبط التنسيق بنسبة 8.8% فقط لأن إشارة التنسيق كانت متفرقة جداً. أما مع SMOPD، فقد ضبطت النماذج التنسيق بنسبة 97.5%! والأكثر إثارة للدهشة، أنها لم تفقد مهاراتها الرياضية في هذه العملية. حقق نموذج الـ 1.5 مليار تحسناً بنسبة 48% في درجته الإجمالية مقارنة بأفضل طريقة سابقة.
وفي اختبارات "السلامة"، حيث تتصادم أحياناً أهداف كون النموذج مفيداً وغير ضار، تفوق SMOPD باستمرار على الطرق الأخرى عبر جميع أحجام النماذج. لقد تمكن من تعلم السلوكيات "غير الضارة" النادرة دون التضحية بقدرته على أن يكون مفيداً.
لماذا هذا مهم؟
تشير الورقة إلى أن الطريقة القديمة لمحاولة موازنة جميع المكافآت في جلسة تدريب واحدة بدأت تصل إلى طريق مسدود. لا يمكنك مجرد تعديل الأوزان لجعل كل شيء مثالياً؛ فأحياناً تكون المهارة نادرة جداً بحيث لا يمكن تعلمها وسط الزحام. من خلال السماح للذكاء الاصطناي بـ "التخصص" أولاً —أي السماح له بأن يصبح بارعاً جداً في شيء واحد بمعزل عن غيره— ثم "دمج" تلك المهارات، يمكن للذكاء الاصطناي تعلم الأشياء الصعبة والنادرة دون أن ينسى الأشياء السهلة.
الأمر يشبه إدراك أنه لبناء أوركسترا مثالية، لا ينبغي أن تطلب من الجميع عزف كل شيء في وقت واحد. بدلاً من ذلك، تجعل عازفي الكمان يتدربون على مقطوعاتهم بمفردهم حتى يتقنوها، وتفعل الشيء نفسه مع عازفي الطبول، ثم تجمعهم معاً ليعزفوا السيمفونية. النتيجة هي أداء يُسمع فيه كل آلة بوضوح، وتكون الموسيقى أجمل مما توقع الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.