Consolidating Rewarded Perturbations for LLM Post-Training
تقدم هذه الورقة CoRP، وهي طريقة ما بعد التدريب خالية من التدرج تعمل على دمج الاضطرابات الغاوسية الموزونة بالمكافأة في تحديث واحد للنموذج عبر استغلال البنية منخفضة الرتبة، مما يحقق مكاسب كبيرة في الأداء مقارنة بالنموذج الأساسي مع القضاء على عبء الاستدلال متعدد الممرات الذي تفرضه النهج القائمة على المجموعات مثل RandOpt.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث بعنوان "دمج الاضطرابات ذات المكافأة لتدريب النماذج اللغوية الكبيرة ما بعد التدريب" (CoRP)، مترجمة إلى لغة يومية مع استخدام تشبيهات إبداعية.
المشكلة الكبرى: معضلة "كثرة الطهاة"
تخيل أن لديك طباخاً بارعاً ومدرباً جيداً (النموذج الأساسي - Base Model) يمكنه طبخ أي شيء تقريباً. أنت تريد تعليمه كيفية صنع طبق محدد ومثالي (مثل مسألة رياضية معقدة أو قطعة من البرمجيات).
عادةً، لتعليم الطباخ، تستخدم التعلم المعزز (RL). تجعله يطبخ، ثم تتذوق الطعام، وإذا كان جيداً، تقوم بتعديل وصفته قليلاً. هذا يشبه تعديل الوصفة خطوة بخطوة باستخدام التدرجات (gradients). هذا الأسلوب فعال، لكنه بطيء ومكلف حاسوبياً.
مؤخراً، ظهرت طريقة جديدة تسمى RandOpt. وبدلاً من تعديل الوصفة خطوة بخطوة، تقول RandOpt: "دعونا فقط نلقي بمجموعة من التوابل العشوائية على وصفة الطباخ الأساسية ونرى ماذا سيحدث."
- تقوم بإنشاء 5,000 نسخة مختلفة قليلاً من الطباخ (عن طريق إضافة "اضطرابات" أو ضوضاء عشوائية إلى أوزان النموذج).
- تختبر جميع النسخ الـ 5,000 على بعض الأطباق التجريبية.
- تختار أفضل 50 نسخة قامت بالطبخ بشكل أفضل.
- العقبة: لتقديم الوجبة للزبون، عليك أن تطلب من جميع هؤلاء الطهاة الـ 50 "المتخصصين" طبخ الطبق، ثم تأخذ تصويتاً على الإجابة النهائية.
- الإيجابيات: إنها ذكية جداً.
- السلبيات: بطيئة للغاية. يجب عليك تشغيل 50 طباخاً لكل وجبة واحدة. كما لا يمكنك دمجهم بسهء في "طباخ ماهر واحد" لأن "شخصياتهم" (الأوزان) قد تتعارض مع بعضها البعض.
سؤال الورقة: هل يمكننا دمج الفريق؟
سأل المؤلفون: "هل يمكننا أخذ هؤلاء الـ 50 متخصصاً ناجحاً ودمجهم في طباخ واحد فقط، بحيث لا نضطر لتشغيل سوى طباخ واحد بدلاً من 50؟"
إذا قمنا ببساطة بمتوسط وصفاتهم، فغالباً ما ستفشل العملية. لماذا؟ لأنه رغم أنهم جميعاً بارعون في الطبخ، إلا أنهم قد يكونون قد تعلموا إصلاح مشكلات مختلفة بطرق مختلفة. إذا خلطتهم بشكل عشوائي، فستلغي إصلاحاتهم بعضها البعض، وسينتهي بك الأمر بطباخ أسوأ مما بدأت به.
الاكتشاف: "السر الخفي ذو الرتبة المنخفضة"
قبل بناء حلهم، قام المؤلفون بتجربة "تقسيم النصف". أخذوا الـ 5,000 طباخاً عشوائياً، وقسموهم إلى نصفين، ونظروا إلى أفضل أداء بينهم.
وجدوا نمطاً هندسياً مفاجئاً: على الرغم من أن الطهاة تم إنشاؤهم عشوائياً، إلا أن "جودتهم" لم تكن مشتتة في كل مكان. بدلاً من ذلك، كانت جميع التحسينات المفيدة مركزة في "فضاء فرعي" (subspace) محدد وضيق (مثل ممر ضيق من الاحتمالات) داخل المطبخ الضخم.
فكر في الأمر كالتالي: إذا رميت 1,000 سهم على جدار ضخم، قد تبدو عشوائية. ولكن إذا نظرت عن كثب، ستدرك أن كل سهم "جيد" قد استقر داخل دائرة صغيرة غير مرئية. وجدت الورقة أن هذه "الدائرة" (الهيكل ذو الرتبة المنخفضة) موجودة في كل حالة اختبروها، رغم أن متوسط اتجاه السهام لم يكن دائماً هو نفسه.
الحل: CoRP (دمج الاضطرابات ذات المكافأة)
بنى المؤلفون أداة تسمى CoRP لدمج هؤلاء المتخصصين في نموذج واحد قابل للاستخدام. وهي تعمل عبر عملية توظيف مكونة من ثلاث خطوات:
صائد المواهب (التجميع المرجح بالمكافأة):
أولاً، تنظر CoRP إلى الطهاة الأعلى أداءً وتسأل: "ما هو الخيط المشترك؟" إنها تنشئ "اتجاهاً مقترحاً" بناءً على من حصلوا على أعلى الدرجات. هذا يشبه قول: "حسناً، يبدو أن أفضل الطهاه يستخدمون المزيد من الثوم".فحص التوافق (إعادة الوزن):
هذه هي الخطوة السحرية. CoRP لا تستمع فقط لطهاة "الثوم". بل تتحقق من كل متخصص لترى ما إذا كان أسلوبه يتناسب مع الاتجاه المقترح.- إذا كان الطباخ بارعاً في الثوم ولكنه يصر أيضاً على إضافة الشوكولاتة (وهو ما يتعارض مع موضوع الثوم)، فإن CoRP تقول: "لا، أنت غير متوافق جداً". وتقوم بخفض وزنه.
- إذا كان الطباخ بارعاً في الثوم ولا يضيف أي شيء غريب، فإن CoRP تقول: "نعم، أنت مناسب تماماً". وتقوم بزيادة وزنه.
- تشبيه: تخيل أنك تحاول بناء منزل. لديك 50 مهندساً معمارياً رائعاً. أنت لا تدمج مخططاتهم ببساطة (لأن ذلك سيؤدي إلى فوضى). بل تختار اتجاهاً تصميمياً معيناً، ثم توظف فقط المهندسين الذين تدعم أفكارهم المحددة ذلك الاتجاه دون تعارض.
مفتش السلامة (بوابة التحقق من البيانات المستبعدة):
قبل اعتماد الطباخ الجديد، تختبر CoRP الوصفة الجديدة على أطباق لم يسبق للطهاة رؤيتها من قبل.- إذا كان الطباخ الجديد أفضل فعلياً في هذه الأطباق الجديدة، توافق CoRP على التحديث.
- إذا كان الطباخ الجديد أسوأ (أو بنفس المستوى)، تقول CoRP: "لا، لنبقى على الطباخ الأصلي". فهي ترفض إجراء أي تغيير لا يقدم فائدة حقيقية.
النتائج: طباخ واحد، تمريرة واحدة، مكاسب كبيرة
اختبرت الورقة هذا الأسلوب على 5 نماذج مختلفة (تتراوح من الصغيرة إلى الكبيرة) و5 مهام مختلفة (رياضيات، برمجة، كتابة إبداعية).
- السرعة: تحتاج طريقة RandOpt (فريق الـ 50 طباخاً) إلى 50 تمريرة أمامية (forward passes) للإجابة على سؤال واحد. بينما تحتاج CoRP إلى تمريرة واحدة فقط. وهذا يعني أنها أسرع بـ 50 مرة عند الاستخدام.
- الكفاءة: احتاجت CoRP إلى عُشر (1/10) القوة الحوسبية (ميزانية الاضطراب) التي استخدمتها RandOpt للتدريب.
- الأداء:
- حسنت CoRP النموذج الأساسي بمتوسط 8.1 نقطة.
- استعادت أكثر من نصف مكاسب الأداء التي حققها فريق الـ 50 طباخاً الضخم، ولكن باستخدام نموذج واحد.
- في بعض الحالات (مثل الكتابة الإبداعية)، تفوقت CoRP فعلياً على نهج أفضل طباخ منفرد (RandOpt K=1) واقتربت جداً من أداء فريق الـ 50 طباخاً.
الملخص باختصار
تظهر الورقة أنك لست بحاجة إلى لجنة من 50 نموذج ذكاء اصطناعي للحصول على نتائج رائعة. من خلال إيجاد "الهندسة المشتركة الخفية" في كيفية تحسن هذه النماذج، ومن خلال تصفية النماذج التي تتعارض مع بعضها بعناية، يمكنك دمجهم في نموذج واحد فائق الكفاءة.
الأمر يشبه إدراك أنه بدلاً من توظيف 50 مستشاراً مختلفاً لحل مشكلة ما، يمكنك توظيف خبير واحد استخلص أفضل الأفكار من الخمسين جميعاً، دون الفوضى الناتجة عن جدالهم مع بعضهم البعض. أنت تحصل على حكمة الجماعة، ولكن بسرعة الشخص الواحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.