💬 NLP

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

تُظهر هذه الورقة أن التعلم التعزيزي (RL) يتفوق بشكل كبير على الضبط الدقيق الخاضع للإشراف في دمج النماذج من خلال التخفيف من حدة تضارب المهام عبر تحديثات متدرجة أصغر، وهدف تحسين تقاربي يقلل من التغييرات المتضاربة في المعلمات، والتحسين المشترك للأمثلة الإيجابية والسلبية لضمان أداء قوي وغير منحاز.

المؤلفون الأصليون: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

نُشر 2026-07-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في مكتبة ضخمة حيث كل كتاب هو عبارة عن عقل روبوت فائق الذكاء، يُعرف باسم "النموذج اللغوي الكبير" (LLM). هذه العقول مذهلة، لكنها غالباً ما تُدرب لتكون خبيرة في شيء واحد فقط: أحدهم يعشق الرياضيات، والآخر ساحر في البرمجة، والثالث بارع في إلقاء النكات. وأحياناً، نريد دمج هذه العقول في "عقل خارق" واحد يمكنه القيام بكل شيء في آن واحد. تُسمى هذه العملية "دمج النماذج" (model merging). فكر في الأمر كأنك تحاول خلط نوعين مختلفين من العصائر المخفوقة (smoothies)—واحد بالفراولة والآخر بالسبانخ—في كوب واحد. عادةً، عندما تخلط بينهما، تتصادم النكهات، وينتهي بك الأمر بمزيج غليظ وغير قابل للتمييز حيث لا طعم للفراولة ولا للسبانخ بشكل صحيح. في عالم الذكاء الاصطناعي، يُسمى هذا "الحثيث" (sludge) بـ "صراع المهام" (task conflict)، حيث تعطل معرفة مهمة واحدة معرفة المهمة الأخرى.

لفترة طويلة، حاول العلماء اكتشاف كيفية دمج هذه العقول دون إفساد النكهة. عادةً ما يأخذون نموذجين تم تعليمهما باستخدام طريقة تسمى "الضبط الدقيق الخاضع للإشراف" (SFT). يمكنك التفكير في SFT كمعلم صارم يعطي طالباً كتاباً مدرسياً يحتوي على الإجابات الصحيحة ويقول له: "احفظ هذا بالضبط". لكن مؤخراً، أصبحت طريقة جديدة تسمى "التعلم التعزيزي" (RL) شائعة جداً. الـ RL يشبه إلى حد كبير ألعاب الفيديو: يحاول الذكاء الاصطناعي القيام بحركات، ويحصل على نقاط مقابل الحركات الجيدة، ويتعلم من خلال التجربة والخطأ لرفع رصيده من النقاط إلى أقصى حد. السؤال الكبير هو: إذا دربنا هذه العقول الخبيرة باستخدام أسلوب "ألعاب الفيديو" هذا (RL) بدلاً من أسلوب "الكتاب المدرسي الصارم" (SFT)، فهل ستندمج مع بعضها البعض بشكل أفضل؟

هذه الورقة البحثية، التي تحمل عنوان "القليل الكافي خير من الكثير الزائد" (Enough Is as Good as a Feast)، تغوص في أعماق هذا السؤال. فقد أخذ الباحثون نماذج مُدربة بكلتا الطريقتين وحاولوا دمجها بطرق مختلفة، واختبروها في خمس مهارات مختلفة: الرياضيات، البرمجة، اتباع التعليمات، حل الألغاز المنطقية، وتصنيف العناصر. ووجدوا شيئاً مفاجئاً: النماذج المدربة بأسلوب التعلم التعزيزي (RL) أفضل بكثير في عملية الدمج. فبينما تحولت نماذج الـ SFT إلى ذلك "المزيج الغليظ" عند خلطها، وفقدت ما يصل إلى 65% من قدرتها في مهام معينة، ظلت نماذج الـ RL حادة وذكية بشكل مدهش، ولم تفقد إلا القليل جداً من أدائها.

لماذا يحدث هذا؟ يقترح المؤلفون ثلاثة أسباب، مستخدمين تشبيهات ذكية خاصة بهم. أولاً، يستخدم الـ RL "بيانات السياسة المتبعة" (on-policy data)، مما يعني أن الذكاء الاصطناعي يتعلم من محاولاته الأخيرة بدلاً من كتاب مدرسي ثابت. هذا يجعل "خطوات التعلم" صغيرة ولطيفة، بحيث لا يمسح الذكاء الاصطناعي بالخطأ المعرفة التي يمتلكها بالفعل من المهام الأخرى. ثانياً، يمتلك الـ RL "زر إيقاف" طبيعي؛ فبينما يصبح الذكاء الاصطناعي بارعاً حقاً في مهمة ما، تصبح التحديثات التي يجريها على دماغه أصغر فأصغر. تسمي الورقة هذه الفكرة بأن "القليل الكافي خير من الكثير الزائد". فبمجرد أن يتعلم الذكاء الاصطناعي ما يكفي للقيام بالمهمة جيداً، يتوقف عن إجراء تغييرات كبيرة ومزعجة. في المقابل، يستمر الـ SFT في إجراء تغييرات كبيرة حتى عندما يكون النموذج مثالياً بالفعل، مما يسبب فوضى عند محاولة دمج نموذج آخر معه. أخيراً، يتعلم الـ RL من "الأمثلة الجيدة والأمثلة السيئة" (العينات الإيجابية والسلبية) معاً. يساعد هذا الذكاء الاصطناعي ليس فقط على معرفة ما يجب فعله، بل أيضاً ما لا يجب فعله، مما يخلق مجموعة تعليمات أكثر نظافة وتوازناً لا تتصادم مع المهام الأخرى.

باختصار، تقترح الورقة أنه إذا كنت تريد بناء ذكاء اصطناعي متعدد المواهب ومتنوع عبر خلط خبراء مختلفين معاً، فإن تدريبهم باستخدام التعلم التعزيزي (RL) يشبه استخدام يد لطيفة ودقيقة لخلط العصير، بينما الطريقة التقليدية تشبه إلقاء المكونات في الخلاط على سرعة عالية. والنتيجة؟ عقل خارق أكثر قدرة وجاذبية.

ملخص تقني: القليل كافٍ كالكثير (Enough is as Good as a Feast)

بيان المشكلة

برز دمج النماذج كتقنية حاسمة لتوحيد عدة نماذج لغوية كبيرة (LLMs) متخصصة في نموذج موحد واحد دون الحاجة إلى الوصول إلى بيانات التدريب الأصلية أو إعادة التدريب المكلفة. ومع ذلك، فإن التحدي المركزي في هذه العملية هو تضارب المهام (task conflict): فعند دمج المعلمات من نماذج تم ضبطها بدقة بشكل مستقل، يؤدي التداخل بينها غالبًا إلى تدهور كبير في الأداء.

بينما ركزت الأبحاث الحديثة على تطوير استراتيجيات دمج أفضل (مثل Task Arithmetic و TIES-Merging و DARE)، فقد تم إغفال تأثير نموذج التدريب (training paradigm) المستخدم لإنشاء النماذج المصدر بشكل كبير. تفترض معظم الأعمال الحالية أن النماذج يتم تدريبها عبر الضبط الدقيق الخاضع للإشراف (SFT). يبحث هذا البحث فيما إذا كان الاختيار بين SFT والتعلم التعزيزي (RL) كنموذج للتدريب اللاحق يؤثر على مدى عرضة النماذج لتضاربات المهام أثناء عملية الدمج.

المنهجية

أجرى المؤلفون تحليلاً تجريبيًا ونظريًا شاملاً يقارن بين النماذج التي تم ضبطها بدقة باستخدام SFT وتلك التي تم ضبطها باستخدام RL (تحديدًا PPO و GRPO و REINFORCE++).

الإعداد التجريبي

النماذج الأساسية: Llama-3.2-3B، و Llama-3.1-8B، و Mistral-Small-3-24B.
المهام: خمس مهام تمثيلية تسمح بالتحقق التلقائي: الاستدلال الرياضي، توليد الكود، اتباع التعليمات، الألغاز المنطقية، والتصنيف (Ranking).
استراتيجيات الدمج: قيمت الدراسة أربع طرق للدمج: Model Averaging، و TIES-Merging، و Task-Arithmetic، و DARE+TIES.
البروتوكول: تم إجراء دمج زوجي بين النماذج التي تم ضبطها بدقة على مهام مختلفة لقياس الحفاظ على الأداء.

التحليل النظري والتجريبي

لتفسير الاختلافات الملحوظة، حلل المؤلفون ثلاث آليات محددة تميز RL عن SFT:

البيانات المتوافقة مع السياسة (On-Policy Data): مقارنة معايير التدرج (gradient norms) للتحديثات المستمدة من بيانات On-policy (في RL) مقابل مجموعات البيانات الثابتة غير المتصلة (في SFT).
ديناميكيات التحسين الجوهرية: تحليل نظري لكيفية سلوك أهداف RL (تحديدًا دالة الميزة/advantage function) مع تقارب التدريب مقارنة بالتحديثات ذات الكثافة الثابتة في SFT.
العينات الإيجابية مقابل السلبية: تجربة محكومة تعزل تأثير العينات السلبية من خلال إنشاء نسخة "RL-Pos" حيث يتم تصفير مزايا العينات السلبية.

النتائج الرئيسية

1. تفوق الحفاظ على الأداء في نماذج RL

عبر جميع المهام الخمس، واستراتيجيات الدمج الأربع، وهياكل النماذج الأساسية الثلاثة، أظهرت النماذج المدربة بـ RL باستمرار تدهورًا أقل بكثير في الأداء بعد الدمج مقارنة بالنماذج المدربة بـ SFT.

حجم التحسن: في مهمة "الألغاز" (Puzzle)، عانت نماذج SFT من انخفاض في الأداء وصل إلى 65% مع بعض طرق الدمج، بينما حدت نماذج RL من الخسائر لتكون أقل من 10% في معظم الحالات.
العمومية: كانت ميزة RL قائمة بغض النظر عن خوارزمية RL المحددة المستخدمة (PPO، GRO، REINFORCE++) أو حجم النموذج الأساسي.

2. الآليات التي تخفف من تضاربات المهام

يحدد البحث ثلاثة عوامل رئيسية تساهم في قوة RL:

أحجام تدرج أصغر عبر البيانات المتوافقة مع السياسة: يعتمد RL على بيانات يتم أخذ عينات منها من النموذج الحالي، مما يتوافق بشكل وثيق مع توزيع النموذج. ينتج عن ذلك معايير تحديث معلمات أصغر بكثير مقارنة بـ SFT (على سبيل المثال، في المهام الرياضية، كانت معايير تحديث SFT حوالي 6.5 مقابل 0.78 لـ RL). تقلل التحديثات الأصغر من خطر الكتابة فوق المعرفة المكتسبة من مهام أخرى.
التقارب التكيفي ("القليل كافٍ كالكثير"): يوضح التحليل النظري (النظرية 1 و 2) أنه مع تقارب تدريب RL، تقترب الميزة المتوقعة ( $A$ ) من الصفر. وبناءً على ذلك، تتضاءل magnitude تحديثات المعلمات بشكل طبيعي. في المقابل، يطبق SFT التحديثات بكثافة ثابتة بغض النظر عن التقارب. هذه الخاصية الجوهرية لـ RL تقلل تدريجيًا من عدد وحجم تحديثات المعلمات المتضاربة.
التحسين المشترك للعينات الإيجابية والسلبية: يعمل RL على التحسين عبر كل من الأمثلة الإيجابية (المكافأة العالية) والسلبية (المكافأة المنخفضة). أظهرت التجارب التي قارنت بين RL الكامل و "RL-Pos" (العينات الإيجابية فقط) أن تضمين العينات السلبية يؤدي إلى تحديثات أكثر عدم انحياز، واستقرار أعلى في التقارب، وتقليل أكبر في التضاربات بين المهام.

3. تصور مشهد الأداء

كشف تصور مشهد الخسارة (loss landscape) حول المعلمات المدمجة أنه بينما يتمتع كل من SFT و RL بالمتانة تجاه الضوضاء العشوائية، فإن نماذج SFT تعاني من تدهور شديد عند الاضطراب في اتجاه التحديثات الناجمة عن المهمة (الدمج مع مهمة أخرى). ومع ذلك، تحافظ نماذج RL على أداء مستقر في هذه الاتجاهات، مما يشير إلى أن معلماتها المتعلمة أكثر تعامدًا مع المهام (task-orthogonal) وأقل تشابكًا.

المساهمات الرئيسية

اكتشاف النموذج: يثبت البحث أن النماذج المدربة بـ RL هي بطبيعتها أكثر ملاءمة لدمج النماذج من النماذج المدربة بـ SFT، وهي نتيجة تصمد أمام مختلف طرق الدمج، والخواروات، والنماذج الأساسية.
التفسير الآلي: من خلال التحليل التجريبي والنظري، يعزو المؤلفون هذا التفوق إلى ثلاثة عوامل: التأثير المثبت للبيانات المتوافقة مع السياسة، والطبيعة ذاتية التضاؤل لتحديثات RL أثناء التقارب، وتأثير تقليل التضارب الناتج عن التحسين المشترك للعينات الإيجابية والسلبية.
الرؤية الاستراتيجية: يشير العمل إلى أن RL ليس مجرد بديل لـ SFT في عملية المحاذاة (alignment)، بل يشكل نموذج تدريب أكثر متانة بشكل جوهري للتدريب متعدد المهام في النماذج التأسيسية، مما يوفر مسارًا قابلًا للتوسع لبناء نماذج عامة دون الحاجة لإعادة التدريب من الصفر.

الأهمية

يجادل البحث بأن اختيار نموذج التدريب اللاحق هو عامل حاسم، وإن كان لم يُقدر حق قدره سابقًا، في نجاح دمج النماذج. ومن خلال إثبات أن RL يخفف تضارب المهام بشكل طبيعي، يقدم المؤلفون منظورًا جديدًا حول كيفية بناء نماذج لغوية كبيرة قوية وعامة. يتحدى هذا الاكتشاف التركيز السائد على استراتيجيات الدمج وحدها، ويسلط الضوء على أهمية ديناميكيات التدريب التي تسبق عملية الدمج. تشير النتائج إلى أنه بالنسبة للتطبيقات التي تتطلب دمج قدرات متخصصة متعددة، فإن استخدام النماذج المدربة بـ RL كمصدر للدمج يوفر أساسًا متفوقًا للحفاظ على الأداء عبر المهام المتنوعة.