💬 NLP

Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging

تقدم هذه الورقة البحثية RESM، وهي طريقة دمج مهام أحادية تعتمد على تعزيز إعادة الأوزان، تتفوق على أساليب خلط البيانات ودمج النماذج الحالية من خلال حل النزاعات بين النفعية والصدق وعدم الضرر بشكل فعال لتحقيق التوازن في المحاذاة في النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

نُشر 2026-02-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "خلط البيانات أم دمج النماذج؟ موازنة الفائدة، والأمانة، وعدم الضرر للنماذج اللغوية الكبيرة عبر دمج النماذج" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "التنين ذو الرؤوس الثلاثة"

تخيل أنك تقوم بتدريب روبوت عملاق (نموذج لغوي كبير، أو LLM) ليكون المساعد المثالي. لكي يكون هذا الروبوت "مسؤولاً" حقاً، يجب عليه إتقان ثلاث مهارات صعبة في آن واحد:

الفائدة (Helpfulness): يجب أن يجيب على أسئلتك بدقة ويكون مفيداً.
الأمانة (Honesty): يجب ألا يكذب أو يختلق معلومات (يهلوس).
عدم الضرر (Harmlessness): يجب ألا يقول أي شيء سام، أو خطير، أو غير أخلاقي.

المشكلة هي أن هذه المهارات الثلاث غالباً ما تتصارع مع بعضها البعض.

إذا دربت الروبوت ليكون مفيداً للغاية، فقد يحاول جاهداً الإجابة على سؤالك مما قد يجعله يكذب دون قصد (كسر الأمانة) أو يقترح شيئاً خطيراً (كسر عدم الضرر).
إذا دربته ليكون آمناً للغاية، فقد يصبح حذراً جداً لدرجة تمنعه من الإجابة على الأسئلة البسيطة (كسر الفائدة) أو يكذب لتجنب المشاكل (كسر الأمانة).

يُسمى هذا "ثلاثية الـ 3H" (3H Trilemma). تسأل الورقة البحثية: كيف نبني روبوتاً جيداً في الثلاثة معاً دون أن يلغي أحدها الآخر؟

الاستراتيجيتان الرئيسيتان: خلط المكونات أم دمج القوى الخارقة؟

تقارن الورقة بين طريقتين لحل هذه المشكلة.

1. نهج "السموذي" (خلط البيانات - Data Mixture)

الفكرة: تأخذ خلاطاً ضخماً. تضع فيه دلواً من القصص "المفيدة"، ودلواً من الحقائق "الأمينة"، ودلواً من التعليمات "الآمنة". تخلطها جميعاً في "سموذي" واحد ضخم وتدرب الروبوت على هذا الحساء المختلط.
المشكلة: من الصعب ضبط الوصفة بدقة. إذا وضعت الكثير من عصير "الأمان" سيصبح الروبوت مملاً. وإذا وضعت الكثير من عصير "الفائدة" سيصبح متهوراً. كما أن جمع كل هذه الدلاء المختلفة من البيانات يتطلب الكثير من الخبراء البشريين وقوة حوسبة هائلة. الأمر يشبه محاولة خبز كعكة مثالية عبر التخمين بالنسب الدقيقة للدقيق والسكر والملح.

2. نهج "فرانكنشتاين" (دمج النماذج - Model Merging)

الفكرة: بدلاً من خلط المكونات، تقوم بتدريب ثلاثة روبوتات منفصلة أولاً:

الروبوت (أ) هو خبير في الفائدة.
الروبوت (ب) هو خبير في الأمانة.
الروبوت (ج) هو خبير في عدم الضرر.

بعد ذلك، وبدلاً من إعادة تدريبهم، تأخذ "أدمغتهم" (إعداداتهم الداخلية، أو المعلمات الخاصة بهم) وتخيطها معاً لتكوين روبوت جديد واحد.
الميزة: هذه الطريقة أسرع وأرخص. فأنت لا تحتاج لإعادة تدريب الشيء من الصفر، بل تحتاج فقط لمعرفة كيفية خياطة الأدمغة معاً دون أن تتصارع.

ما وجدته الورقة البحثية

قام الباحثون ببناء "مطبخ تجريبي" لمعرفة أي طريقة تعمل بشكل أفضل. جربوا 15 طريقة مختلفة لخياطة الأدمغة وقارنوها بمنهج "السموذي" (خلط البيانات).

الاكتشاف الكبير:
خياطة الأدمغة معاً (دمج النماذج) تعمل بشكل عام أفضل من خلط البيانات (خلط البيانات).

لماذا؟ عندما تخلط البيانات، يصاب الروبوت بالارتباك بسبب التعليمات المتضاربة (مثل: "كن مفيداً!" مقابل "كن آمناً!"). أما عند دمج النماذج، فأنت تدمج الحلول التي وجدتها الرماوات بالفعل، وهو ما يحل الصراع بشكل طبيعي أكثر.
النتيجة: كانت الروبوتات المدمجة أكثر توازناً، حيث حققت حالة "ربح-ربح-ربح" (win-win-win) حيث كانت مفيدة، أمينة، وغير ضارة في آن واحد، وغالباً ما تفوقت على أفضل طرق خلط البيانات.

السر الجديد: RESM

بينما يعد خياطة الأدمغة أمراً رائعاً، وجد الباحثون وجود خللين رئيسيين في الطريقة التي يستخدمها الناس عادةً:

الخلل 1: مشكلة "الجار المزعج" (ضجيج التفضيلات - Preference Noise)
عند دمج الأدمغة، قد تمتلك بعض الروبوتات بعض الإعدادات "المجنونة" التي ليست سوى أخطاء عشوائية (ضجيج). إذا قمت بخياطتها، فإن هذه الأخطاء تتضخم، مما يجعل الروبوت الجديد أسوأ.

الحل: تقدم الورقة مرشحاً يسمى "توزين القيم المتطرفة" (Outlier Weighting). تخيل وجود حارس أمن عند ملهى ليلي؛ قبل السماح لأي إعداد دماغي بالدخول إلى الروبوت الجديد، يفحص الحارس: "هل هذا إعداد طبيعي ومهم، أم أنه مجرد قيمة متطرفة غريبة وضوضاء؟" إذا كان غريباً جداً، يقوم الحارس بخفض مستوى صوت هذا الإعداد حتى لا يفسد الحفلة.

الخلل 2: مشكلة "المقاس الواحد للجميع" (ندرة الطبقات - Layer Sparsity)
دماغ الروبوت يتكون من طبقات عديدة. بعض الطبقات تكون كثيفة (مليئة بالمعلومات)، بينما البعض الآخر يكون نادراً (فارغاً في الغالب).

المشكلة: الطرق القديمة كانت تعامل كل الطبقات بنفس الطريقة؛ فكانت تقطع نفس الكمية من المعلومات من طبقة كثيفة ومن طبقة نادرة. هذا يشبه محاولة قطع قطعة ستيك وقطعة من الورق بنفس المقص تماماً؛ قد تقطع الكثير من الستيك أو لا تقطع كفاية من الورق.
الحل: تقدم الورقة ميزة "اختيار الرتبة المدرك للندرة" (Sparsity-Aware Rank Selection). هذا يشبه وجود خياط ذكي؛ إذا كانت الطبقة كثيفة، يقطع الخياط بعناية للحفاظ على الهيكل الرئيسي، وإذا كانت الطبقة نادرة، يعرف الخياط كيف يحافظ على الخيوط القليلة الحرجة التي تمسك بكل شيء معاً.

المنهج الجديد: RESM
من خلال الجمع بين "حارس الأمن" (تصفية الضجيج) و"الخياط الذكي" (تعديل القصات بناءً على الطبقة)، ابتكر المؤلفون منهجاً جديداً يسمى RESM.

النتائج:

كان RESM هو البطل؛ فقد تفوق على طرق "الخياطة" القديمة وطرق "خلط البيانات".
حسن توازن الروبوت بنسبة 15% تقريباً مقارنة بالأساس، بينما حسنت أفضل طريقة لخلط البيانات النتيجة بنسبة 10% فقط.
كان أيضاً أكثر استقراراً؛ فبينما كانت الطرق الأخرى تعمل بشكل رائع أحياناً وتفشل أحياناً أخرى بناءً على الحظ العشوائي، كان RESM جيداً باستمرار.

الملخص

تجادل الورقة بأن بناء ذكاء اصطناعي مسؤول يتطلب غالباً خياطة الخبراء المتخصصين معاً (دمج النماذج) بدلاً من خلط جميع بيانات تدريبهم معاً (خلط البيانات). ومع ذلك، لجعل عملية الخياطة تعمل بشكل مثالي، فأنت بحاجة إلى طريقة أذكى للتعامل مع الضجيج والهياكل المختلفة لدماغ الذكاء الاصطناعي. منهج RESM الذي ابتكره المؤلفون يفعل ذلك بالضبط، مما يخلق ذكاءً اصطناعياً أكثر توازناً، وفائدة، وأمانة، وعدم ضرر.

ملخص تقني: خلط البيانات أم دمج النماذج؟ موازنة الفائدة، والأمانة، وعدم الضرر للنماذج اللغوية الكبيرة عبر دمج النماذج

بيان المشكلة

يتطلب النشر الموثوق للنماذج اللغوية الكبيرة (LLMs) تحسيناً متوازناً عبر ثلاثة أبعاد حاسمة: الفائدة (استجابات دقيقة ومتوافقة مع المهمة)، والأمانة (تجنب الهلوسة)، وعدم الضرر (منع المخرجات السامة)، والتي تُعرف مجتمعة باسم تحسين الـ 3H. وبينما نجحت تقنيات المحاذاة الحالية مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) والتحسين التفضيلي المباشر (DPO) في تحسين جوانب فردية، فإن تحقيق توازن متزامن يظل تحدياً كبيما بسبب المقايضات المتأصلة؛ فعلى سبيل المثال، يمكن أن يؤدي التحسين من أجل الفائدة إلى توليد محتوى ضار عن غير قصد، بينما قد تؤدي محاذاة عدم الضرر إلى استجابات غير أمينة.

تعتمد الأساليب التقليدية لحل هذه الصراعات على استراتيجيات خلط البيانات، والتي تجمع مجموعات بيانات متنوعة لضبط نموذج واحد. ومع ذلك، تواجه هذه الطرق قيوداً، بما في ذلك الاعتماد الشديد على الخبرة البشرية لتنظيم البيانات، والتكاليف الحسابية العالية، وصعوبة إدارة إشارات التحسين المتضاربة أثناء عملية الضبط الدقيق. وفي المقابل، يوفر دمج النماذج (دمج بارامترات نماذج متخصصة) بديلاً فعالاً من حيث التكلفة على مستوى البارامترات للتخفيف من حدة النسيان الكارثي وموازنة الأهداف، إلا أن فعاليته المحددة وقيوده فيما يتعلق بتحسين الـ 3H ظلت غير مستكشفة بشكل كافٍ. وتشمل التحديات الرئيسية في هذا المجال تراكم ضجيج التفضيلات (حيث يؤدي دمج نماذج متعددة تمت محاذاتها إلى إدخال تحديثات أوزان شاذة تحجب اتجاه المهمة الحقيقي) وتكيف ندرة الطبقات (فشل الأساليب الحالية في مراعاة أنماط الندرة المتفاوتة عبر طبقات مختلفة من النموذج اللغوي الكبير).

المنهجية

القياس والتحليل

قام المؤلفون أولاً بإنشاء معيار شامل للمقارنة المنهجية بين تقنيات خلط البيانات ودمج النماذج لتحسين الـ 3H. وتضمن ذلك:

مجموعات البيانات: 10 مجموعات بيانات تفضيلية تغطي 5 أبعاد للتعليق (الفائدة، والأمانة، وعدم الضرر، بالإضافة إلى تركيبات منها).
النماذج المرجعية: 15 طريقة تمثيلية، بما في ذلك 12 استراتيجية لدمج النماذج بدون تدريب (مثل: Weight Average، وTask Arithmetic، وTIES، وDARE، وTSVM) و3 استراتيجيات لخلط البيانات (Heuristic، وArmoRM، وHummer).
النماذج: عائلتان من النماذج اللغوية الموجهة (Llama-3-8B وMistral-7B) تحت ظروف تحسين ثابتة (مرحلة واحدة) ومستمرة (متعددة المراحل).

من خلال هذا المعيار، كشف المؤلفون عن علاقات تعاون وتضارب لم تكن ملحوظة سابقاً بين أبعاد الـ 3H. ومن الملاحظ أنهم وجدوا أنه بينما يفيد التدريب على "الفائدة" جميع أبعاد الـ 3H في آن واحد، فإن التدريب على "الأمانة" و"عدم الضرر" غالباً ما يضعف كل منهما الآخر.

الطريقة المقترحة: RESM

لمعالجة التحديات المحددة المتمثلة في ضجيج التفضيل وندرة الطبقات في دمج الأهداف المتعددة، يقترح البحث طريقة دمج المتجهات المفردة المعزز بإعادة الوزن (RESM). تعتمد هذه الطريقة على دمج المتجهات المفردة للمهام (TSV)، لكنها تقدم آليتين مبتكرتين:

إعادة الوزن الواعي بالقيم الشاذة (معالجة ضجيج التفضيل):
- إدراكاً بأن دمج عدة نماذج محاذية يؤدي إلى تراكم ضجيج التفضيل، تستخدم RESM آلية تصفية للأهمية الإحصائية تعتمد على مبدأ 3σ.
- تقوم بحساب المتوسط ( $\mu$ ) والانحراف المعياري ( $\sigma$ ) لكل صف من انحرافات الأوزان ( $\Delta$ ) لكل طبقة.
- تعمل دالة العتبة على كبح التقلبات منخفضة القدرة (الضجيج) والاحتفاظ فقط بالانحرافات ذات الدلالة الإحصائية.
- يتم حساب وزن التجميع ( $\alpha$ ) عبر التقييس بـ L1 لمدى هذه القيم الشاذة المتفرقة، مما يضمن مساهمات متوازنة من المهام المتنوعة ويمنع التحديثات عالية القدرة من الهيمنة على عملية الدمج.
اختيار الرتب المتكيف مع الندرة (معالجة ندرة الطبقات):
- تستخدم الطرق التقليدية عتبة اختيار رتبة موحدة ( $k$ ) عبر جميع الطبقات، وهو ما يفشل في مراعاة تباين أهمية البارامترات.
- تحدد RESM ديناميكياً الرتبة ( $k_l$ ) لكل طبقة بناءً على إجماع الندرة ( $\Omega_l$ ) الخاص بها.
- يتم حساب الندرة عبر عد نسبة انحرافات البارامترات التي تقل عن عتبة صغيرة $\epsilon$ .
- يتم تعريف الرتبة الديناميكية كالتالي: $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$ ، حيث $d_l$ هو بُعد الطبقة. يسمح هذا بالاحتفاظ برتبة أعلى في الطبقات النادرة (للحفاظ على الميزات الاتجاهية الحرجة) وتقليل الأبعاد بشكل أقوى في الطبقات الكثيفة (لقمع الضجيج).

يتم حساب الطبقة المدمجة النهائية عن طريق دمج هذه المتجهات المفردة المعاد وزنها:
$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$

النتائج الرئيسية

مقارنة الأداء

أظهرت التقييمات المكثفة على نماذج Llama-3 وMistral أن دمج النماذج يتفوق عموماً على طرق خلط البيانات في تحقيق تحسين متوازن للـ 3H:

التحسين الثابت: في نموذج Llama-3، حققت أفضل طريقة لخلط البيانات (Hummer) مكسباً معيارياً بنسبة 10.16%. وفي المقابل، تفوقت طرق دمج النماذج باستمرار، حيث حققت طريقة RESM المقترحة مكسباً بنسبة 14.97%. بينما حققت TSVM (الأساس لـ RESM) مكسباً بنسبة 13.00%.
نتائج Mistral: لوحظت توجهات مماثلة، حيث حققت RESM مكسباً بنسبة 3.36% فوق النموذج المرجعي، متفوقة على أفضل طريقة لخلط البيانات (1.53%).
الاستقرار: على عكس طرق التناثر العشوائي (مثل DARE وDELLA) التي أظهرت أداءً غير مستقر عبر بذور عشوائية مختلفة، أظهرت RESM نتائج قوية ومتسقة بفضل نهجها القائم على SVD واستراتيجياتها التكيفية.

دراسات الاستئصال (Ablation Studies)

أكدت دراسات الاستئصال ضرورة كلا المكونين في RESM:

أدى إزالة إعادة الوزن (Outlier Weighting) إلى خفض المكسب المعياري في Llama-3 من 14.97% إلى 13.60%.
أدى إزالة اختيار الرتبة المتكيف (Adaptive Rank Selection) إلى خفض المكسب إلى 13.71%.
أدى الجمع بين الاستراتيجيتين إلى تحقيق أعلى أداء، مما يثبت أن معالجة كل من تراكم الضجيج وندرة الطبقات أمر بالغ الأهمية.

التحسين المستمر

في إعدادات تدريب DPO المستمرة (التي تحاكي سيناريوهات العالم الحقيقي مع بيانات متسلسلة)، حافظت RESM على أداء متفوق على النماذج في المرحلة النهائية. لاحظ المؤلفون أن تأثيرات النسيان الكارثي عززت بشكل مفارق محاذاة الـ 3H من خلال التحسين التفاعلي، كما أن استراتيجية RESM في الدمج من نقطة فحص أساسية (بدلاً من النقاط الوسيطة) نجحت بفعالية في التخفيف من الإفراط في التخصيص (Overfitting) للأهداف السابقة.

الأهمية والادعاءات

يزعم البحث أنه يقدم أول معيار منهجي يقارن بين خلط البيانات ودمج النماذج لتحسين الـ 3H. وتتمثل مساهماته الأساسية في:

رؤى تجريبية: يكشف البحث أن دمج النماذج يوفر نموذج تحسين مرحلي يتفاوض بفعالية مع أهداف المحاذاة المتنافسة، وغالباً ما يتفوق على استراتيجيات خلط البيانات التي تعاني مع الإشارات المتضاربة.
تقدم منهجي: تعالج خوارزمية RESM المقترحة عقبات تقنية محددة في دمج النماذج اللغوية الكبيرة—وهي ضجيج التفضيل وندرة الطبقات—من خلال إعادة وزن القيم الشاذة واختيار الرتبة المتكيف، مما يحقق محاذاة متوازنة هي الأفضل في فئتها دون الحاجة إلى بيانات تدريب إضافية.
أساس نظري: يقدم العمل حدوداً نظرية لاحتمالية الصراع، موضحاً أن اختيار الرتبة المتكيف يقلل من احتمالية الصراعات الاتجاهية بين متجهات المهام مقارنة بنهج الرتبة الثابتة.

خلص المؤلفون إلى أن دمج النماذج، وخاصة عند تعزيزه باستراتيجيات إعادة الوزن وإدراك الندرة، يمثل مساراً قابلاً للتطبيق وفعالاً لبناء نماذج لغوية كبيرة ذات محاذاة متعددة الأهداف ومقيدة أخلاقياً. وأكدوا أنه بينما تحسن RESM بشكل كبير من الأمانة وعدم الضرر، فإن بُعد "الفائدة" لا يزال يفرض تحديات بسبب الصراعات داخل البعد الواحد، مما يشير إلى الحاجة لأطر عمل مستقبلية لحل الصراعات الهرمية.