Multi-Objective Bayesian Optimization for Model Merging
تقدم هذه الورقة البحثية إطار عمل MOBO-Merge، الذي يستخدم التحسين البايزي متعدد الأهداف لاختيار معلمات الدمج بكفاءة لدمج نماذج متعددة في فضاء الأوزان، مما يظهر أداءً متفوقاً على البحث العشوائي عبر مختلف مشغلات الدمج وتكوينات النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ أمضى سنوات في إتقان وصفتين مختلفتين: إحداهما هي أفضل كعكة شوكولاتة في العالم، والأخرى هي أكثر "لازانيا" ملوحة وتعقيداً. لديك مطبخ سحري حيث لا يمكنك مجرد خلط المكونات معاً في وعاء وتوقع الأفضل؛ بل عليك دمج "اللازانيا" و"الكعكات" النهائية بالكامل طبقة تلو الأخرى لإنشاء طبق جديد. هذا هو عالم دمج نماذج الذكاء الاصطناعي (AI model merging). في هذا الركن من علوم الحاسوب، يأخذ الباحثون نموذجين أو أكثر تم تدريبهم بالفعل على مهام محددة — مثل نموذج بارع في حل المسائل الرياضية وآخر ممتاز في كتابة الأكواد البرمجية — ويحاولون دمجهم في نموذج واحد فائق الذكاء دون الحاجة إلى إعادة تدريبهم من الصفر.
الجزء الصعب هو معرفة كيفية الخلط. إذا مزجت بنسبة 50-50، فقد تحصل على "كعكة-لازانيا" متوسطة المذاق لا تشبه أياً منهما. وإذا مزجت بنسبة 90-10، فقد تفقد نكهة اللازانيا تماماً. يُسمى هذا مشكلة "معلم الدمج" (merge parameter). عادةً ما يكون العثور على المزيج المثالي مثل محاولة العثور على إبرة في كومة قش عن طريق التقاط حفنات عشوائية من القش؛ وهو أمر مكلف، ويستغرق وقتاً طويلاً، وغالباً ما يكون محبطاً لأنك لا تستطيع رؤية "الوصفة" (الرياضيات الكامنة وراء الذكاء الاصطناعي) لتوجيهك. يتساءل هذا البحث سؤالاً بسيطاً ولكنه قوي: هل يمكننا استخدام استراتيجية تعتمد على التخمين الذكي لإيجاد أفضل عمليات الدمج بشكل أسرع بكثير من مجرد التخمين العشوائي؟
دليل الطاهي الذكي لدمج نماذج الذكاء الاصطناعي
تعرفوا على MOBO-Merge، "الطاهي الذكي" الجديد الذي قدمه هذا البحث. أدرك المؤلفون، وهم فريق من جامعة محمد بن زايد للذكية الاصطناعي، أن خلط نماذج الذكاء الاصطناعي يشبه إلى حد ما محاولة إيجاد التوازن المثالي بين نكهتين متنافستين. أنت تريد من ذكائك الاصطناعي الجديد أن يكون جيداً في كل من اتباع التعليمات (الاستماع إليك) والاستنتاج الرياضي (حل المشكلات)، ولكن عادةً ما يؤدي تحسين أدائه في أحدهما إلى جعله أسوأ قلي للآخر.
بدلاً من محاولة العثور على مزيج واحد "مثالي"، قرر المؤلفون البحث عن "جبهة باريتو" (Pareto front). فكر في هذا كخريطة لكل "أفضل التسويات الممكنة". على هذه الخريطة، تمثل كل نقطة مزيجاً لا يمكنك فيه الحصول على مهارة رياضية أعلى دون خسارة بعض مهارة اتباع التعليمات، والعكس صحيح. الهدف ليس اختيار فائز واحد فقط، بل اكتشاف المشهد الكامل للخيارات الرائعة حتى تتمكن من اختيار ما يناسب احتياجاتك بشكل أفضل.
المشكلة: مطبخ "الصندوق الأسود"
التحدي هو أن اختبار مزيج جديد مكلف للغاية. لرؤية ما إذا كان المزيج ناجحاً، عليك بناء نموذج الذكاء الاصطناعي الجديد وتشغيله عبر مئات الأسئلة الاختبارية. الأمر يشبه خبز كعكة كاملة جديدة لمجرد تذوق ملعقة منها. لا يمكنك تذوقها أثناء خبزها (لا توجد "تدرجات" - gradients - لترشدك)، ولديك عدد محدود من المكونات (ميزانية محدودة للاختبارات).
إذا جربت مجرد خلطات عشوائية (مثل رمي السهام على لوحة)، فقد يحالفك الحظ، لكنك ستضيع الكثير من الوقت والمكونات. إذا كانت وصفة الخلط بسيطة (مثل دمج نموذجين بمقبض واحد فقط)، فإن التخمين العشوائي ليس سيئاً جداً. ولكن إذا كانت الوصفة معقدة — مثل وجود مقابض مختلفة لطبقات مختلفة من الكعكة — فإن التخمين العشوائي يصبح كارثة.
الحل: آلة "التخمين الذكي"
ابتكر المؤلفون MOBO-Merge، وهو إطار عمل يستخدم "التحسين البايزي متعدد الأهداف" (Multi-Objective Bayesian Optimization). وباللغة الإنجليزية البسيطة، هذا هو "آلة التخمين الذكي".
إليك كيف يعمل:
- النموذج البديل (The Surrogate Model): بدلاً من خبز كعكة في كل مرة، تبني الآلة "خريطة تنبؤية" بناءً على المزيجات القليلة التي اختبرتها بالفعل. تتعلم الآلة: "أوه، عندما نخلط 30% من النموذج (أ) و70% من النموذج (ب)، يرتفع معدل الرياضيات، لكن معدل اتباع التعليمات ينخفض".
- دالة الاستحواذ (The Acquisition Function): هذا هو حدس الآلة. تنظر إلى الخريطة وتسأل: "أين يجب أن أختبر المرة القادمة لأتعلم أكبر قدر ممكن؟". هي لا تبحث فقط عن أعلى درجة؛ بل تبحث عن النقاط التي ستساعدها على رسم أفضل "خريطة تسوية" (جبهة باريتو).
- الحلقة (The Loop): تختار الآلة مزيجاً جديداً، تختبره، تُحدث خريطتها، وتكرر العملية.
اختبر المؤلفون هذا على عائلتين شهيرتين من نماذج الذكاء الاصطناعي: Qwen3-4B و Llama-3.1-8B. وحاولوا خلطهما بطرق مختلفة:
- الخطي (Linear): مزيج بسيط (مقبض واحد).
- TIES: طريقة أكثر تعقيداً تحاول إصلاح "التعليمات المتصادمة" بين النماذج (أربعة مقابض).
- الخطي الكتلي (Block-Linear): طريقة تعامل طبقات الذكاء الاصطناعي المختلفة ككتل منفصلة، مما يسمح بخلط دقيق للغاية (أربعة أو ثمانية مقابض).
ماذا وجدوا؟
كانت النتائج مثل رحلة بحث عن كنز باستخدام خريطة ذكية جداً.
- المزائج البسيطة: عندما كان الخلط بسيطاً (مجرد مقبض واحد)، كان "التخمين الذكي" (MOBO-Merge) أفضل قليلاً فقط من التخمين العشوائي. في الواقع، في اختبار محدد مع نموذج Qwen، كان التخمين العشوائي أفضل قليلاً. وهذا يشيع أنه بالنسبة للوصفات البسيطة، لا تحتاج إلى حاسوب خارق لإيجاد المزيج.
- المزائج المعقدة: ولكن عندما أصبح الخلط معقداً (باستخدام TIES أو Block-Linear مع مقابض متعددة)، تألق MOBO-Merge. فقد وجد مزيجات أفضل بكثير من التخمين العشوائي. على سبيل المثال، مع نموذج Llama باستخدام طريقة TIES، وجد MOBO-Merge مزيجاً أفضل بكثير مما يمكن أن يجده البحث العشوائي.
- تحدي "النماذج الثلاثة": حاول المؤلفون أيضاً خلط ثلاثة نماذج معاً (اتباع التعليمات + الرياضيات + الكود). هنا، كانت ميزة التخمين الذكي هائلة. في إحدى الحالات مع نموذج Llama، وجد MOBO-Merge مزيجاً أفضل بمرتين من أفضل مزيج عشوائي.
كان أحد الاكتشافات الأكثر إثارة للاهتمام هو أنه لا توجد طريقة خلط واحدة "مثلى". أحياناً تعمل الطريقة الخطية البسيطة بشكل أفضل؛ وأحياناً أخرى تفوز طرق TIES أو Block-Linear الأكثر تعقيداً. يعتمد الأمر كلياً على نماذج الذكاء الاصطناعي التي تخلطها وما تحاول تحقيقه.
لماذا يهم هذا؟
يشير البحث إلى أن MOBO-Merge هو أداة قوية لأي شخص يحاول دمج نماذج الذكاء الاصطناعي. فهو لا يخترع طريقة جديدة لخلط النماذج، بل يوفر طريقة أذكى للبحث عن المزيج الصحيح.
باستخدام هذه الطة، يمكن للباحثين العثور على تركيبات عالية الجودة من قدرات الذكاء الاصطناعي دون الحاجة إلى إجراء آلاف الاختبارات المكلفة. لقد حولوا عملية كانت تعتبر لعبة حظ إلى استكشاف منهجي. وجد المؤلفون أنه في 11 سيناريو اختبار من أصل 12، وجد MOBO-Merge "خرائط تسوية" أفضل من التخمين العشوائي.
ومع ذلك، يوضح المؤلفون بحذر أن هذه ليست عصا سحرية تحل كل شيء. فالطريقة لا تزال تتطلب إجراء اختبارات، وهو ما يكلف مالاً ووقتاً. وهي تعمل بشكل أفضل عندما تكون وصفة الخلط معقدة، ولا تضمن أن المزيج سيعمل بشكل مثالي في كل مهمة. ولكن بالنسبة لأولئك الذين يتطلعون لبناء أنظمة ذكاء اصطناعي مرنة ومتعددة المهارات دون إعادة تدريبها من الصفر، فإن نهج "التخمين الذكي" هذا يوفر مساراً أكثر كفاءة للمضي قدماً.
في النهاية، يظهر البحث أنه بينما لا يمكننا دائماً التنبؤ بالوصفة المثالية لذكاء اصطناعي خارق، يمكننا بالتأكيد التوقف عن التخمين الأعمى والبدء في استكشاف الاحتمالات باستخدام القليل من الحدس الرياضي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.