Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

في عالم الذكاء الاصطناعي سريع التطور، يحاول الباحثون باستمرار بناء آلات يمكنها القيام بأشياء كثيرة في آن واحد. تخيل طالباً قضى سنوات في إتقان الرياضيات، وآخر أصبح بارعاً في البرمجة، وثالثاً خبيراً في اتباع التعليمات المعقدة. في الماضي، لاستخدام كل هذه المهارات، كان على الكمبيوتر تشغيل ثلاثة برامج منفصلة، كل منها مخصص لموضوع واحد. هذا أمر غير فعال، ويتطلب كميات هائلة من ذاكرة الكمبيوتر والطاقة. والحل الأكثر أناقة هو دمج هؤلاء الخبراء المنفصلين في نموذج واحد متعدد القدرات. هذه العملية، المعروفة باسم "دمج النماذج" (model merging)، تحاول مزج "معرفة" البرامج المتخصصة المختلفة في عقل واحد موحد دون الحاجة إلى إعادة تدريبها من الصرة. ومع ذلك، فإن هذا المزج صعب للغاية؛ فعندما تمزج مجموعتين متمايزتين من التعليمات، غالباً ما تتصادمان. يصاب الكمبيوتر بالارتباك، ويؤدي النموذج الناتج إلى أداء ضعيف في جميع المهام، كما لو كانت المهارات المختلفة تتصارع على المساحة نفسها في ذاكرة الآلة.

يكمن جوهر هذه المشكلة في كيفية تخزين هذه الأدمغة الاصطناعية للمعلومات. فداخل الشبكة العصبية، غالباً ما تتشارك المهارات المختلفة المسارات الفيزيائية نفسها، وهي ظاهرة يسميها الباحثون "التراكب" (superposition). الأمر يشبه محاولة عدة أفكار متميزة أن تشغل نفس الرواق الضيق في وقت واحد. وعندما يحاول الباحثون ببساطة جمع أوزان نموذجين معاً، تتداخل هذه الأفكមាន المتداخلة مع بعضها البعض، مما يخلق فوضى متشابكة تضيع فيها المعلومات المفيدة. وقد تضمنت المحاولات السابقة لإصلاح ذلك محاولة فك تشابك الفوضى داخل المساحة المزدحمة الأصلية، غالباً عن طريق قطع أجزاء من النموذج أو إعادة تحجيم الأرقام. ولكن عندما يكون التداخل شديداً، تكون هذه الأساليب مثل محاولة فرز كومة من الأسلاك المختلطة عبر النظر فقط إلى العقد؛ فهي لا تستطيع فصل الخيوط الفردية تماماً دون إتلاف الدائرة.

اقترح فريق من الباحثين طريقة جديدة لحل هذه المشكلة عبر تغيير المنظور تماماً. فبدلاً من محاولة فك تشابك الأسلاك في الرواق المزدحم، يقترحون نقل الأسلاك إلى غرفة أكبر وفارغة حيث تتوفر مساحة كافية لمدها بشكل منفصل. وقد أطلقوا على هذا النهج اسم "دمج فك الارتباط المتناثر عالي الأبعاد" (High-Dimensional Sparse Disentanglement Merging). استخدم الباحثون أداة تُعرف باسم "المشفّر التلقائي المتناثر" (Sparse Autoencoder)، والتي تعمل كـ "مترجم". فهي تأخذ التعليمات المتشابكة لمهمة معينة وتحولها إلى قائمة طويلة من السمات البسيطة والمتميزة. ولأن هذه القائمة الجديدة أطول بكثير من مجموعة التعليمات الأصلية، فإن كل سمة تحصل على مساحتها المخصصة، مما يسمح للكمبيوتر بمعرفة أي أجزاء من المعرفة تنتمي للرياضيات، وأيها تنتمي للبرمجة، وأيها تنتمي لاتباع التعليمات. وبمجرد فصل المعلومات في هذه الغرفة عالية الأبعاد والواسعة، يمكن للباحثين دمج الأجزاء ذات الصلة بعناية دون أن تطأ المهارات المختلفة على أقدام بعضها البعض. وبعد اكتمال عملية الدمج، يقوم المترجم بتحويل القائمة النظيفة والمنفصلة مرة أخرى إلى التنسيق الأصلي حتى يتمكن النموذج من استخدامها.

ومع ذلك، فإن ترجمة كل طبقة من طبقات نموذج ضخم إلى هذا التنسيق الجديد سيكون أمراً بطيئاً ومكلفاً للغاية. ولحل هذه المشكلة، قدم الباحثون طريقة اختيار ذكية تسمى "المُحسّن من الدرجة صفر ذو التصنيف المجموعاتي" (Group-Ranked Zeroth-Order Optimizer). تعمل هذه الأداة كـ "كشاف"، حيث تختبر بسرعة الأجزاء الأكثر أهمية في النموذج لمهمة معينة. وهي تفعل ذلك من خلال إجراء تعديلات عشوائية صغيرة على أقسام مختلفة من النموذج ومعرفة مدى تغير الأداء، دون الحاجة إلى حساب التفاضل والتكامل المعقد. ومن خلال تحديد الطبقات الأكثر أهمية فقط، يطبق النظام عملية الترجمة والفصل المكلفة فقط حيث تشتد الحاجة إليها، تاركاً بقية النموذج ليتم دمجه باستخدام طرق أبسط وأسرع. وهذا يضمن بقاء النظام فعالاً مع الاستفادة من مزايا الفصل العميق.

اختبر الباحثون هذا الإطار الجديد باستخدام سلسلة نماذج Qwen2.5، وهي أنظمة ذكاء اصطناعي قوية. لقد أنشأوا نماذج خبيرة لمهام مثل الاستدلال الرياضي، وتوليد الكود، واتباع التعليمات المعقدة. وعندما دمجوا هؤلاء الخبراء باستخدام الطرق التقليدية، كانت النتائج مخيبة للآمال في كثير من الأحيان، حيث انخفض الأداء بشكل كبير في المهام الصعبة. في المقابل، تفوق نهجهم الجديد باستمرار على التقنيات الحالية. ففي نموذج ضخم بـ 7 مليارات معلمة، حقق نهجهم متوسط درجة بلغ 68.49 عبر مهام الرياضيات والبرمجة واتباع التعليمات، متفوقاً على أفضل طريقة سابقة بفارق واضح. وكان التحسن أكثر دراماتيكية في السيناريوهات عالية التعارض؛ فعندما حاولوا دمج أربع مهام مختلفة، بما في ذلك مواءمة السلامة، على نموذج أصغر بـ 1.5 مليار معلمة، شهدت الطرق التقليدية انهيار متوسط درجاتها إلى 15.45 فقط. بينما حافظ النهج الجديد على درجة 36.48، مما حافظ بفعالية على قدرة النموذج على القيام بالرياضيات والبرمجة مع الالتزام بمعايير السلامة الصارمة.

تشير الدراسة إلى أن مفتاح الدمج الناجح للنماذج ليس فقط في كيفية خلط الأرقام، بل في المكان الذي نخلطها فيه. فمن خلال إسقاط معلومات المهمة في فضاء عالي الأبعاد حيث يمكن تمييز السمات بوضوح، تمكن الباحثون من تقليل التداخل الذي يعيب هذه الأنظمة عادةً. ووجدوا أن "المشفّر التلقائي" المحسّن لديهم، والذي يستخدم تقنية محددة للحفاظ على السمات الأكثر أهمية مع تجاهل البقية، كان حاسماً لهذا النجاح. علاوة على على ذلك، أثبتت أداة اختيار الطبقات الخاصة بهم أنه ليس من الضروري تطبيق هذا الفصل المعقد على كل جزء من النموذج؛ إذ كان التركيز على الطبقات الحرجة كافياً لجني الثمار. وتشير النتائج إلى أن هذا النهج يقدم طريقة قوية لبناء نماذج عامة يمكنها التعامل مع مهام متعددة ومتعارضة دون الحاجة إلى بيانات تدريب إضافية أو إعادة تدريب مكلفة. ورغم أن الطريقة تتطلب بعض الجهد الحسابي الأولي لإعداد أدوات الترجمة، إلا أن العائد هو نموذج يحتفظ بمهاراته المتخصصة بشكل أفضل بكثير من تلك التي تم إنشاؤها بالتقنيات القديمة. ويمثل هذا العمل مساراً ملموساً نحو إنشاء أنظمة ذكاء اصطناعي أكثر قدرة وتعددًا في الاستخدام، يمكنها التنقل في المشهد المعقد للمهام البشرية المتعددة دون أن تفقد طريقها.