🤖 machine learning

Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution

تُعد MADE-IT طريقة دمج مستمر تكيُّفية تحل معضلة التشبع والازدواجية باستخدام هندسة مدركة للمتعددات (manifold-aware geometry) لتطوير الخبراء ذاتياً، وآلية توجيه ضمنية خالية من البيانات لتنشيطهم دون تدريب إضافي.

المؤلفون الأصليون: Haiyun Qiu, Xingyu Wu, Kay Chen Tan

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haiyun Qiu, Xingyu Wu, Kay Chen Tan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء روبوت "الشيف الماهر" (Master Chef).

في البداية، تعلمه كيفية إعداد الطعام الإيطالي. ثم، تريد تعليمه كيفية إعداد الطعام الياباني، ثم المكسيكي، ثم الهندي. لديك طريقتان للقيام بذلك، ولكن كلتاهما تعانيان من مشكلات كبيرة:

مشكلة "الدماغ الواحد" (التشبع): تحاول حشو كل هذه الوصفات الجديدة في نفس الدماغ الوحيد. في النهاية، يمتلئ الدماغ تمامًا. لكي يتعلم الروبوت كيفية صنع "السوشي"، يبدأ في نسيان كيفية صنع "الباستا". وهذا ما يسمى بـ "النسيان الكارثي" (Catastrophic Forgetting).
مشكلة "الأدمغة الكثيرة" (التكرار): تقرر إعطاء الروبوت دماغًا منفصلاً لكل وصفة على حدة. هذا ينجح، لكن الروبوت سرعان ما يتحول إلى كتلة ضخمة وغير متناسقة من آلاف الأدمغة الصغيرة. معظمها عديم الفائدة؛ فعلى سبيل المثال، "دماغ صلصة الطماطم" و"دماغ صلصة البيتزا" هما الشيء نفسه تقريبًا، لكن الروبوت يعاملهما كأنهما عضوان مختلفان. بالإضافة إلى ذلك، يحتاج الروبوت إلى "مدير" معقد ليقرر أي دماغ يجب استخدامه لكل لقمة، وهو أمر بطيء ويتطلب إعادة تدريب مستمرة.

MADE-IT هي طريقة جديدة لحل هذه المشكلة. إنها تشبه منح الروبوت "مجموعة مهارات ذكية ومتنامية" بدلاً من مجرد المزيد من الأدمغة.

إليك كيف تعمل باستخدام ثلاثة مفاهيم بسيطة:

1. "الحمض النووي" للمهارة (التطور المدرك للمجال - Manifold-Aware Evolution)

بدلاً من النظر في كل عصبون صغير (وهو أمر يشبه محاولة فهم شخص من خلال النظر إلى كل ذرة فيه)، ينظر MADE-IT إلى "شكل" المعرفة.

فكر في المهارة مثل اللحن الموسيقي. أنت لا تحتاج لمعرفة الاهتزاز الدقيق لكل جزيء هواء لكي تتعرف على أغنية "Twinkle Twinkle Little Star"؛ أنت فقط تحتاج للتعرف على نمط النغمات. يستخدم MADE-IT الرياضيات (مثل SVD وGrassmann manifolds) لإيجاد "لحن" المهمة الجديدة.

عندما تصل مهمة جديدة، يسأل MADE-IT نفسه: "هل هذا اللحن يشبه شيئًا نعرفه بالفعل؟"

إذا كانت الإجابة نعم (الدمج - Consolidation): فإنه يدمج اللحن الجديد في لحن موجود بالفعل. هو يدرك أن "صلصة البيتزا" هي مجرد تنويع على "صلصة الطماطم"، لذا يحافظ على عدد الأدمغة منخفضًا.
إذا كانت الإجابة لا (الابتكار - Creation): فإنه ينشئ "وحدة مهارة" جديدة تمامًا. هذا يمنع الروبوت من أن يصبح "ممتلئًا" وفي الوقت نفسه يمنعه من التحول إلى كتلة ضخمة وغير متناسقة.

2. "رد الفعل البديهي" (التوجيه الضمني - Implicit Routing)

في معظم الأنظمة، تحتاج إلى "مدير" (شبكة بوابة) لينظر إلى مكون ما ويقول: "حسنًا، استخدم الدماغ الياباني الآن!". لكن هذا المدير يصعب تدريبه ويتطلب إشرافًا مستمرًا.

يستبدل MADE-IT هذا المدير بـ "الحدس". فهو يستخدم محاذاة إسقاط الميزات (Feature Projection Alignment).
تخيل أنك ترى قطعة من السمك النيء. لست بحاجة إلى مدير ليخبرك أن تستخدم "مهارة السوشي"؛ فمجرد رؤية السمك "تتواءم" مع تلك المهارة في عقلك. يفعل MADE-IT ذلك رياضيًا: ينظر إلى البيانات الواردة ويرى أي "شكل مهارة" يتناسب معها بشكل طبيعي. إنه سريع، وتلقائي، ولا يحتاج إلى إعادة تدريب "مدير" لاتخاذ القرارات.

3. "قاعدة العمل الجماعي" (اتساق المسار - Path Consistency)

للتأكد من أن الروبوت لا يتصرف بجنون، يضمن MADE-IT أن تعمل المهارات معًا في تسلسل منطقي.

إذا قرر الروبوت استخدام مهارة "السوشي" للخطوة الأولى من الوصفة، فلن ينتقل فجأة إلى مهارة "حساء اللحم" للخطوة الثانية. إنه يتبع "رسمًا بيانيًا للتبعية" (Dependency Graph) — وهي خريطة ذهنية تقول: "إذا بدأت بنكهات يابانية، فاستمر في المسار الياباني حتى تنتهي الوجبة". هذا يحافظ على اتساق "أفكار" الروبوت من البداية إلى النهاية.

النتيجة؟

في الاختبارات التي أجراها الباحثون، كان MADE-IT مثل شيف يزداد ذكاءً مع كل درس جديد. لقد تمكن من:

تعلم مهام أكثر دون نسيان المهام القديمة.
البقاء رشيقًا وفعالًا من خلال عدم إنشاء "أدمغة" مكررة.
العمل بشكل أسرع لأنه لم يكن بحاجة إلى "مدير" بطيء وثقيل لاتخاذ القرارات.

باختًا: يسمح MADE-IT للذكاء الاصطناعي بتنمية خبراته كما يفعل البشر — من خلال التعرف على الأنماط، والبناء على ما يعرفونه، وتطوير حدس تجاه المعلومات الجديدة.

ملخص تقني: MADE-IT (تطور الخبراء الديناميكي المدرك للمتعددات وتوجيه الضمني)

1. بيان المشكلة

تعالج الورقة البحثية تحديات دمج النماذج المستمر (CMM) — وهي عملية دمج النماذج المتخصصة في مهام معينة بشكل متسلسل في بنية موحدة واحدة دون الحاجة إلى إعادة تدريب مكثفة. تعاني طرق الـ CMM الحالية من "معضلة التشبع والزيادة":

النهج المتمحور حول العمود الفقري (Backbone-centric): تحاول ملاءمة المعرفة الجديدة في نموذج ذي سعة ثابتة (مثل الإسقاط المتعامد)، مما يؤدي إلى تشبع المعلمات والنسيان الكارثي.
متغيرات خليط الخبراء (MoE): تتجنب التداخل عبر إضافة خبراء لكل مهمة، لكنها تؤدي إلى "تضخم معماري" (توسع غير منضبط) وتعتمد على اختناقات التوجيه الصريح (شبكات بوابة ذات معاملات تتطلب بيانات وتدريباً لتعمل).

علاوة على ذلك، حدد المؤلفون أن مقاييس فضاء المعلمات (مثل تشابه جيب التمام) غير فعالة لقياس تشابه الخبراء بسبب عدم ثبات التبديل وحساسية دوران الأساس في الشبكات العصبية العميقة.

2. المنهجية

لحل هذه المشكلات، يقترح المؤلفون MADE-IT، الذي ينقل التركيز من المعلمات الخام إلى هياكل الفضاء الجزئي الكامنة باستخدام هندسة المتعددات (Manifold geometry). تتكون الطريقة من مكونين أساسيين:

أ. تطور الخبراء الديناميكي المدرك للمتعددات
بدلاً من معاملة الأوزان كمتجهات، يعامل MADE-IT الخبراء كنقاط على متعدد غراسمان (Grassmann manifold) عن طريق استخراج الفضاءات الجزئية الرئيسية الخاصة بهم عبر تحليل القيم المفردة المبتور (SVD).

استخراج الفضاء الجزئي: لكل وحدة، يتم تقريب تحديث الوزن كخبير منخفض الرتبة $E = \tilde{U}\tilde{\Sigma}\tilde{V}^\top$ .
الألفة الفضائية القائمة على الإسقاط: لتقرير ما إذا كان سيتم دمج خبير أو إنشاء خبير جديد، تستخدم الطريقة مقياساً يعتمد على الضرب الداخلي لـ "هيلبرت-شميدت" لمؤثرات الإسقاط. هذا المقياس ثابت تجاه دوران الأساس ويحدد حجم التداخل بين الفضاءات الجزئية.
التطور التكيفي: توجه آلية عتبة مدركة للتوزيع ( $\gamma = \mu + \beta\sigma$ $γ = μ + β σ$ ) العملية:
- الدمج (Consolidation): إذا كان الخبير الجديد مشابهاً للغاية لخبير موجود، يتم دمجهما عبر دمج الفضاء الجزئي لمنع الزيادة.
  ‌ * الإنشاء (Creation): إذا كان الخبير فريداً، يتم إضافة خبير جديد إلى البنية للحفاظ على التخصص.

ب. آلية التوجيه الضمني
لتجاوز الحاجة إلى شبكات بوابة قابلة للتدريب، يستخدم MADE-IT استراتيجية تنشيط خالية من البيانات وخالية من التدريب:

محاذاة إسقاط الميزات (FPA): أثناء الاستدلال، يقيم النموذج مدى توافق ميزة مدخلة مع الفضاء الجزئي المدخل للخبير من خلال قياس تشابه جيب التمام بين الميزة وإسقاطها على ذلك الفضاء الجزئي.
تبعية الخبير واتساق المسار: لضمان التماسك الدلالي عبر الطبقات، تبني الطريقة رسم بياني لتبعية الخبراء. تختار الطة "وحدة مرجعية" (Anchor module) وتقوم بنشر قيود هوية المهمة عبر الرسم البياني، مما يضمن أن الخبراء الذين يتم تنشيطهم عبر الطبقات المختلفة ينتمون إلى مسار مهمة منطقي ومتسق.

3. المساهمات الرئيسية

الأساس الهندسي: اقتراح استخدام هندسة المتعددات (متعددات غراسمان) بدلاً من مقاييس فضاء المعلمات لتوصيف تمثيلات الخبراء.
الإدارة التكيفية: تقديم استراتيجية تطور ديناميكية توازن بين الاقتصاد المعماري (تقليص الزيادة) والمرونة (إضافة خبراء متخصصين).
التوجيه الخالي من التدريب: تصميم آلية توجيه ضمنية تستخدم محاذاة الميزة والفضاء الجزئي، مما يلغي الحاجة إلى شبكات بوابة مساعدة وتحسين مدفوع بالبيانات.
الاكتشاف الهرمي: إظهار أن النموذج يتطور طبيعياً إلى تسلسل هرمي من "العام إلى الخاص" (خبراء مشتركين في الطبقات الضحلة، وخبراء متخصصين في الطبقات العميقة).

4. النتائج

أجرى المؤلفون تجارب واسعة النطاق باستخدام نماذج CLIP-ViT عبر مقاييس مهام متنوعة (8، 14، و20 مهمة).

دقة فائقة: تفوق MADE-IT باستمرار على النماذج المرجعية القوية (مثل MINGLE وOPCM) في متوسط الدقة (ACC) عبر جميع البنيات. وفي تجربة 20 مهمة لنموذج ViT-B/32، تفوق على MINGLE بنسبة 4.3%.
المتانة: حقق درجات عالية في النقل الخلفي (BWT)، مما يشير إلى حد أدنى من النسيان الكارثي مقارنة بطرق الدمج الأخرى.
الكفاءة: قللت الطريقة بشكل كبير من زيادة الخبراء، خاصة في الطبقات الأولى والوحدات العامة (على سبيل المثال، حققت خفضاً يصل إلى 95% في بعض الوحدات)، مع الحفاظ على أداء عالٍ.
التحقق من المقياس: أكدت التجارب أن مقياس ألفة الفضاء الجزئي المقترح أكثر تمييزاً بكثير من تشابه جيب التمام القياسي، الذي يميل إلى الانهيار في الفضاءات عالية الأبعاد.

5. الأهمية

يمثل MADE-IT خطوة هامة نحو تكييف النماذج التأسيسية القابلة للتوسع وبشكل مستقل. من خلال توفير طريقة لدمج النماذج بالتسلسل دون الحاجة إلى بيانات التدريب الأصلية أو إعادة تدريب مكلفة لشبكات التوجيه، فإنه يقدم نموذجاً عالي الكفاءة لنشر النماذج واسعة النطاق في البيئات الواقعية المتدفقة حيث تصل المهام بشكل مستمر. إن قدرته على إدارة بنيته ذاتياً (بالنمو فقط عند الضرورة والدمج عند وجود زيادة) تجعل منه نهجاً شديد "الذكاء" في دمج النماذج.