🤖 AI

Continual Model Routing in Evolving Model Hubs

تتناول هذه الورقة تحديات توسيع نطاق اختيار النماذج في مراكز الذكاء الاصطناعي سريعة التوسع من خلال صياغة إطار عمل توجيه النماذج المستمر (CMR)، وتقديم معيار CMRBench واسع النطاق، واقتراح طريقة CARvE، وهي طريقة تضمين تبايني تتفوق بشكل كبير على النماذج المرجعية الحالية في دقة التوجيه عبر مختلف النماذج والمهام.

المؤلفون الأصليون: Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدخل مكتبة ضخمة، متوسعة باستمرار. في كل يوم، تصل آلاف الكتب الجديدة (نماذج الذكاء الاصطناعي)، كتبها مؤلفون مختلفون، وتغطي كل موضوع يمكن تخيله. لديك سؤال محدد، وتحتاج إلى العثور على الكتاب المثالي الوحيد للإجابة عليه.

في الماضي، ربما كنت ستطلب من أمين مكتبة قراءة بعض الكتب ليرى أيها الأفضل. ولكن مع وجود ملايين الكتب، فإن قراءة حتى عدد قليل منها سيستغرق وقتاً طويلاً وسيكلف الكثير. أنت بحاجة إلى أمين مكتبة فائق السرعة يمكنه النظر إلى سؤالك والإشارة فوراً إلى الكتاب الأفضل دون فتح أي منها أولاً.

هذه الورقة البحثية تتحدث عن بناء أمين المكتبة فائق السرعة هذا لعالم نماذج الذكاء الاصطناعي، وهي تحل مشكلة محددة: ماذا يحدث عندما تستمر المكتبة في النمو بينما تحاول أنت العثور على الكتب؟

إليك تفصيل أفكار الورقة البحثية، باستخدام تشبيهات بسيطة:

1. المشكلة: المكتبة لا تتوقف عن النمو أبداً

حالياً، منصات نماذج الذكاء الاصطناعي (مثل Hugging Face) تشبه المكتبات التي لا تتوقف أبداً عن إضافة رفوف جديدة.

التحدي: إذا قمت بتدريب أمين مكتبة ليعرف الكتب الخاصة بعام 2023، فسيشعر بالارتباك عندما تصل 5,000 كتاب جديد في عام 2024.
مشكلة "النسيان الكارثي": إذا حاولت تعليم أمين المكتبة عن الكتب الجديدة، فغالباً ما ينسى الكتب القديمة. الأمر يشبه الدراسة لاختبار رياضيات جديد وفجأة تنسى كيفية القيام بعمليات الجمع الأساسية.
النطاق: المكتبة لا تضيف مجرد بضعة كتب؛ بل تضيف الآلاف. عملية "البحث" البسيطة ليست سريعة بما يكفي، ونهج "قراءة كل شيء" بطيء للغاية.

2. الحل: "CARvE" (أمين المكتبة الذكي والقابل للتكيف)

يقترح المؤلفون نظاماً جديداً يسمى CARvE (الموجه المستمر ذو المراسٍ والتمثيلات التباينية - Continual Anchored Router with Contrastive Embeddings). فكر في CARvE كأمين مكتبة يستخدم نظام "مرساة ذاكرة" خاص.

تشبيه "المرساة": تخيل أن أمين المكتبة لديه مجموعة من المراسي الثقبة والدائمة مرتبطة بالكتب التي يعرفها بالفعل. عندما تصل كتب جديدة، يتعلم أمين المكتبة عنها دون رفع تلك المراسي. هذا يضمن بقاء الكتب القديمة تماماً حيث كانت في ذهن أمين المكتبة، بينما تجد الكتب الجديدة مكانها الخاص.
"الخريطة" (التمثيلات/Embeddings): بدلاً من قراءة الكتاب بأكل، ينشئ CARvE "إحداثيات خريطة" صغيرة (تمثيل/embedding) لكل كتاب بناءً على ما يفعله. عندما تطرح سؤالاً، يتحقق النظام فقط من أي إحداثيات هي الأقرب لسؤالك. الأمر يشبه التحقق من موقع GPS بدلاً من قراءة خريطة ورقية.
"الممارسة" (إعادة التشغيل/Replay): لضمان عدم نسيان أمين المكتبة للكتب القديمة، يقوم النظام من حين لآخر بعرض عينة مختارة بعناية من الأسئلة والأجوبة القديمة عليه. الأمر يشبه معلم يعطي اختباراً قصيراً ومفاجئاً على مواد قديمة للحفاظ على حداثة الذاكرة.

3. الاختبار: "CMRBench" (المحاكاة)

لإثبات أن أمين المكتبة الخاص بهم يعمل، بنى المؤلفون محاكاة ضخمة تسمى CMRBench.

أنشأوا مكتبة وهمية تنمو بمرور الوقت، محاكيةً أربعة "عصور" مختلفة من إصدارات النماذج.
تتضمن أكثر من 2,000 نموذج مختلف (كتب) عبر مواضيع عديدة.
اختبروا أمين المكتبة الخاص بهم مقابل طرق أخرى (مثل البحث حسب العنوان فقط أو محاولة إعادة تدريب النظام بالكامل من البداة).

4. النتائج: لماذا يفوز CARvE

تظهر الورقة أن CARvE أفضل بكثير من الطرق الأخرى لثلاثة أسباب رئيسية:

لا ينسى: بينما ارتبكت الطرق الأخرى ونسيت النماذج القديمة مع وصول نماذج جديدة، حافظ CARvE على ذاكرته للكتب القديمة سليمة.
سريع وفعال: لا يحتاج لقراءة المكتبة بأكملها للعثين على الإجابة. إنه يستخدم "إحداثيات الخريطة" للعثور على الكتاب الصحيح فوراً.
يتعامل مع مشكلة "العائلة": أحياناً، لا تحتاج إلى نفس الكتاب بالضبط، بل تحتاج فقط إلى كتاب من نفس "العائلة" (على سبيل المثال، نسخة محددة من نموذج ما). CARvE جيد في العث find العثور على عائلة النماذج الصحيحة، وليس فقط العنوان الدقيق، وهو أمر أكثر فائدة في الحياة الواقعية.

5. ما لم يفعلوه (القيود الهامة)

الورقة واضحة جداً بشأن ما لا يستطيع هذا النظام فعله بعد:

لا يوجد "تعرف فوري" (Zero-Shot) للكتب الجديدة: إذا وصل كتاب جديد تماماً لم يره أمين المكتبة من قبل ولا يملك عنه أي أمثلة، فلا يمكن لـ CARvE معرفة كيفية توجيهه فوراً. يحتاج لرؤية بعض الأمثلة حول كيفية استخدام هذا الكتاب الجديد قبل أن يتمكن من إضافته إلى خريطته.
هو "اختيار مسبق": هذا النظام يختار الكتاب قبل قراءته. هو لا يقرأ الكتاب ليتأكد مما إذا كانت الإجابة جيدة؛ هو فقط يخمن أي كتاب من المرجح أن يحتوي على الإجابة الصحيحة بناءً على العنوان والوصف.

الملخص

باختصار، تقول هذه الورقة: "لقد بنينا نظاماً ذكياً يمكنه إدارة مجموعة ضخمة ومتنامية من نماذج الذكاء الاصطناعي دون نسيان القديم منها."

لقد أنشأوا معياراً لاختبار ذلك (CMRBench) وطريقة تسمى CARvE تستخدم "المراسي" للحفاظ على استقرار المعرفة القديمة أثناء تعلم أشياء جديدة. إنه يعمل بشكل أفضل من محاولة إعادة تدريب النظام بالكامل من الصفر أو مجرد البحث باستخدام الكلمات المفتاحية، مما يجعله حلاً عملياً لمستقبل الذكاء الاصطناعي حيث تتغير النماذج باستمرار.

ملخص تقني: التوجيه المستمر للنماذج في مستودعات النماذج المتطورة

1. تعريف المشكلة

أدى التوسع السريع لمستودعات نماذج الذكاء الاصطناعي (مثل Hugging Face) إلى تحويل التحدي المركزي من بناء النماذج إلى اختيار النموذج المسبق التدريب المناسب لاستعلام معين. وبينما أثبتت بنيات "خليط الخبراء" (MoE) وخطوط أنابيب التنسيق (orchestration pipelines) قيمة التوجيه، تواجه الأساليب الحالية قيدين جوهريين عند تطبيقها على المستودعات المتطورة في العالم الحقيقي:

القابلية للتوسع (Scalability): يجب أن يتوسع التوجيه ليشمل آلاف الخبراء المرشحين، مما يجعل التقييم الشامل بعد الاستدلال أو التصنيف الساذج غير ممكن عملياً.
عدم الاستقرار (Non-Stationarity): مستودعات النماذج ديناميكية؛ حيث تُضاف خبراء جدد، وتُحدث نماذج موجودة، وتصبح أخرى مهجورة. طرق الاسترجاع الثابتة (مثل التصنيف حسب تشابه بطاقة النموذج) هشة في المساحات الكبيرة والمتطورة، كما أن التدريب المعزز بالاسترجاع (RAT) القياسي لا يضمن استقرار أداء التوجيه مع تغير المساحة المستهدفة.

يصيغ المؤلفون هذا الإعداد كـ توجيه مستمر للنماذج (Continual Model Routing - CMR)، حيث يتم التعامل مع اختيار النموذج قبل الاستدلال كمهمة تصنيف مستمرة حيث تتوسع مساحة الملصقات (مجموعة النماذج المتاحة) بمرور الوقت. والهدف هو تصميم موجه يمكنه التكيف تدريجياً مع النماذج الجديدة مع الاحتفاظ بالكفاءة في النماذج التي تمت رؤيتها سابقاً، دون الحاجة لإعادة التدريب من الصفر.

2. المنهجية: CARvE

لمعالجة مشكلة CMR، يقترح المؤلفون CARvE (الموجه المستمر المرتكز على التثبيت مع التضمينات التباينية - Continual Anchored Router with Contrastive Embeddings). بخلاف خطوط الأساس التي تعتمد على بطاقات النماذج (الأوصاف اللغوية الطبيعية) أو تنفيذ النماذج المرشحة، يقوم CARvE بتوجيه الاستعلامات بناءً على تشابه التضمين بين استعلام المستخدم وسجل مُتعلم من تضمينات النماذج.

المكونات الأساسية

الموجه القائم على التضمين (Embedding-Based Router): يستخدم الموجه نموذج لغة أساسي مجمد (مثل LLaMA2-7B) مع محولات LoRA يتم تدريبها في كل تجربة. يقوم المشروع بتحويل الاستعلامات المقطعة إلى مساحة تضمين ذات أبعاد ثابتة ( $\mathbb{R}^d$ ) ويقارنها بسجل من تضمينات النماذج المتعلمة باستخدام تشابه جيب التمام الموزون بدرجة الحرارة (temperature-scaled cosine similarity).
التثبيت غير المتماثل (Asymmetric Anchoring): للتخفيف من حدة النسيان الكارثي، يستخدم CARvE آلية تثبيت قائمة على نقاط التحقق (checkpoints). في بداية كل تجربة $t$ ، يتم أخذ لقطة لمعلمات الموجه (رأس الإسقاط وتضمينات النماذج) من المرحلة $t-1$ . أثناء التدريب على $E_t$ ، تفرض الخسارة عقوبة على الانحراف لتضمينات معرفات النماذج التي شوهدت سابقاً، بينما تظل تضمينات النماذج المقدمة حديثاً غير مثبتة وحرة في التكيف. هذا يحافظ على الاستقرار الهندسي للسجل الحالي.
مجموعة المرشحين (Candidate-Set Training): لتجنب التكلفة الحسابية لعملية Softmax كاملة على آلاف النماذج، يتم إجراء التدريب على مجموعات مرشحة ذات حجم ثابت ( $K$ ). تشمل هذه المجموعات النموذج الحقيقي (ground-truth)، والسلبيات الصعبة (المستخرجة من المجموعة الحالية)، والسلبيات الدلالية (نفس المجال)، والسلبيات البعيدة (مجالات مختلفة).
إعادة التشغيل الهيكلية (Structured Replay): تستخدم الطريقة مخزناً لإعادة التشغيل من نوع النواة المشتركة للمجال والنموذج (domain–model coreset replay buffer). بدلاً من أخذ العينات العشوائية، تخصص الطريقة حصص إعادة التشغيل لكل مجال وتستخدم أخذ العينات ذات النقطة الأبعد (Farthest-Point Sampling - FPS) داخل المجالات لاختيار عينات متنوعة، مما يضمن تغطية التوزيع طويل الذيل للنماذج.

3. الاختبار المرجعي: CMRBench

قدم المؤلفون CMRBench، وهو أول اختبار مرجعي مصمم خصيصاً للتوجيه المستمر للنماذج.

الهيكل: يحاكي توسع المستودعات الواقعي من خلال أربع تجارب متتالية، مدمجاً APIBench وToolMMBench ومجموعة بيانات جديدة HuggingBench.
النطاق: يمتد الاختبار عبر أكثر من 2,000 نموذج مرشح عبر مجالات متعددة.
المقاييس: بالإضافة إلى دقة معرف النموذج (Model-ID) ودقة المجال (Domain accuracy)، قدم المؤلفون مقياس دقة عائلة النموذج (Model Family Accuracy). هذا المقياس ذو التدرج المتوسط يجمع المتغيرات المتشابهة وظيفياً (مثل مستويات التكميم المختلفة لنفس البنية) لالتقاط جودة التوجيه الدلالي بشكل أفضل دون أن يكون صارماً للغاية بشأن معرفات النماذج الدقيقة.

4. النتائج التجريبية

تقارن التجارب المكثفة بين CARvE وخطوط الأساس القوية، بما في ذلك الضبط الدقيق من الصفر (zero-shot fine-tuning)، وطرق الاسترجاع فقط (BM25, BGE-M3)، ودمج النماذج (TIES, DARE)، واستراتيجيات التعلم المستمر المختلفة (EWC, LwF, random replay).

الأداء: يتفوق CARvE بشكل كبير على جميع خطوط الأساس. عند ميزانية إعادة تشغيل بنسبة 10%، يحقق CARvE دقة مجال بنسبة 80.7% مع نسيان بنسبة 5.9% فقط، مقارنة بدقة 75.9% ونسيان 13.1% لإعادة التشغيل العشوائي القياسي. وعند ميزانية 20%، يصل إلى دقة 82.9% مع نسيان بنسبة 3.0%.
المقارنة بالحدود العليا: يقلص CARvE الفجوة مع التدريب المشترك (التدريب على جميع البيانات في وقت واحد)، وفي بعض مقاييس المستوى الخاص بالمجال، يتفوق عليه أثناء العمل تحت قيود الاستمرارية الأكثر صرامة.
دراسات الاستئصال (Ablation Studies):
- التثبيت (Anchoring): يؤدي تعطيل تثبيت الإسقاط إلى انخفاض كبير في الدقة وطفرة في النسيان، مما يؤكد دوره الحاسم في استقرار مساحة التضمين.
- استراتيجية إعادة التشغيل: تفوق إعادة التشغيل المعتمدة على النواة المشتركة والمصنفة حسب المجال على إعادة التشغيل العشوائية، خاصة عند ميزانيات إعادة التشغيل المنخفضة (5-10%).
- التهيئة (Initialization): تفوق التهيئة العشوائية لتضمينات النماذج على التهيئة المسبدة (warm-starting) من تضمينات بطاقات النماذج، حيث أن نص البطاقة يشفر التشابه اللغوي بدلاً من القدرة على التمييز في التوجيه.
الكفاءة: يقلل CARvE التكاليف الحسابية (TFLOPs وساعات وحدة معالجة الرسومات) بنسبة تتراوح بين 45-60% تقريباً مقارنة بالتدريب التراكمي أو التدريب من الصفر، مما يجعله قابلاً للتطبيق في عمليات النشر واسعة النطاق.

5. الأهمية والادعاءات

يدعي البحث أنه العمل الأول الذي يثبت تجريبياً الدور المركزي للتعلم المستمر في توجيه النماذج من خلال اختبارات مرجعية وتحليلات واسعة النطاق. وتتمثل مساهماته الرئيسية في:

الصياغة: تعريف CMR كمشكلة تعلم تراكمي للفئات حيث يجب أن يتوسع الموجه ليشمل آلاف الخبراء ويتكيف مع المجموعات غير المستقرة.
الاختبار المرجعي: توفير CMRBench كنقطة مرجعية قابلة لإعادة الإنتاج للمجتمع، متجاوزاً مجموعات المرشحين الثابتة.
المنهجية: إثبات أن CARvE، من خلال التضمين التبايني، وإعادة التشغيل الهيكلية، والتثبيت غير المتماثل، يتيح اختيار الخبراء بشكل قابل للتوسع وقوي.

يؤكد المؤلفون أن نهجهم يعالج اختناقاً نظامياً عملياً: وهو اختيار نموذج متخصص قبل الاستدلال لتقليل زمن الوصول والتكلفة. ويشيرون إلى أنه بينما يقلل CARvE من الاعتماد على تخزين سجلات المستخدمين الخام، فإنه لا يلغي مخاطر الخصوصية، كما أن التوجيه الأفضل قد يؤدي عن غير قصد إلى تضخيم التحيزات إذا لم يقترن بسياسات السلامة. ويشير العمل إلى أن مستقبل اختيار النماذج لا يكمن في النماذج الضخمة الموحدة، بل في أنظمة بيئية من النماذج المتطورة والمتفاعلة التي تدار بواسطة أنظمة تعلم مستمر.