⚡ electrical engineering

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

تقدم الورقة البحثية MergePipe، وهي طبقة تنفيذ مدركة للميزانية تعمل على تحسين دمج نماذج اللغات الكبيرة (LLM) عبر التعامل معه كمسألة مجموعة وصول للخبراء لتقليل عمليات الإدخال والإخراج بشكل كبير وتسريع العملية مع الحفاظ على دقة عالية من خلال ضمانات الخطأ المحدودة.

المؤلفون الأصليون: Yuanyi Wang, Yanggan Gu, Su Lu, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanyi Wang, Yanggan Gu, Su Lu, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف ماهر تحاول ابتكار طبق دمج مثالي (Ultimate Fusion Dish). لديك وصفة أساسية ("النموذج الأساسي") ومكتبة ضخمة من 20 مزيج توابل مختلف من "الخبراء" ("نماذج الخبراء"). كل خبير قام بتعديل الوصفة الأساسية بطريقة محددة: أحدهم أضاف المزيد من الملح، والآخر أضاف لمسة من القرفة، وثالث أضاف حرارة إضافية.

في الماضي، لكي تصنع هذا الطبق المدمج، كان عليك السير فعلياً إلى خزانة التوابل، وفتح كل واحدة من تلك الـ 20 برطماناً، وغرف رشة من كل منها، ثم خلطها جميعاً قبل أن تتمكن حتى من البدء في الطبخ. إذا كان لديك 100 خبير، فستضطر للسير إلى الخزانة 100 مرة. هذا بطيء، ومرهق، ويضيع الكثير من الوقت في المشي ذهاباً وإياباً (هذه هي مشكلة "الإدخال/الإخراج" أو I/O التي يتحدث عنها البحث).

MergePipe هو بمثابة مساعد مطبخ ذكي للغاية يغير طريقة تعاملك مع هذه المهمة. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: اختناق "المشي إلى الخزانة"

يشرح البحث أنه عندما تصبح نماذج الذكاء الاصطناعي ضخمة، فإن الجزء الأبطأ ليس في الواقع عملية خلط المكونات (العمليات الحسابية)؛ بل هو قراءة المكونات من القرص الصلب (الخزانة).

الطريقة القديمة: إذا كنت تريد خلط 20 خبيراً، فإن الكمبيوتر يقرأ جميع ملفات الـ 20، حتى لو كان جزء صغير جداً فقط من كل ملف هو المهم فعلياً. الأمر يشبه قراءة كل صفحة في 20 كتاباً مختلفاً فقط لتجد جملة واحدة في كل منها.
النتيجة: مع إضافة المزيد من الخبراء، ينمو الوقت المستغرق في "المشي إلى الخزانة" بشكل خطي. إنه يتحول إلى ازدحام مروري.

2. الحل: "قائمة تسوق بميزانية محددة"

يقدم MergePipe مفهوماً يُسمى مجموعات الوصول الميزانية (Budgeted Access Sets). فكر في هذا كإعطاء مساعد المطبخ الخاص بك ميزانية صارمة (مثلاً: "يمكنك فتح 5 برطمانات فقط اليوم") وقائمة تسوق بناءً على نظرة سريعة على الملصقات.

الكتالوج (The Catalog): قبل أن تبدأ في الطبخ، ينظر MergePipe إلى "الملصقات" الموجودة على برطمانات التوابل (البيانات الوصفية مثل المخططات أو المعايير) دون فتحها. هو يعرف أي البرطمانات تحتوي على التغييرات الأكثر أهمية.
الخطة (The Plan): يقوم بوضع خطة: "نحن نحتاج فقط لفتح برطمانات الملح، والقرفة، والحرارة. يمكننا تجاهل البرطمانات الـ 17 الأخرى لأن تغييراتها صغيرة جداً لدرجة أنها لن تهم هذا المزيج المحدد".
التنفيذ (The Execution): المساعد يمشي إلى الخزانة مرة واحدة فقط ليأخذ تلك البرطمانات الثلاثة المحددة. هو يتجاهل البقية.

3. كيف يعمل في الممارسة العملية

يصف البحث عملية مكونة من ثلاث خطوات:

الكتالوج (Catalog): يبني النظام خريطة لجميع نماذج الخبراء، ملاحظاً أي أجزاء من النموذج (أي "الكتل" من الأوزان) هي مهمة.
المخطط (Planner): يعمل كمتسوق ذكي. إذا أعطيته ميزانية (مثلاً: "اقرأ 10% فقط من البيانات")، فإنه يختار أكثر "الفرق" (delta) قيمة (الفرق بين النموذج الأساسي والخبير) لقراءتها. يستخدم استراتيجية جشعة (Greedy Strategy): "التقط أكبر التغييرات وأكثرها أهمية أولاً حتى تكتمل الميزانية".
المنفذ (Executor): يقوم ببث البيانات (Streaming). يقرأ النموذج الأساسي، ثم يقرأ فقط تغييرات الخبراء المحددة التي خطط لقراءتها. هو "يتخطى" رياضياً الأجزاء غير المقروءة عبر معاملتها كصفر، دون الحاجة أبداً لتحميلها في الذاكرة.

4. النتائج: السرعة والدقة

اختبر البحث هذه التقنية على نماذج ذكاء اصطناٍ مشهورة (Qwen و Llama) مع ما يصل إلى 20-25 خبيراً.

السرعة: لأن نظام MergePipe يتوقف عن قراءة الملفات غير الضرورية، فقد كان أسرع بمقدار يصل إلى 11 مرة من الطريقة القديمة.
تقليل الإدخال/الإخراج (I/O Reduction): قلل من كمية البيانات المقروءة من القرص الصلب بمقدار يصل إلى 10 مرات (رتبة مقدارية).
الدقة: على الرغم من أنه لم يقرأ كل شيء، إلا أن الطبق النهائي كان طعمه مطابقاً تقريباً للطبق الأصلي. وجد البحث أن "فرق الطعم" (انحراف المعلمات) كان ضئيلاً جداً (حوالي 0.001)، وظل النموذج يعمل بشكل مثالي في الاختبارات القياسية مثل البرمجة أو المنطق.

5. لماذا هذا مهم؟

يجادل البحث بأنه مع نمو نماذج الذكاء الاصطناعي لتصبح "عائلات" تضم مئات المتغيرات، لا يمكننا الاستمرار في قراءة كل شيء بشكل عشوائي. نحن بحاجة إلى نظام يعامل أوزان النموذج كـ بيانات مهيكلة وميزانية بدلاً من كونها ملفات ضخمة وغير واضحة.

باختصار: MergePipe هو نظام يوقف عملية دمج الذكاء الاصطناعي من كونها مهمة "قراءة كل شيء" مملة. بدلاً من ذلك، يعمل كمكتب ذكي يعرف بالضبط الصفحات التي تحتاج لقراءتها من أي كتب للحصول على الإجابة، مما يوفر عليك ساعات من المشي إلى رفوف المكتبة مع تقديم الإجابة الصحيحة في النهاية.

ملخص تقني: أهمية مجموعات الوصول: قراءات خبيرة لميزانية دمج النماذج ذات المساحات الوزنية القابلة للتوسع

1. بيان المشكلة

مع اعتماد تطوير النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على عائلات من نقاط التفتيش (Checkpoints) — بما في ذلك النماذج الأساسية، والمتغيرات المضبطة للتعليمات، والخبراء المتخصصين في مجالات معينة، وتحديثات الفرق (Delta updates) — أصبحت مهمة دمج هذه النماذج في نموذج واحد قابل للنشر عبر دمج مساحة الأوزان (Weight-space merging) أمراً بالغ الأهمية. وبينما يركز البحث الحالي على كيفية دمج الأوزان (مثل المتوسط، أو TIES، أو DARE)، فقد ظهر اختناق تنفيذي كبير عند القياس الواسع: تكلفة قراءة معاملات الخبراء.

في سكربتات الدمج البدائية، يعامل النظام نقاط التفتيش كملفات غامضة، حيث يقوم بمسح جميع معاملات الخبراء بغض النظر عن مساهمتها الفعلية في الدمج النهائي. ومع نمو عدد الخبراء ( $K$ )، تزداد تكلفة قراءة الخبراء (I/O) بشكل خطي تقريباً، مما يجعل عملية الدمج مقيدة بمدخلات/مخرجات الإدخال/الإخراج (I/O-bound) بدلاً من أن تكون مقيدة بالحوسبة. وهذا يحد من قابلية توسع سير عمل الدمج التكراري، لا سيما عند التعامل مع مجموعات كبيرة من الخبراء المخزنة في وسائط التخزين.

2. المنهجية: MergePipe

يقدم المؤلفون MergePipe، وهو طبقة تنفيذ مدركة للميزانية تعيد صياغة دمج النماذج كـ مشكلة مجموعة وصول الخبراء. بدلاً من معاملة قاعدة الدمج كقيد أساسي، يقوم MergePipe بفصل الجمع المنطقي للأوزان عن الوصول الفيزيائي لتلك الأوزان.

التجريد الجوهري:
يعمل MergePipe بناءً على افتراض أن الخبراء متوافقون في نظام إحداثيات وزني مشترك (على سبيل المثال، تم ضبطهم بدقة من نموذج أساسي مشترك). وهو يقدم قناع وصول ( $A$ ) يحدد كتل دلتا الخبراء التي يتم قراءتها فيزيائياً.

دمج القراءة الكاملة: $A = 1$ (قراءة جميع الخبراء).
الدمج ذو الميزانية: اختيار قناع $A$ بحيث تكون تكلفة قراءة الخبير $C_{expert}(A) \leq B$ ، حيث $B$ هي ميزانية الإدخال/الإخراج التي يحددها المستخدم.
التنفيذ: يقوم النظام بتنفيذ عامل مدرك للقناع $\Psi_{op}$ . وتتم تمثيل المدخلات المحذوفة بواسطة القناع نفسه ولا تؤدي إلى استدعاء عمليات قراءة التخزين.

مكونات النظام:

الفهرس (Catalog): يعرض نقاط التفتيش كبيانات مهيكلة بالكتل بدلاً من ملفات غامضة. ويقوم بتخزين البيانات الوصفية (الحجم، التخطيط، الهاشات، المخططات، تلميحات التغطية) لتمكين تقدير التكلفة دون مسح نقاط التفتيش الكاملة.
المخطط (Planner): يبني قناع وصول حتمي $A$ يلبي قيد الميزانية. يقوم بترتيب دلتا الخبلاء المرشحة باستخدام إحصائيات الفهرس (مثل المعايير، المخططات) ويستخدم خوارزميات جشعة أو معايير "الدرجة لكل بايت" لاختيار الكتل. هو لا يغير منطق عامل الدمج، بل يقرر أي الدلتا سيتم تجسيدها.
**المنفذ (Executor): يقوم ببث كتل القاعدة ويستخدم DeltaIterator لتجسيد دلتا الخبراء المختارة فقط. كما يطبق العامل المدرك للقناع ويسجل مانيفست (Manifest) قابل لإعادة التشغيل يحتوي على قناع الوصول، وهاش المخطط، والنسب (Lineage).

الضمانات النظرية:

سلامة الميزانية: يتم ضمان بقاء مسار التنفيذ ضمن الميزانية المحددة $B$ من خلال التصميم.
* اتساق الميزانية الكاملة: إذا تم ضبط الميزانية لتغطية جميع الخبراء ( $A=1$ )، فإن النظام يستعيد دمج القراءة الكاملة القياسي تماماً.
حدود الخطأ: بالنسبة للعمليات الجمعية ذات المعاملات الثابتة، يتم تحديد خطأ التحديث المحذوف بمعيار (Norm) الدلتا المحذوفة. بالنسبة للعمليات غير الجمعية (مثل TIES أو DARE)، يوفر النظام نفس التجريد، مع تقييم الدقة تجريبياً.

3. المساهمات الرئيسية

مجموعات وصول الخبراء ككائن ميزاني: يقترح البحث معاملة الوصول إلى الخبراء كمورد ميزاني من الدرجة الأولى، وفصل "أي" (الوصول) عن "كيف" (الجمع).
التحليل النظري: يثبت المؤلفون سلامة الميزانية، واتساق الميزانية الكاملة، ويستنتجون حداً للتحديث المحذوف للدمج الجمعي، مما يبرر استخدام درجات الوصول القائمة على المعيار (Norm-based).
تنفيذ MergePipe: نظام ملموس يطبق هذا التجريد، محققاً تخفيضات هائلة في عمليات قراءة الخبراء (I/O) وتسريعات كبيرة دون الحاجة لتغيير عوامل الدمج الأساسية.

4. النتائج التجريبية

قيم المؤلفون MergePipe على عائلات نقاط تفتيش Qwen و Llama (تتراوح بين 0.6 مليار إلى 8 مليارات معلمة) مع ما يصل إلى 25 خبيراً.

الإدخال/الإخراج والسرعة: يقلل MergePipe من قراءة الخبراء (I/O) بمقدار مرتب من العظمة (Order of magnitude). في سيناريوهات محددة (مثل دمج TIES مع 20 خبيراً)، يحقق تسريعات تصل إلى 11 ضعفاً مقارنة بالنماذج الأساسية للقراءة الكاملة.
القابلية للتوسع: بينما يظهر الدمج التقليدي نمواً خطياً تقريباً في الإدخال/الإخراج ووقت الجدار (Wall time) مع زيادة عدد الخبراء، يحافظ MergePipe على قراءات الخبراء مستقرة تقريباً عبر فرض سقف الميزانية.
عمومية العامل: النهج متوافق مع مختلف العوامل (AVG, TIES, DARE). وتستفيد الطرق المتفرقة (Sparse) مثل TIES أكثر، حيث ينخفض الإدخال/الإخراج من ~174 جيجابايت إلى ~3.5 جيجابايت في سيناريوهات الخبراء العالية.
الدقة (Fidelity):
- انحراف المعلمات: عند 50% من ميزانية القراءة الكاملة، يظل الانحراف النسبي لـ $\ell_2$ عن الدمج الكامل في حدود $O(10^{-3})$ .
- الأداء اللاحق: تظهر الاختبارات المعيارية (HumanEval, IFEval, DROP) عدم وجود تدهور رتيب. في بعض الحالات، حتى يتذبذب الأداء قليلاً فوق خط الأساس للقراءة الكاملة، مما يشير إلى وجود علاقة طردية بين السرعة والدقة.
العبء الإضافي (Overhead): العبء الإضافي للنظام ضئيل؛ حيث يمثل وقت التخطيط حوالي 1% من وقت التنفيذ، وتعتبر البيانات الوصفية المخزنة جزءاً ضئيلاً من إجمالي الإدخال/الإخراج.

5. الأهمية والادعاءات

يزعم البحث أنه بالنسبة لعائلات نقاط التفتيش بمقياس LLM، فإن المورد المحدد غالباً هو مجموعة أوزان الخبراء التي يجب قراءتها، وليس الحوسبة المطلوبة للدمج.

تحول في النموذج: يجادل المؤلفون بأن دمج مقياس LLM يتطلب تجريداً للوصول إلى الأوزان، وليس فقط قواعد دمج أفضل. ومن خلال معاملة الأوزان كبيانات مهيكلة وميزانية بدلاً من ملفات غامضة، يكشف MergePipe عن حدود عملية بين السرعة والدقة.
التكامل: يُقدم MergePipe كعنصر مكمل لطرق التماثل أو محاذاة الترتيب. بمجرد محاذاة الأوزان، يقوم MergePipe بتحسين التنفيذ الفيزيائي.
الآثار المستقبلية: مع استمرار نمو عائلات النماذج، يقترح المؤلفون أن طرق مساحة الأوزان يجب أن تقترن بطبقات تنفيذ تدير صراحة أنماط إدخال/إخراج المعلمات لتبقى قابلة للتوسع.

لا يدعي العمل ابتكار خوارزميات دمج جديدة، بل يوفر البنية التحتية التنفيذية اللازمة لجعل خوارزميات الدمج الحالية قابلة للتوسع في عصر مجموعات الخبراء الضخمة.