💬 NLP

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation

تقدم هذه الورقة ACE-Merging، وهو إطار عمل لدمج النماذج بدون بيانات يستفيد من رؤية نظرية لتقدير تباين مدخلات المهام ضمنياً من فروق المعلمات، مما يتيح حلاً مغلق الصيغة ومبنياً على أسس سليمة يتفوق بشكل كبير على الأساليب الحالية في التخفيف من التداخل بين المهام عبر معايير الرؤية واللغة.

المؤلفون الأصليون: Bo Xu, Haotian Wu, Hehai Lin, Weiquan Huang, Beier Zhu, Yao Shu, Chengwei Qin

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bo Xu, Haotian Wu, Hehai Lin, Weiquan Huang, Beier Zhu, Yao Shu, Chengwei Qin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من خمسة طهاة عباقرة.

الشيف (أ) خبير في صنع المعكرونة الإيطالية.
الشيف (ب) عبقري في خبز المعجنات الفرنسية.
الشيف (ج) متخصص في الكاري الهندي الحار.
الشيف (د) هو أفضل شيف سوشي في العالم.
الشيف (هـ) يبدع في الحلويات النباتية المذهلة.

تريد إنشاء "شيف خارق" واحد يمكنه طهي كل هذه الأطباق بإتقان.

المشكلة: "تصادم المطبخ"

إذا طلبت من هؤلاء الطهاة فقط الوقوف في منتصف المطبخ والصراخ بوصفاتهم في نفس الوقت، فستعم الفوضى. سيقول الطاهي الإيطالي "أضف زيت الزيتون!" بينما يصرخ شيف السوشي "حافظ على المكونات نيئة!". النتيجة؟ فوضى عارمة ومربكة. في عالم الذكاء الاصطناعي، يُسمى هذا التداخل (Interference). فعندما تحاول دمج نماذج ذكاء اصطناعي مختلفة (خبراء) في نموذج واحد، فإنها غالباً ما تلغي بعضها البعض، ويصبح النموذج النهائي سيئاً في كل شيء.

عادةً، لحل هذه المشكلة، ستحتاج إلى توظيف "رئيس طهاة" (بشري) لتذوق كل طبق، وتعديل الوصفات، وإعادة تدريب الفريق. ولكن في العالم الحقيقي، غالباً لا نملك المكونات الأصلية (بيانات التدريب) أو الوقت لإعادة التدريب. لدينا فقط الوصفات النهائية مكتوبة على الورق.

الطريقة القديمة: التخمين والمتوسط الحسابي

حاولت الطرق السابقة حل المشكلة ببساء عن طريق حساب المتوسط للوصفات.

الشيف (أ) يقول: "أضف كوبين من الدقيق."
الشيف (ب) يقول: "أضف كوباً واحداً من الدقيق."
المتوسط: "أضف 1.5 كوب."

هذا يعمل بشكل جيد في الأشياء البسيطة، لكنه يفشل عندما تكون المهام مختلفة تماماً. الأمر يشبه حساب متوسط وصفة كعكة مع وصفة عشاء ستيك. النتيجة ستكون كعكة مالحة وطرية. حاولت طرق أخرى أن تكون "ذكية" عبر النظر في المكونات، لكنها كانت لا تزال بحاجة لرؤية الطعام الفعلي (البيانات) لتعرف ما هو المهم.

الحل الجديد: ACE-Merging (المحقق الذاكرة)

لقد توصل مؤلفو ورقة البحث هذه، ACE-Merging، إلى فكرة عبقرية: لست بحاجة للمكونات لتعرف بماذا كان يفكر الطاهي.

لقد أدركوا أن التغييرات التي أجراها الطاهي على وصفته الأصلية لتعلم طبق جديد تحتوي على "بصمة" خفية للمكونات التي استخدمها.

إذا غير الطاهي وصفته بشكل جذري لتعلم كيفية صنع الكاري الحار، فإن نمط تلك التغييرات يخبرنا أنه كان يعمل مع الكثير من الحرارة والتوابل.
إذا أجرى تعديلات طفيفة ودقيقة لعمل "سوفليه" رقيق، فإن النمط يكون مختلفاً.

يعمل ACE-Merging مثل المحقق. فهو ينظر إلى "قبل وبعد" وصفة كل خبير (أوزان النموذج) ويتساءل: "ما هي أنواع المكونات التي يجب أن تكون في المطبخ لتسبب هذه التغييرات المحددة؟"

كيف يعمل (السحر في 3 خطوات)

قراءة العقل (تقدير التباين - Covariance Estimation):
بدلاً من طلب البيانات، ينظر ACE-Merging إلى "إزاحة الوزن" (الفرق بين وصفة الخبير النهائية والوصفة الأساسية الأصلية). يقوم بحساب خريطة "التباين" (Covariance). فكر في هذا كـ خريطة حرارية توضح الأجزاء الأكثر نشاطاً في الوصفة. إنها تخبر النظام: "هذا الخبير كان مركزاً جداً على 'الحرارة والبهارات'، بينما كان ذاك مركزاً على 'الحلاوة والقوام'."
موازنة الموازين (التطبيع التكيفي - Adaptive Normalization):
تخيل أن الشيف (أ) يصرخ بصوت عالٍ جداً (مهمة معقدة للغاية) والشيف (ب) يهمس (مهمة بسيطة). إذا استمعت فقط إلى مستوى الصوت، فستسمع الشيف (أ) فقط.
يمتلك ACE-Merging "مقبض تحكم في الصوت" خاصاً به. إذا اكتشف أن المهام مختلفة جداً (غير متجانسة)، فإنه يخفض صوت الطهاة الصاخبين ويرفع صوت الطهاة الهادئين، مما يضمن حصول الجميع على فرصة عادلة في الوصفة النهائية.
تلميع الطبق (التحسين الطيفي - Spectral Refinement):
أحياناً، حتى بعد الموازنة، قد تكون الوصفة النهائية "غير متوازنة" (مثل كعكة تحتوي على 99% سكر و1% دقيق). يقوم ACE-Merging بعمل "اختبار تذوق" نهائي باستخدام تقنية رياضية تسمى SVD (تحليل القيم المفردة). إنها تعمل على تنعيم التطرفات، مما يضمن أن النموذج النهائي مستقر، وقوي، ولا يتفاعل بشكل مبالغ فيه مع أي تعليمات منفردة.

لماذا يعد هذا أمراً هاماً؟

لا حاجة للبيانات: لست بحاجة لبيانات التدريب الأصلية (المكونات). أنت فقط بحاجة للنماذج النهائية. وهذا أمر ضخم فيما يتعلق بالخصوصية والأمان.
نتائج فورية: على عكس الطرق الأخرى التي تتطلب ساعات من "إعادة التدريب" (التذوق والتعديل)، فإن هذا حل مغلق (Closed-form solution). إنه يشبه امتلاك آلة حاسبة تعطيك الوصفة المثالية فوراً، بدلاً من الطبخ 100 مرة لمعرفة ما الذي سينجح.
أداء أفضل: في اختباراتهم، أنشأت هذه الطريقة "طهاة خارقين" كانوا أفضل بكثير في طهي جميع أنواع الأطباق من أي طريقة سابقة. في النماذج اللغوية (مثل GPT-2)، حسنت الأداء بنسبة 4% تقريباً في المتوسط — وهي قفزة هائلة في عالم الذكاء الاصطناوي.

الخلاصة

ACE-Merging هو طريقة ذكية وخالية من البيانات لدمج خبراء الذكاء الاصطناعي المختلفين. لقد أدركت أن أنماط التغيير التي يجريها النموذج لتعلم مهمة ما تحمل سر كيفية دمجها بأمان. ومن خلال قراءة "أنماط التغيير" هذه، يمكنها دمج عقول الذكاء الاصطناعي المختلفة في عقل خارق واحد دون الحاجة لرؤية البيانات الأصلية، ودون الحاجة لإعادة التدريب، ودون أن تتصارع النماذج مع بعضها البعض.

إنه الفرق بين خلط الألوان بعشوائية وبين استخدام عجلة الألوان لدمجها ببراعة لتكوين لوحة فنية رائعة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ACE-Merging: دمج النماذج بدون بيانات باستخدام تقدير التباين التكيفي."

1. بيان المشكلة

يهدف دمج النماذج (Model Merging) إلى دمج نماذج متعددة متخصصة في مهام معينة (تم ضبطها بدقة من نموذج أساسي مشترك) في نموذج واحد موحد دون الحاجة إلى الوصول إلى بيانات التدريب الأصلية. ويعد هذا أمراً بالغ الأهمية لتوحيد المعرفة في السيناريوهات التي تكون فيها البيانات خاصة، أو غير متاحة، أو كبيرة جداً بحيث يصعب إعادة التدريب عليها.

التحدي الجوهري:

التداخل بين المهام (Inter-Task Interference): عند دمج نماذج تم تدريبها على أهداف مختلفة، غالباً ما تتعارض تحديثات المعلمات (parameters) الخاصة بها، مما يؤدي إلى تدهور كبير في الأداء.
محدودية غياب البيانات (The Data-Free Limitation): تندرج الحلول الحالية ضمن فئتين:
- الطرق المعتمدة على البيانات: تتطلب الوصول إلى بيانات المهمة لتقدير الإحصائيات (مثل معلومات فيشر)، وهو أمر غير عملي غالباً بسبب قيود الخصوصية أو التخزين.
- الطرق الاستدلالية/التكرارية: تعمل فقط على الأوزان (مثل Task Arithmetic و Ties-Merging) ولكنها تعتمد على المتوسطات البسيطة أو التحسين التكراري المعقد (الاشتقاق المتدرج) دون ضمان نظري للأمثلية. وغالباً ما تفشل في معالجة السبب الجذري للتداخل: وهو عدم التطابق في توزيعات البيانات الأساسية.

الفجوة: هناك نقص في وجود حل صيغة مغلقة (closed-form)، مبني على أسس نظرية، يمكنه تقدير البنية الإحصائية اللازمة لبيانات المهام مباشرة من أوزان النماذج فقط.

2. المنهجية: ACE-Merging

يقترح المؤلفون إطار عمل ACE-Merging (تقدير التباين التكيفي)، وهو إطار يربط نظرياً بين تحديثات فضاء المعلمات وإحصائيات مستوى البيانات.

أ. الأساس النظري

تضع الورقة رؤية نظرية رئيسية: تباين المدخلات لمهمة ما ( $\Sigma_t$ ) مشفر ضمناً في إزاحات المعلمات ( $\Delta W_t$ ) للنموذج الذي تم ضبطه بدقة.

تحت تقريب خطي لطبقات المحولات (Transformer layers) حيث ( $f(W, x) \approx Wx$ )، فإن الأوزان المدمجة المثلى $\bar{W}$ التي تقلل التباين مع جميع الخبراء تتبع حلاً بصيغة مغلقة:
$\bar{W} = \left( \sum_{t} W_t \Sigma_t \right) \left( \sum_{t} \Sigma_ t \right)^{-1}$
النظرية 1: يثبت المؤلفون أن $\Sigma_t \propto \text{Cov}(\Delta W_t)$ . وهذا يعني أنه يمكن تقدير تباين المدخلات مباشرة من تحديثات الضبط الدقيق ( $\Delta W_t = W_t - W_0$ ) دون الحاجة لأي بيانات.

ب. خوارزمية المراحل الثلاث

ينفذ ACE-Merging هذه النظرية من خلال ثلاثة مكونات محددة للتعامل مع التباين في العالم الحقيقي:

تطبيع التباين التكيفي (Adaptive Covariance Normalization):
- المشكلة: غالباً ما تمتلك المهام "مقاييس طاقة" (energy scales) متفاوتة للغاية (حجم تحديثات الأوزان). المهام ذات الطاقة العالية تهيمن على عملية الدمج، مما يؤدي إلى تهميش المهام ذات الطاقة المنخفضة.
- الحل: تستخدم الطريقة حساب مقياس عدم التجانس ( $\gamma$ ) بناءً على تباين معايير (log-Frobenius norms) لمتجهات المهام.
- إذا تجاوز $\gamma$ عتبة معينة (مما يشير إلى عدم تجانس عالٍ)، تقوم الطريقة بتطبيع مصفوفة التباين لكل مهمة باستخدام أثرها ( $\text{Tr}(\hat{\Sigma}_t)$ ) لمساواة مقاييس الطاقة. كما تطبق تنظيم تيكونو (Tikhonov regularization) مُقاساً بالأثر لضمان الاستقرار العددي أثناء قلب المصفوفة.
المنطلق الهيكلي الجماعي (Collective Structural Prior - CSP):
- المشكلة: التنظيم القياسي (مثل $+\epsilon I$ ) هو تنظيم متماثل المناحي (isotropic) ويتجاهل هندسة فضاء الميزات.
- الحل: تبني الطريقة منطلقاً هيكلياً جماعياً ( $C_{agg}$ ) عن طريق تجميع الإحصائيات العمودية لجميع مصفوفات التباين المُقاسة. يعمل هذا كمنظم غير متماثل المناحي (anisotropic regularizer) يقوم بتضخيم الأبعاد ذات الأهمية المشتركة عبر المهام، مما يدمج الإجماع الهيكلي بين المهام في عملية التحسين بشكل فعال.
التحسين الطيفي (Spectral Refinement):
- المشكلة: حتى مع التطبيع، غالباً ما يعاني الحل الأولي ذو الصيغة المغلقة من سوء حالة طيفية (spectral ill-conditioning) (تركيز مفرط للطاقة في القيم المفردة العليا)، مما يجعل النموذج حساساً للضوضاء.
- الملاحظة: الاتجاهات الرئيسية (eigenvectors) للحل الأولي عادة ما تكون صحيحة، لكن توزيع القيم المفردة (singular values) يكون غير متوازن.
- الحل: تحسب الطريقة بقايا هيكلية وتجري تحليل قيم مفردة منخفض الرتبة (low-rank SVD). تقوم بإعادة وزن الاتجاهات الرئيسية الـ $k$ العليا باستخدام متوسط قيمتها المفردة لاستعادة ملف طاقة مستقر ومعبر مع الحفاظ على الفضاء الهيكلي الصحيح.

3. المساهمات الرئيسية

الأساس النظري: تقدم الورقة أول إثبات رسمي يربط تغييرات معلمات الضبط الدقيق مباشرة بمصفوفات تباين المدخلات، مما يسمح بدمج النماذج بدون بيانات بناءً على أساس نظري.
إطار عمل موحد: تعيد الطريقة تفسير الأساليب السابقة (مثل المتوسط البسيط و WUDI-Merging) كتقديرات ضمنية، وغالباً ما تكون خشنة، لتباين المدخلات، مما يوضح سبب نجاحها وأسباب فشلها.
حل بصيغة مغلقة: على عكس طرق الدمج التكرارية القائمة على الاشتقاق المتدرج، يوفر ACE-Merging حلاً مبنياً على أسس نظرية، غير تكراري، وبصيغة مغلقة، مما يضمن الكفاءة الحسابية والاستقرار.
أداء رائد (SOTA): تظهر التجارب المكثفة أن ACE-Merging يتفوق على جميع النماذج المرجعية الحالية التي لا تعتمد على البيانات، بل ويتفوق حتى على بعض الطرق المعتمدة على البيانات وطرق التكيف في وقت الاختبار.

4. النتائج التجريبية

قيم المؤلفون ACE-Merging على معايب متنوعة للرؤية واللغة:

معايب الرؤية (ViT):
- تم الاختبار على ViT-B/32، ViT-B/16، و ViT-L/14 عبر مجموعات من 8، 14، و 20 مهمة.
- النتيجة: حقق ACE-Merging أفضل أداء (SOTA) في جميع الحالات التسع. وفي الحالة الأكثر تحدياً (20 مهمة لنموذج ViT-L/14)، حقق دقة بنسبة 89.5%، متفوقاً على أفضل طريقة تالية (TSV-M) بنحو نقطتين كاملتين.
معايب اللغة:
- GPT-2: حقق متوسط درجة 74.1% في معيار GLUE، متفوقاً على الرقم القياسي السابق (Ties-Merging) بنسبة 4.1% وعلى TSV-M بنسبة 3.9%.
- RoBERTa: في نموذج RoBERTa-Base، حقق 90.4% (مقننة)، متفوقاً على WUDI-Merging بنسبة 5.1%. وفي RoBERTa-Large، وصل إلى 91.7%، متفوقاً على WUDI-Merging بنسبة 2.9%.
- LLaMA-3: أظهر قدرة قوية على التعميم خارج النطاق، حيث استعاد أداءً ملحوظاً في المهام متعددة اللغات والبرمجة حيث فشل المتوسط البسيط.
الكفاءة:
- تتميز الطريقة بتعقيد حسابي قدره $O(L \cdot T \cdot n^3)$ ، وهو ما يماثل طرق SVD، ولكنها تتجنب العبء التكراري (عدد الخطوات $K$ ) الذي تفرضه الطرق القائمة على الاشتقاق المتدرج مثل WUDI-Merging.

5. الأهمية

العملية: يحل ACE-Merging معضلة "غياب البيانات"، مما يسمح للمؤسسات بدمج النماذج المملوكة أو الخاصة دون الحاجة للوصه إلى مجموعات البيانات الأصلية.
القابلية للتوسع: الطبيعة ذات الصيغة المغلقة تجعل ACE-Merging قابلاً للتوسع بشكل كبير للنماذج الضخمة (مثل LLaMA-3 و ViT-L) ولعدد كبير من المهام، حيث يصبح التحسين التكراري مكلفاً للغاية.
التقدم النظري: من خلال إرساء الربط بين إزاحات الأوزان وتباين المدخلات، تنقل هذه الورقة دمج النماذج من مجرد هندسة استدلالية إلى مسألة تحسين قائمة على أسس نظرية.
المتانة: تضمن آليات التكيف (التطبيع والتحسين الطيفي) عمل الطريقة بمتانة عبر مختلف البنى (المحولات، ViTs) ودرجات التباين في المهام.

في الختام، يمثل ACE-Merging قفزة نوعية في مجال دمج النماذج، حيث يقدم حلاً فعالاً وعالي الأداء ومبنياً على أسس نظرية لدمج النماذج المتخصصة دون الحاجة للوصول إلى البيانات.