🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

تقترح هذه الورقة إطاراً عاماً لدمج النماذج يعتمد على متوسط فريشيه (Fréchet averaging) عبر متشعبات مناسبة لضمان ثبات التماثل، مما يبرهن على قدرته على استيعاب الأساليب الحالية مثل دمج فيشر (Fisher merging)، ويوفر خوارزمية عملية لدمج المحولات منخفضة الرتبة (LoRA) تعالج أوجه القصور في النهج الحالية.

المؤلفون الأصليون: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الطهاة الخبراء. كل طاهٍ أتقن طبقاً معيناً: أحدهم يصنع اللازانيا المثالية، والآخر يحضر السوشي المثالي، والثالث يصنع أفخم طبق سوفليه. الآن، تريد إنشاء "طاهٍ خارق" يمكنه طهي هذه الأطباق الثلاثة ببراعة، لكن ليس لديك الوقت لتدريب طاهٍ جديد من الصفر؛ أنت فقط تريد دمج معرفة الطهاة الحاليين.

في عالم الذكاء الاصطناعي، يسمى هذا دمج النماذج (Model Merging). أنت تأخذ "الأوزان" (الإعدادات الداخلية) لنماذج ذكاء اصطناعي مختلفة وتحاول مزجها في نموذج واحد.

المشكلة: "الخريطة الخاطئة"

تجادل الورقة البحثية بأن الطريقة القديمة للقيام بذلك تشبه محاولة خلط وصفات هؤلاء الطهاة عبر مجرد حساب متوسط أرقامهم على ورقة. هذا يعمل جيداً إذا كان الجميع يكتبون بنفس اللغة ويستخدمون نفس الوحدات.

لكن نماذج الذكاء الاصطناعي لديها ميزة خفية: التماثل (Symmetry).
فكر في الأمر كالتالي: قد يكتب الطاهي (أ) "كوبان من الدقيق"، بينما يكتب الطاهي (ب) "كوب واحد من الدقيق + كوب واحد من الدقيق". كلاهما يعني الشيء نفسه تماماً، لكن الأرقام تبدو مختلفة. أو ربما قام الطاهي (ج) بتبديل ترتيب المكونات في دفتر ملاحظاته، لكن مذاق الطبق ظل متطابقاً.

في الذكاء الاصطناعي، هناك طرق عديدة لكتابة نفس "الوصفة" (النموذج) باستخدام أرقام مختلفة. وإذا قمت فقط بأخذ متوسط الأرقام (المتوسط الساذج - Naive Averaging)، فقد ينتهي بك الأمر بوصفة تقول "صفر كوب من الدقيق" لأن الأرقام الموجبة والسالبة ألغت بعضها البعض. لقد صنعت نموذجاً معطلاً لا يستطيع طهي أي شيء.

يسمي المؤلفون هذا الخروج عن المدار (Stepping off the orbit). تخيل أن الوصفة "الحقيقية" موجودة على مسار دائري (مدار). إذا رسمت ببساطة خطاً مستقيماً بين نقطتين على المسار، فستقطع عبر المنتصف لتصل إلى الطين (نموذج معطل)، بدلاً من البقاء على المسار حيث توجد الوصفات الجيدة.

الحل: "البوصلة الذكية" (GeoMerge)

تقترح الورقة طريقة جديدة تسمى GeoMerge. بدلاً من مجرد حساب متوسط الأرقام، هم يعاملون فضاء نماذج الذكاء الاصطناعي كمنظر طبيعي منحني (Riemannian manifold).

الخريطة: أدركوا أنه بسبب التماثل (الطرق المختلفة لكتابة نفس الوصفة)، فإن "الخريطة الحقيقية" ليست ورقة مسطحة. بل هي سطح مطوي ومنحنٍ، حيث تمثل نقاط مختلفة الشيء نفسه بالفعل.
البوصلة: يستخدمون أداة رياضية تسمى متوسط فريشيه (Fréchet Average). فكر في هذا ليس كمتوسط بسيط، بل كإيجاد "مركز الثقل" على سطح منحني.
المحاذاة (Alignment): قبل مزج النماذج، يقومون أولاً بـ "محاذاتها". يشبه ذلك التأكد من أن الطاهي (أ) والطاهي (ب) يستخدمان نفس أكواب القياس ويكتبان بنفس الترتيب. إنهم يجدون النسخة المحددة من وصفة كل طاهٍ التي تكون الأقرب للآخرين، متجاهلين الاختلافات الشكلية في كيفية كتابة الأرقام.
المسار: بدلاً من القطع مباشرة عبر الطين، يسيرون على طول مسار منحني (Geodesic) يبقي في مسار "الوصفات الجيدة".

لماذا يهم هذا تقنية "LoRA" (الطهاة المتخصصون)

تركز الورقة بشكل كبير على تقنية شائعة تسمى LoRA (التكيف منخفض الرتبة). تخيل أن هؤلاء ليسوا طهاً كاملين، بل هم طهاة مساعدون متخصصون يقومون فقط بتعديل بعض المكونات المحددة لجعل الطبق أفضل.

وجد المؤلفون أنه عندما تحاول دمج هذه التعديلات المتخصصة باستخدام الطرق القديمة، فإن مشكلة "التماثل" تصبح أسوأ. ملاحظات الطهاة المساعدين مرنة للغاية بحيث يمكن كتابتها بآلاف الطرق المختلفة التي تعني الشيء نفسه.

الطريقة القديمة (KnOTS): تحاول فرض محاذاة الملاحظات باستخدام خدعة رياضية صارمة وخطوة بخطوة (SVD). وهي تعمل بشكل جيد نوعاً ما، لكنها تشبه محاولة إدخال أوتاد مربعة في ثقوب مستديرة.
GeoMerge: تدرك أن الملاحظات تعيش بشكل طبيعي على سطح منحني. تستخدم "البوصلة الذكية" لإيجاد المركز الحقيقي للمجموعة دون فرض شكل صلب عليها.

النتائج

اختبر الباحثون هذا على نموذج ذكاء اصطناعي كبير (Llama 3) تم تخصيصه لأنواع مختلفة من الألغاز اللغوية (الاستدلال باللغة الطبيعية).

النتيجة: أنشأت GeoMerge "طاهياً خارقاً" يتفوق في أدائه على أفضل طريقة سابقة (KnOTS).
الكفاءة: والأفضل من ذلك، أن GeoMerge فعلت ذلك مع الحفاظ على "حجم" الوصفة صغيراً. الطريقة القديمة انتهت بوصفة ضخمة ومتضخمة (رتبة عالية/high rank)، بينما حافظت GeoMerge على كونها رشيقة وفعالة، مما أثبت أنها تفهم هندسة المشكلة بشكل أفضل.

باختختصار

تقول الورقة البحثية: لا تكتفِ بحساب متوسط الأرقام. نماذج الذكاء الاصطناعي تشبه الوصفات التي يمكن كتابتها بالعديد من اللغات. إذا كنت تريد دمجها، فعليك أولاً ترجمتها إلى لغة مشتركة (المحاذاة) ثم إيجاد مركز المجموعة باستخدام خريطة تحترم شكل العالم (الهندسة)، بدلاً من مسطرة مسطحة. هذا يمنع "الطاهي الخارق" من التحول إلى فوضى معطلة.

إليك ملخص تقني مفصل لورقة البحث "Generalizing the Geometry of Model Merging Through Fréchet Averages" من قبل da Silva وآخرون.

1. بيان المشكلة

يهدف دمج النماذج (Model merging) إلى الجمع بين عدة شبكات عصبية مدربة في نموذج واحد دون الحاجة إلى تدريب إضافي شامل (end-to-end). وبينما يعمل متوسط فضاء المعلمات البسيط (مثل Model Soups) بشكل جيد للنماذج التي تم ضبطها بدقة كاملة الرتبة (full-rank)، إلا أنه يفشل بشكل كبير عند تطبيقه على طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA (التكيف منخفض الرتبة).

تكمن المشكلة الجوهرية في التماثل المعماري (Architectural symmetry):

معلمات الشبكة العصبية ليست إحداثيات معيارية؛ حيث يمكن لإعدادات معلمات متميزة أن تمثل نفس الدالة (المدخلات-المخرجات) تماماً بسبب التماثلات (مثل تبديل الخلايا العصبية، أو إعادة القياس، أو تماثلات القياس/gauge symmetries في التفكيكات منخفضة الرتبة).
المتوسط الساذج (Naive averaging) (الأوروبيدي/Euclidean) يتجاهل هذه التماثلات. يمكن أن يؤدي ذلك إلى "الخروج" عن المدار الهندسي الصحيح، مما يسبب تداخلاً تدميرياً حيث ينهار النموذج المدمج أو يؤدي أداءً سيئاً.
تحاول طرق المحاذاة الحالية (مثل KnOTS) إصلاح ذلك من خلال محاذاة تحديثات المهام عبر تحليل القيم المفردة (SVD)، لكنها غالباً ما تعتمد على خيارات قياس (gauge choices) محددة أو استدلالات تعتمد على الإحداثيات لا تحترم الهندسة الكامنة بشكل كامل.

2. المنهجية: GeoMerge

يقترح المؤلفون GeoMerge، وهو إطار عمل يعيد صياغة دمج النماذج كعملية حساب متوسط فريشيه (Fréchet mean) على منطويد ريماني (Riemannian manifold).

التحول المفاهيمي الجوهري

بدلاً من حساب متوسط المعلمات في الفضاء الأوروبيدي، يعامل GeoMerge فضاء المعلمات كـ منطويد قسمي (quotient manifold) ( $\mathcal{M} = \bar{\mathcal{M}} / G$ )، حيث $G$ هي مجموعة التماثل (على سبيل المثال، $GL(r)$ بالنسبة لـ LoRA).

المتوسط الجوهري (Intrinsic Averaging): الهدف هو إيجاد نقطة على المنطويد القسمي تقلل مجموع المسافات الجيوديسية (geodesic distances) إلى النماذج المدخلة.
الثبات تجاه التماثل (Symmetry Invariance): من خلال العمل على المنطويد القسمي، يصبح الدمج ثابتاً تجاه التوصيف المحدد للمعلمات (gauge/parameterization) للنماذج المدخلة.

الصيغة الرياضية

متوسط فريشيه (Fréchet Mean): بالنظر إلى النماذج $\theta_1, \dots, \theta_T$ ، فإن النموذج المدمج $\mu^*$ هو المقلل للدالة الوظيفية لـ Fréchet:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
حيث $d_{\mathcal{M}}$ هي المسافة الجيوديسية على المنطويد.
هندسة القسم لـ LoRA:
- يتم تمثيل تحديثات LoRA كـ $\Delta W = GH^\top$ . هذا التفكيك يمتلك تماثل $GL(r)$ : $(G, H) \sim (GA^{-1}, HA^\top)$ .
- يقترح المؤلفون استخدام التفكيك القطبي (Polar Factorization) ( $\Delta W = UBV^\top$ ) لنقل المشكلة إلى حاصل ضرب منطويدات ستيفل (Stiefel manifolds - $St$ ) ومنطويدات المصفوفات المتماثلة والموجبة تماماً (SPD).
- قاموا بتعريف مقاييس ريمانية محددة:
  - مقياس ثابت التآلف (Affine-invariant metric) لعامل الـ SPD ( $B$ ).
  - مقياس ستيفل المعياري (Canonical Stiefel metric) للعوامل المتعامدة ( $U, V$ ).
الخوارزمية (Quotient GeoMerge):
تتبادل الخوارزمية بين خطوتين لحساب المتوسط:
- المحاذاة (تقليل المدار - Orbit Minimization): بالنسبة لتقدير حالي $\mu_t$ ، ابحث عن تحويل التماثل $G_i$ لكل مدخل $\theta_i$ الذي يقلل المسافة إلى $\mu_t$ . هذا يحاذي المدخلات لتكون في نفس "القياس" (gauge) أو الفضاء الأفقي.
- المتوسط الجوهري (Intrinsic Averaging): احسب خريطة اللوغاريتم (logarithm map) (متجهات المماس) من $\mu_t$ إلى المدخلات المحاذية. هذه المتجهات مضمون أنها أفقية (orthogonal to the symmetry orbits). يتم تحديث المتوسط بالتحرك على طول المسار الجيوديسي المحدد بواسطة المجموع الموزون لهذه المتجهات الأفقية.

3. المساهمات الرئيسية

التوحيد الهندسي: تثبت الورقة أن دمج النماذج هو في الأساس مشكلة حساب متوسطات فريشيه على منطويدات ريمانية. وهي توحد استراتيجيات الدمج المختلفة تحت هذا المنظور الهندسي.
الدمج المدرك للتماثل (Symmetry-Aware Merging): يوفر حلاً مبدئياً لمشكلة "عدم المحاذاة" في PEFT من خلال نمذجة فضاء المعلمات صراحة كمنطويد قسمي، مما يضمن أن الدمج ثابت تجاه خيارات القياس (gauge).
الارتباط بدمج فيشر (Fisher Merging): يوضح المؤلفون أن دمج فيشر الموزون (Fisher-weighted merging) هو تقريب قابل للتطبيق لمتوسط فريشيه تحت هندسة فيشر-راو (Fisher-Rao geometry)، وتحديداً عند استخدام بديل تربيعي وتجاهل تغيرات التباين (covariance). ومع ذلك، يشيرون إلى أن دمج فيشر القياسي لا يزال يعاني من مشاكل التماثل لأن آلية المتوسط نفسها ليست ثابتة تجاه التماثل.
خوارزمية عملية لـ LoRA: اشتقوا خوارزمية ملموسة لمهايئات LoRA باستخدام التفكيك القطبي ومقاييس ريمانية محددة، مما يسمح بحساب فعال للمسارات الجيوديسية والمحاذاة دون الحاجة لبيانات.
تحليل النموذج التجريبي (Toy Model): قدموا حلاً تحليلياً مغلقاً لنموذج بسيط ذي تماثل قياس (scaling-symmetric model)، مما يثبت أن المتوسط الأوروبي الساذج يفشل (ينهار إلى الصفر) بينما يستعيد GeoMerge المتنبئ الجوهري بشكل صحيح.

4. النتائج التجريبية

قيم المؤلفون GeoMerge على نموذج Llama-3 8B مع مهايئات LoRA التي تم ضبطها بدقة على ست مجموعات بيانات للاستدلال اللغوي الطبيعي (NLI) وهي (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

الأساس المرجعي (Baseline): قارنوا النتائج مع KnOTS، وهو طريقة متطورة تقوم بمحاذاة تحديثات LoRA عبر تحليل SVD مشترك قبل الدمج.
الأداء: تفوق GeoMerge باستمرار على KnOTS في جميع مجموعات البيانات من حيث الدقة المعيارية (normalized accuracy) (نسبة دقة النموذج المدمج إلى أفضل نموذج متخصص).
- متوسط الدقة المعيارية: حقق GeoMerge نسبة 91.88% مقابل 90.38% لـ KnOTS.
الكفاءة: نتيجة حاسمة هي أن GeoMerge يحقق أداءً فائقاً بـ رتبة فعالة أقل بكثير.
- عادةً ما تزيد KnOTS من رتبة النموذج المدمج إلى $T \times r$ (حيث $T$ هو عدد المهام).
- يحافظ GeoMerge على الرتبة الأصلية $r$ ، مما يشير إلى أنه يستخدم سعة الوزن بكفاءة أكبر من خلال احترام هندسة المنطويد بدلاً من توسيع فضاء المعلمات.

5. الأهمية والأثر

التقدم النظري: تنقل الورقة النموذج الفكري لدمج النماذج من "متوسط المعلمات الاستدلالي" إلى "التحسين الهندسي على المنطويدات". وهي تسلط الضوء على أن اختيار الهندسة (المقياس والمنطويد) هو الخيار التصميمي الأكثر أهمية في عملية الدمج.
المتانة (Robustness): من خلال معالجة التماثلات جوهرياً، يقدم GeoMerge حلاً أكثر متانة لدمج النماذج المتخصصة، خاصة في عصر PEFT حيث تعد التحديثات منخفضة الرتبة هي المعيار.
الاتجاهات المستقبلية: يفتح هذا الإطار الباب لدمج مفاهيم هندسية أخرى (مثل متوسطات هوبر أو متوسطات ريماني) وتوسيع نطاقه ليشمل طرق PEFT أخرى أو نماذج كاملة الرتبة حيث توجد تماثلات. كما يشير إلى أن "المحاذاة" ليست مجرد خطوة معالجة مسبقة، بل هي جزء لا يتجزأ من عملية المتوسط على الفضاء القسمي.

باختصار، يحل GeoMerge مشكلة هشاشة دمج النماذ تحت التماثلات المعمارية من خلال معاملة المشكلة كمسألة متوسط هندسي على منطويد قسمي، مما يؤدي إلى أداء هو الأفضل حالياً (state-of-the-art) لدمج LoRA مع تحسين كفاءة المعلمات.