🤖 AI

Bridging Domains through Subspace-Aware Model Merging

تقدم هذه الورقة البحثية SCORE، وهي طريقة مبتكرة لدمج النماذج تعالج صراعات الفضاء الجزئي المنفرد بين النماذج المتخصصة في مجالات معينة من خلال إسقاطها في أساس متعامد مشترك، مما يحسن بشكل كبير من القدرة على التعميم في المجالات غير المرئية مقارنة بالنهج الحالية.

المؤلفون الأصليون: Levy Chaves, Chao Zhou, Rebekka Burkholz, Eduardo Valle, Sandra Avila

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Levy Chaves, Chao Zhou, Rebekka Burkholz, Eduardo Valle, Sandra Avila

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الطهاة الخبراء. أحد الطهاة بارع في طهي وجبات مثالية لمنطقة جبلية صخرية (حيث المكونات قاسية والطقس بارد). وطاهٍ آخر بارع في الطهي لمنطقة غابية ثلجية (حيث المكونات طازجة والهواء منعش).

كلا الطاهيين مذهلان في عملهما الخاص. ولكن، ماذا يحدث إذا أردت طهي وجبة لـ موقع جديد وغير مرئي: قمة جبلية ثلجية حيث توجد الصخور الجبلية القاسية وثلوج الغابة الطازجة معاً؟

إذا طلبت منهما فقط تبادل الوصفات أو متوسط تقنياتهما، فقد تكون النتيجة كارثية. قد يحاول طاهي الجبال استخدام توابل صخرية ثقيلة على مكونات الثلج الرقيقة، وقد يحاول طاهي الثلج استخدام أعشاب رقيقة على الصخور الصلبة. سيتشاجران على المطبخ، وستكون الوجبة النهائية مربكة وغير صالحة للأكل.

هذه هي بالضبط المشكلة التي يواجهها علماء الحاسوب عندما يحاولون دمج نماذج الذكاء الاصطناعي.

المشكلة: "شجار المطبخ"

في عالم الذكاء الاصطناعي، يقوم الباحثون غالباً بتدريب نماذج منفصلة على أنواع مختلفة من البيانات (نطاقات مختلفة).

النموذج (أ): يتعلم التعرف على القطط في الصور الملتقطة في منتزهات مشمسة.
النموذج (ب): يتعلم التعرف على القطط في الصور الملتقطة في أزقة ممطرة.

كلا النموذجين بارعان في مهمتهما المحددة. ولكن عندما يحاول الباحثون دمجهما في "نموذج خارق" واحد يمكنه التعرف على القطط في أي طقس (بما في ذلك يوم عاصف جديد وغير مرئي)، فإن النماذج غالباً ما تتصادم.

توضح الورقة البحثية أنه عندما يتم تدريب النماذج على أنواع مختلفة من البيئات (النطاقات)، فإن "عمليات التفكير" الداخلية لديها (الأنماط الرياضية التي تسمى الفضاءات الجزئية - subspaces) تتداخل بطريقة فوضوية. الأمر يشبه شخصين يحاولان قيادة نفس السيارة ولكن يتصارعان على عجلة القيادة. الاتجاهات المهيمنة لأحد النماذج تدفع الآخر بعيداً، مما يتسبب في نسيان النموذج المدمج لكيفية التعامل مع المواقف الجديدة غير المرئية.

الحل: SCORE (الطاهي الدبلوماسي)

يقترح المؤلفون طريقة جديدة تسمى SCORE (دمج حل النزاعات في الفضاءات الجزئية - Subspace COnflict-Resolving mErging). فكر في SCORE كـ طاهٍ دبلوماسي بارع يعرف كيفية دمج هذين الخبيرين دون أن يتشاجرا.

إليك كيف يعمل SCORE، باستخدام تشبيه المطبخ الخاص بنا:

التدقيق (SVD): أولاً، ينظر SCORE إلى "كتب الوصفات" لكلا الطاهيين. يقوم بتحليل أساليب الطهي الخاصة بهما إلى أهم مكوناتهما (رياضياً، يسمى هذا تحليل القيم المفردة - Singular Value Decomposition). إنه يحدد "النغمات العليا" لأسلوب طهيهما.
الطاولة المشتركة (الأساس المتعامد): بدلاً من ترك الطهاة يتجادلون على مساحة المنضدة نفسها، يبني SCORE طاولة مشتركة جديدة. إنه يخلق أرضية محايدة حيث يمكن لكلا الطاهيين عرض أفضل مكوناتهما جنباً إلى جنب دون أن يعيق أحدهما الآخر.
فلتر الصراع (التقليم): هذه هي الخطوة السحرية. عندما يضع الطهاة مكوناتهم على الطاولة المشتركة، تتصادم بعض المكونات (على سبيل المثال، توابل الجبال مقابل أعشاب الثلج).
- ينظر SCORE إلى المكونات "خارج القطر" (off-diagonal) — وهي المكونات التي تمثل الصراع بين الأسلوبين.
- يحتفظ بالمكونات القوية والواضحة (القطرية) التي يتفق عليها كلا الطاهيين.
- يقوم بـ تقليم (قص) المكونات الصاخبة والمتصارعة التي قد تفسد الطبق. الأمر يشبه قول: "حسناً، يا شيف (أ)، توابل الصخور الثقيلة هذه قوية جداً بالنسبة لأعشاب الثلج الخاصة بالشيف (ب). دعنا نزيل هذا التصادم المحدد، ولكن احتفظ ببقية نكهتك الفريدة".
التحفة الفنية الجديدة: أخيراً، يعيد SCORE بناء الوصفة باستخدام قائمة المكونات المنظفة والخالية من الصراعات هذه. والنتيجة هي نموذج واحد يفهم كلاً من الجبل والثلج، ويمكنه الآن التعامل مع جبل ثلجي لم يره من قبل.

لماذا يهم هذا؟

قبل هذه الورقة البحثية، كان دمج نماذج الذكاء الاصطناعي يشبه إلقاء المكونات في خلاط وتمني الأفضل. كان الأمر يعمل بشكل جيد للمهام البسيطة، لكنه فشل عند محاولة التعميم على مواقف جديدة وغريبة.

SCORE هو بمثابة فلتر ذكي يضمن أن النموذج المدمج لا يكتفي بمجرد "متوسط" الخبيرين، بل يقوم فعلياً بـ دمج أفضل صفاتهما مع إزالة الأجزاء التي تسبب الصراع بينهما.

النتائج:
اختبر الباحثون ذلك في سيناريوهات عديدة، من التعرف على الحيوانات في مناظر طبيعية مختلفة إلى تشخيص الأمراض في الصور الطبية.

الطرق القديمة: غالباً ما كان أداؤها أسوأ من مجرد استخدام نموذج واحد.
SCORE: تفوق باستمرار على جميع الطرق الأخرى، حيث أنشأ نموذجاً كان أفضل في التعامل مع المواقف "غير المرئية" من أي خبير منفرد أو تقنية دمج سابقة.

الخلاصة

SCORE هو طريقة جديدة لدمج خبراء الذكاء الاصطناعي. بدلاً من إجبارهم على تقديم تنازلات أو القتال، فإنه يجد لغة مشتركة، ويزيل أجزاء معرفتهم التي تتصادم، ويبني خبيراً موحداً أكثر ذكاءً وقدرة على التكيف من مجموع أجزائه. إنه يسمح لنا بأخذ نماذج ذكاء اصطناعي متخصصة ودمجها في أداة قوية يمكنها التعامل مع العالم الحقيقي الفوضوي وغير المتوقع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Bridging Domains through Subspace-Aware Model Merging" (جسر الفجوات بين النطاقات عبر دمج النماذج المدرك للفضاءات الجزئية).

1. بيان المشكلة

تتناول الورقة فجوة حرجة في دمج النماذج (Model Merging): فبينما تنجح الطرق الحالية بفعالية في الجمع بين النماذج لسيناريوهات تعدد المهام (حيث تمتلك المهام مساحات تسمية أو دلالات مختلفة)، إلا أنها تواجه صعوبة في التعميم النطاقي (Domain Generalization - DG).

التحدي: في حالة التعميم النطاقي (DG)، يتم ضبط عدة نماذج بدقة على نفس المهمة (مثل تصنيف الصور) ولكن على توزيعات بيانات مختلفة (نطاقات مختلفة، مثل "تضاريس صخرية" مقابل "تضاريس ثلجية"). الهدف هو دمج هؤلاء "الخبراء في النطاق" في نموذج واحد يمكنه التعميم على نطاقات غير مرئية.
المشكلة الجوهرية: حدد المؤلفون أن الضبط الدقيق الخاص بكل نطاق يؤدي إلى صراعات أقوى في الفضاءات الجزئية (subspace conflicts) مقارنة بتعلم تعدد المهام التقليدي. نظرًا لأن النماذج تحل مشكلة التصنيف نفسها، فإن تحديثات المعلمات (أوزان الفرق/delta weights) تصطف على طول اتجاهات مفردة متشابهة. وعند دمجها بطريقة ساذجة (مثل المتوسط الحسابي)، تتداخل هذه الاتجاهات المفردة المهيمنة والمتنافسة مع بعضها البعض، مما يؤدي إلى نسيان كارثي أو ضعف في التعميم على التوزيعات غير المرئية.
فجوة التقييم: تعتمد معظم أعمال الدمج الحالية على التقييم داخل التوزيع (in-distribution) أو تتطلب الوصول إلى بيانات التحقق. يقترح المؤلفون بروتوكول "ترك نطاق واحد خارجًا" (Leave-One-Domain-Out - LODO) حيث يتم تقييم النموذج المدمج على نطاق مستهدف غير مرئي دون أي تدريب إضافي أو وصول للبيانات.

2. المنهجية: SCORE

يقترح المؤلفون طريقة SCORE (Subspace Conflict-Resolving mErging - دمج حل صراع الفضاءات الجزئية)، وهي طريقة مصممة لتحديد وتخفيف صراعات الفضاءات الجزئية المفردة دون الحاجة إلى بيانات المصدر أو عمليات التحسين (optimization).

الخطوات الرئيسية لـ SCORE:

تفكيك SVD: لكل مصفوفة أوزان الفرق الخاصة بالنطاق $\Delta_d$ ، تقوم الطريقة بحساب تفكيك القيم المفردة (SVD) لاستخراج المتجهات المفردة اليسرى ( $U_d$ ) واليمنى ( $V_d$ ) الرائدة.
التسلسل (Concatenation): يتم دمج المتجهات المفردة الرائدة من جميع النطاقات $D$ لتكوين مصفوفتين $U_*$ و $V_*$ .
التعامد (القاعدة المشتركة): نظرًا لأن المتجهات المدمجة ليست مضمونة التعامد، تقوم طريقة SCORE بحساب SVD لـ $U_*$ و $V_*$ لاشتقاق قاعدة متعامدة مشتركة ( $U_\perp, V_\perp$ ). تمثل هذه القاعدة المكونات الرئيسية المشتركة لجميع النطاقات.
تحويل القاعدة: يتم إسقاط مصفوفة الفرق لكل نطاق في هذه القاعدة المشتركة:
$\Delta'_d = U_\perp^\top \Delta_d V_\perp$
في هذا الفضاء المحول:
- العناصر القطرية تمثل الاتفاق (الطاقة المتوافقة مع الاتجاهات الرئيسية المشركة).
- العناصر غير القطرية تمثل الصراعات (الارتباط بين الاتجاهات المشتركة المختلفة).
حل الصراع (التقليم/Trimming): لحل الصراعات، تطبق الطريقة دالة تقليم على المصفوفات المحولة:
- تحتفظ بجميع العناصر القطرية (للحفاظ على المعرفة الخاصة بكل نطاق المتوافقة مع القاعدة المشتركة).
- تحتفظ بالعناصر غير القطرية التي تقع ضمن عتبة إحصائية (على سبيل المثال، $< 1.96\sigma$ من متوسط حجم العناصر غير القطرية)، مما يحافظ على التباين المشترك الهام.
- تقلم (تضعها كصفر) العناصر غير القطرية الشاذة التي تمثل ضوضاء مدمرة أو تداخلاً قويًا بين النطاقات.
إعادة البناء: يتم جمع المصفوفات المقلمة لتكوين مصفوفة قيم مفردة مدمجة $\Sigma_{score}$ ، والتي يتم بعد ذلك إعادة بنائها باستخدام القاعدة المشتركة:
$\hat{M} = U_\perp \Sigma_{score} V_\perp^\top$
النموذج النهائي هو $\theta_{final} = \theta_{pre} + \hat{M}$ .

3. المساهمات الرئيسية

التحليل التجريبي لتداخل الفضاءات الجزئية: أثبت المؤلفون عبر مقياس نسبة محاذاة الفضاء الجزئي (SAR) أن سيناريوهات التعميم النطاقي تظهر تداخلًا (صراعًا) في الفضاء الجزئي أعلى بكثير من سيناريوهات تعدد المهام. هذا التداخل العالي هو السبب الرئيسي لفشل طرق الدمج القياسية في التعميم النطاقي.
خوارزمية SCORE: طريقة دمج مبتكرة، خالية من البيانات، وخالية من عمليات التحسين، تعمل على حل صراعات الفضاءات الجزئية المفردة صراحةً عن طريق تعامد القاعدة وتقليم المكونات غير القطرية المتصارعة.
التقييم الشامل: تقيم الورقة عملية الدمج على 8 مجموعات بيانات متنوعة للتعميم النطاقي (تشمل صور طبيعية مثل PACS و DomainNet وبيانات طبية مثل FedISIC) عبر 3 أحجام نماذج (ViT-B/32، ViT-B/16، ViT-L/14).
التفوق على التجميع (Ensembles): يوضح المؤلفون أن دمج النماذج يمكن أن يتفوق على تجميع اللوغيت (logit ensembles) التقليدي مع الحفاظ على تكلفة الاستدلال لنموذج واحد، مما يثبت أن المعرفة التركيبية قد تم دمجها بفعالية بدلاً من مجرد متوسط حسابي.

4. النتائج التجريبية

الأداء: تتفوق طريقة SCORE باستمرار على طرق الدمج الحديثة (مثل Task Arithmetic، TIES، TSV، ISO-C، إلخ) عبر جميع الاختبارات.
- في نموذج ViT-B-32، حققت متوسط دقة قدره 65.69%، متفوقة على أفضل طريقة تالية (TSV بنسبة 64.95%) بمقدار 0.74 نقطة مئوية.
- في نموذج ViT-L-14، حققت 73.04%، متفوقة على المنافس الثاني بمقدار 0.58 نقطة مئوية.
التصوير الطبي: أظهرت الطة متانة خاصة في مجموعات البيانات الطبية (FedISIC، RetinaDomains)، حيث يكون عدم توازن الفئات وتحولات التوزيع شديدة.
دراسات الاستئصال (Ablation Studies):
- التقليم أمر بالغ الأهمية: مجرد الاحتفاظ بالقطر (تجاهل العناصر غير القطرية) أو الاحتفاظ بالمصفوفة الكاملة (تجاهل الصراعات) أدى إلى أداء أقل. استراتيجية "التقليم" (الاحتفاظ بالعناصر غير القطرية الهامة مع تقليم القيم الشاذة) أعطت أفضل النتائج.
- التفوق على التجميع: تفوقت SCORE على تجميع اللوغيت بنسبة تتراوح بين 1.12% إلى 1.90% عبر أحجام النماذج، مما يثبت أن الدمج يخلق تمثيلاً أكثر تماسكًا من مجرد متوسط التوقعات.

5. الأهمية والأثر

تحول في مفهوم التعميم: تؤسس الورقة لدمج النماذج كاستراتيجية فعالة وكفؤة للتعميم النطاقي، متجاوزة النهج التقليدي المتمثل في "التدريب من الصفر" أو "الضبط الدقيق على كافة البيانات".
الكفاءة: تقدم حلاً خاليًا من البيانات. يمكن للممارسين دمج النماذج التي تم ضبطها بدقة والموجودة مسبقًا في المستودعات العامة (مثل Hugging Face) لإنشاء نموذج قوي لنطاقات غير مرئية دون الحاجة للوصول إلى بيانات التدريب الأصلية أو إجراء إعادة تدريب مكلفة.
القابلية للتوسع: تتوسع الطريقة جيدًا مع حجم النموذج (من متغيرات B إلى L) وهي فعالة حاسوبيًا، حيث تتطلب فقط عمليات SVD على مصفوفات الأوزان.
الرؤية النظرية: من خلال ربط فشل الدمج في التعميم النطاقي بـ صراعات الفضاء الجزئي المفرد، توفر الورقة إطارًا نظريًا لفهم سبب فشل المتوسط الحسابي القياسي عندما تتغير التوزيعات مع بقاء المهام كما هي.

باختสร، توفر SCORE حلاً رياضياً لمشكلة "الصراع"، مما يسمح بإنشاء نماذج قوية وقابلة للتعميم من خلال حل الاتجاهات المفردة المتنافسة في فضاء المعلمات بذكاء.