💻 computer science

Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

تقدم هذه الورقة البحثية "الدمج الجزئي" (partial fusion)، وهو أسلوب مبتكر يتوسط بين تجميع الشبكات العصبية وتجميع الأوزان عبر دمج الخلايا العصبية المتشابهة انتقائياً بواسطة النقل الأمثل الجزئي، مما يتيح مقايضة مرنة بين الكفاءة الحسابية وأداء النموذج.

المؤلفون الأصليون: Fabian Morelli, Stephan Eckstein

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fabian Morelli, Stephan Eckstein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خبيرين في الطهي، الشيف (أ) والشيف (ب). كلاهما مذهل، لكن لديهما أساليب مختلفة قليلاً ويتخصصان في أطباق مختلفة.

نهج "الإنسمبل" (Ensemble): تقوم بتوظيف كلا الشيفين للعمل جنباً إلى جنب في المطبخ. في كل مرة تطلب فيها وجبة، يطهو كلاهما نسخته الخاصة، ثم تدمج النتائج. هذا المذاق رائع (دقة عالية)، ولكنه مكلف لأنك تدفع راتبين كاملين وتستخدم ضعف المكونات (تكلفة حوسبية عالية).
نهج "متوسط الأوزان" (Weight Averaging): تحاول دمج الشيفين في شيف واحد خارق عبر دمج وصفاتهما ببساطة. تأخذ 50% من ملاحظات الشيف (أ) و50% من ملاحظات الشيف (ب). هذا رخيص وسريع (راتب واحد ومطبخ واحد)، لكن النتيجة غالباً ما تكون كارثية. إذا استخدم الشيف (أ) خفاقة يدوية واستخدم الشيف (ب) خلاطاً كهربائياً لنفس الخطوة، فإن خلط تعليماتهما سيؤدي إلى فوضى عارمة. الشيف الجديد لن يعرف ماذا يفعل.

حل الورقة البحثية: "الاندماج الجزئي" (Partial Fusion)

تقدم هذه الورقة حلاً وسطاً ذكياً يسمى "الاندماج الجزئي". بدلاً من إجبار الشيفين على الاتفاق على كل شيء أو إبقائهما منفصلين تماماً، أنت تدمج فقط الأجزاء من وصفاتهما التي تتشابه بالفعل، وتحتفظ بالأجزاء الفريدة منفصلة.

إليك كيف يعمل ذلك باستخدام تشبيهات بسيطة:

1. "المطابقة بين الخلايا العصبية"

فكر في الشبكة العصبية (الذكاء الاصطناعي) كأنها فريق من العمال. كل عامل (يسمى "خلية عصبية") لديه وظيفة محددة.

في فريق الشيف (أ)، العامل رقم 1 بارع في تقطيع البصل.
في فريق الشيف (ب)، العامل رقم 1 بارع في تقطيع البصل، لكن العامل رقم 2 بارع في بشر الجبن.

إذا قمت بدمج الفريقين بشكل عشوائي، فقد تخلط بين "مقطع البصل" و"براش الجبن"، ولن يتم إنجاز أي من الوظيفتين بشكل صحيح.

الاندماج الجزئي يعمل كمدير ذكي. ينظر إلى كلا الفريقين ويقول:

"مهلاً، العامل رقم 1 من الفريق (أ) والعامل رقم 1 من الفريق (ب) كلاهما يقومان بتقطيع البصل. دعونا ندمجهما في مقطع بصل خارق واحد."
"لكن العامل رقم 2 من الفريق (أ) يقوم ببشر الجبن، والعامل رقم 2 من الفريق (ب) هو في الواقع مساعد شيف. إنهما مختلفان جداً. دعونا نبقيهما منفصلين."

2. النتيجة: مطبخ هجين

النتيجة هي مطبخ جديد، وهو أكبر قليلاً من المطبخ الأصلي الواحد، ولكنه أصغر بكثير من وجود مطبخين كاملين.

يحتفظ بالعمال المدمجين (مقطعي البصل) الذين يمتلكون الآن الحكمة المشتركة لكلا الشيفين.
يحتفظ بالعمال المعزولين (براش الجبن ومساعد الشيف) وهم يقومون بمهامهم الفريدة دون تداخل.

هذا يخلق نموذجاً يكون:

أرخص من توظيف اثنين من الشيفات (الإنسمبل).
أذكى من مجرد دمج وصفاتهما (متوسط الأوزان).
مرناً: يمكنك تحديد مقدار الدمج. يمكنك دمج مقطعي البصل فقط، أو دمج الجميع تقريباً، اعتماداً على مقدار المال الذي تريد توفيره.

3. لمسة "التقليم المعمم" (Generalized Pruning)

تنظر الورقة أيضاً إلى هذا الأمر من زاوية معاكسة. تخيل أن لديك مطبخاً ضخماً يضم كلا مجموعتي العمال (الإنسمبل). عادةً، لجعل هذا المطبخ أصغر، ستقوم بمجرد طرد الأشخاص (التقليم/Pruning).

لكن المؤلفين يقترحون طريقة أذكى: التقليم المعمم.
بدلاً من مجرد طرد عامل، يمكنك أحياناً القول: "أنتما تقومان بأشياء متشابهة؛ دعونا ندمج مهامكما في شخص واحد".

الطرد: يزيل مهمة (قد يؤدي لفقدان الدقة).
الدمج: يدمج مهمتين في مهمة واحدة (قد يؤدي لفقدان بعض الدقة).
طريقة الورقة: تقرر بذكاء أي المهام يجب طردها وأيها يجب دمجها، لتجد التوازن المثالي بحيث لا تفقد الكثير من الجودة مع توفير المساحة.

لماذا هذا مهم (وفقاً للورقة البحثية)

اختبر المؤلفون هذه الطريقة على ألغاز الذكاء الاصطناعي القياسية (مثل التعرف على الأرقام المكتوبة بخط اليد أو الصور). ووجدوا أن:

تحصل على أفضل ما في العالمين: يمكنك الحصول على أداء قريب جداً من وجود نموذجين كاملين، ولكن بحجم يعادل حوالي 1.5 مرة حجم النموذج الواحد (بدلاً من مرتين).
الأمر لا يتعلق بالحجم فقط: أحياناً، إبقاء العمال "الغريبين" أو "الفريدين" معزولين يساعد النموذج النهائي على الأداء بشكل أفضل لأنه يحافظ على نقاط القوة الفريدة للشيفين الأصليين.
يعمل على أشكال مختلفة: سواء كان الذكاء الاصطناعي عبارة عن قائمة بسيطة من الأرقام (MLP) أو معالج صور معقد (CNN)، فإن طريقة "مطابقة الأجزاء المتشابهة وترك الأجزاء الفريدة وحدها" تعمل بشكل جيد.

باختاً، تعلمنا الورقة أنه عند دمج عقلين من الذكاء الاصطناعي، لا ينبغي لنا سحق أحدهما في الآخر أو إبقائهما منفصلين تماماً. بل يجب أن نتصرف كخاطبة (Matchmaker)، حيث نجمع الأجزاء المتشابهة لتوفير المساحة، بينما نترك الأجزاء الفريدة تتألق بمفردها.

ملخص تقني: الدمج الجزئي للشبكات العصبية

بيان المشكلة

تتفوق مجموعات الشبكات العصبية (Ensembles) عادةً على النماذج الفردية من خلال دمج مخرجاتها، مما يوفر متانة وأداءً تنبؤياً أعلى. ومع ذلك، تفرض هذه المجموعات تكاليف حوسبة كبيرة، حيث تتطلب تخزين نماذج متعددة في الذاكرة وزيادة وقت الاستدلال. وفي المقابل، تنتج طرق تجميع الأوزان (مثل متوسط الأوزان) نماذج مفردة ذات كفاءة في التكلفة، ولكنها غالباً ما تعاني من انخفاض الدقة، لا سيما عندما لا تكون الشبكات المراد دمجها متوافقة أو تم تدريبها على توزيعات بيانات مختلفة. وتعتمد تقنيات تجميع الأوزان الحالية غالباً على ثبات التبديل الصارم (مطابقة الطبقات ذات الحجم المتساوي) أو تتطلب إجراءات محاذاة معقدة قد لا تعمم على البنى غير المتجانسة أو أحجام الطبقات غير المتساوية.

يتمثل التحدي الجوهري الذي يعالجه البحث في إيجاد مقايضة فعالة بين الأداء العالي للمجموعات (Ensembles) والتكلفة الحوسبية المنخفضة لتجميع الأوزان. فالمناهج الحالية تميل إلى أن تكون ثنائية: إما دمج كامل للأوزان (مما قد يؤدي لفقدان الأداء) أو الحفاظ على مجموعة كاملة (مما يسبب تكاليف عالية). وهناك حاجة إلى آلية مرنة للتوسط بين هذين الطرفين.

المنهجية

يقدم البحث طريقة الدمج الجزئي (Partial Fusion)، وهي طريقة تتوسط بين تجميع الأوزان والمجموعات عبر دمج الخلايا العصبية الأكثر تشابهاً فقط مع إبقاء الخلايا المتبقية معزولة. يسمح هذا النهج بمقايضة مرنة على مستوى كل طبقة بين حجم النموذج وأدائه.

1. الدمج الجزئي عبر النقل الأمثل الجزئي

تعتمد الطريقة الأساسية المقترحة على توسيع تقنيات تجميع الأوزان القائمة على التشابه على مستوى الخلية العصبية.

المفهوم: بدلاً من محاذاة جميع الخلايا العصبية بين شبكتين (كما في دمج النقل الأمثل (OT) القياسي)، يحدد الدمج الجزئي ويطابق الخلايا الأكثر تشابهاً فقط، بينما تُترك الخلايا غير المتطابقة (الأقل تشابهاً) معزولة، مع الحفاظ على أوزانها الأصلية.
الآلية: يستخدم المؤلفون النقل الأمثل الجزئي (Partial Optimal Transport). عند إعطاء شبكتين $A$ $A$ و $B$ $B$ ، يتم حساب اقتران $\tilde{\pi}$ $\tilde{π}$ يطابق فقط جزءاً $(1-\alpha)$ $(1 - α)$ من الكتلة بين خلايا الشبكتين، حيث $\alpha \in [0, 1]$ $α \in [0, 1]$ هو معامل يتحكم في درجة الدمج.
- $\alpha = 0$ : يقابل تجميع الأوزان الكامل (مطابقة جميع الخلايا).
- $\alpha = 1$ : يقابل المجموعة (لا توجد خلايا متطابقة).
التنفيذ: تقوم الطة بترميز الطبقات كتوزيعات احتمالية منفصلة بناءً على سمات الخلايا العصبية (مثل ناقلات التنشيط أو مصفوفات الأوزان). وهي تحل مشكلة النقل الأمثل الجزئي لإيجاد المطابقة المثلى للخلايا الأكثر تشابهاً. تحتوي الشبكة المدمجة الناتجة $C$ على ثلاثة مكونات لكل طبقة: الخلايا المعزولة من $A$ ، والخلايا المدمجة (متوسط الأوزان)، والخلايا المعزولة من $B$ .
التحسين العالمي: لتحسين المحاذاة، تدمج الطريقة نهج التكرار بنقطة ثابتة (مستوحى من Ainsworth et al., 2023) يعمل على تحسين التبديلات/المطابقات عالمياً عبر الطبقات بدلاً من العمل طبقة تلو الأخرى، مما يأخذ في الاعتبار التبعيات بين الطبقات.

2. التقليم المعمم (Generalized Pruning)

يصيغ البحث الدمج الجزئي من منظور مكمل: التقليم المعمم لنماذج المجموعات.

المفهوم: بدلاً من البدء بتجميع الأوزان ثم التخفيف منه، يبدأ هذا المنظور بمجموعة (نموذج ضخم متصل) ويطبق عملية تقليم. وخلافاً للتقليم القياسي الذي يكتفي بحذف الخلايا العصبية، يسمح التقليم المعمم بـ الجمع الخطي بين الخلايا العصبية.
الصيغة الرياضية: يتم صياغة ذلك رسمياً عبر تحويل أوزان نموذج مجموعة ضخم $E$ إلى شبكة أصغر $S$ عبر تحويلات خطية (نواة عشوائية).
نهج التجميع (Clustering): تم اقتراح تحقيق محدد للتقليم المعمم باستخدام التجميع. يتم تجميع الخلايا العصبية من المجموعة، ويتم الجمع خطياً بين الخلايا داخل كل مجموعة. يوفر هذا درجات حرية أكثر من الدمج الجزئي، لأنه لا يقيد الجمع بين أزواج من شبكات مختلفة فقط.
الانحياز الاستقرائي: يشير المؤلفون إلى أن الدمج الجزئي يفرض انحيازاً استقرائياً محدداً: فهو يجمع الخلايا العصبية خطياً فقط إذا كانت تنتمي لشبكات مختلفة ويقتصر الجمع على الأزواج. ويُفترض أن هذا الانحياز مفيد للشبكات العصبية الالتفافية (CNNs)، بينما قد يكون نهج التجميع الأكثر مرونة أفضل لشبكات الإدراك المتعدد الطبقات (MLPs).

المساهمات الرئيسية

إطار عمل الدمج الجزئي: تقديم طريقة للتوسط بين تجميع الأوزان والمجموعات عبر دمج الخلايا العصبية الأكثر تشابهاً فقط، مما يوفر مقايضة قابلة للضبط بين التكلفة الحوسبية والأداء.
منظور التقليم المعمم: التوحيد النظري للدمج الجزئي وضغط النماذج تحت مفهوم التقليم المعمم، حيث يمكن الجمع بين الخلايا العصبية خطياً بدلاً من مجرد حذفها. وهذا يوسع نطاق تطبيق الطريقة ليشمل ضغط النموذج الواحد.
خوارزميات ملموسة:
- دمج النقل الأمثل الجزئي (Partial OT Fusion): امتداد لدمج النماذج القائم على OT باستخدام النقل الأمثل الجزئي للتعامل مع عدم تساوي المطابقة وأحجام الطبقات.
- التقليم القائم على التجميع (Clustering-based Pruning): طريقة للتقليم المعمم باستخدام التجميع الهرمي للجمع بين الخلايا العصبية خطياً، مما يوفر مرونة في ضغط النماذج.
التحقق التجريبي: تجارب على نماذج MLP و CNN (مثل VGG11 و ResNet18) عبر مجموعات بيانات متنوعة (MNIST و CIFCIF10) تثبت أن الدمج الجزئي يحقق أداءً قريباً من المجموعات بعدد بارامترات أقل بكثير.

النتائج

تظهر التجارب فعالية الطرق المقترحة في عدة حالات:

تجميع مجموعات البيانات المنقسمة (بيانات غير متجانسة): عند دمج نماذج مدربة على تقسيمات بيانات مختلفة (مثل نموذج متخصص وآخر عام)، يتفوق دمج النقل الأمثل الجزئي بشكل كبير على دمج OT القياسي. ويؤدي زيادة عدد الخلايا المعزولة (زيادة $\alpha$ ) إلى تحسينات رتيبة في الأداء، مما يسد الفجوة بين النموذج المجمع والمجموعة. على سبيل المثال، حققت زيادة بنسبة 20-40% في عدد الخلايا مكاسب واضحة في الدقة مقارنة بالدمج القياسي.
الضبط الدقيق (Fine-Tuning): النماذج المدمجة جزئياً، عند ضبطها بدقة باستخدام مجموعة فرعية صغيرة من البيانات (1% لـ MNIST، 5% لـ CIF10)، تتفوق باستمرار على كل من النماذج الفردية والمجموعة الكاملة من حيث الدقة.
تجميع البيانات المتماثلة: عند دمج نماذج مدربة على نفس البيانات ولكن ببذور (seeds) مختلفة، غالباً ما يكون تجميع الأوزان الكامل ضعيف الأداء في الشبكات الالتفافية (مثل VGG11) ولكنه أفضل في شبكات ResNet بسبب اتصالات المتبقي (residual connections). يوفر الدمج الجزئي توسطاً قوياً، مستعيداً الأداء المفقود في الدمج الكامل.
ضغط النموذج الواحد (التقليم المعمم):
- بالنسبة لـ MLPs، يتفوق التقليم المعمم عبر التجميع بشكل كبير على كل من التقليم غير المهيكل والتقليم مع المعالجة اللاحقة (OT Fusion). ويعزو المؤلفون ذلك إلى قدرة التجميع على موازنة أخطاء "الحذف" (التقليم) و"التمويه" (الجمع الخطي).
- بالنسبة لـ CNNs (VGG11)، غالباً ما يتفوق دمج النقل الأمثل الجزئي على التجميع، مما يشير إلى أن الانحياز الاستدرائي لمطابقة أزواج محددة من الخلايا العصبية أكثر فعالية للطبقات الالتفافية.
كفاءة البارامترات: تسمح هذه الطرق بنماذج ذات أحجام تتراوح بين نموذج واحد ومجموعة كاملة. على سبيل المثال، نموذج مدمج جزئياً بـ $\alpha=0.5$ يستخدم حوالي 1.45 ضعف بارامترات النموذج الواحد (مقارنة بضعف العدد في حالة المجموعة) مع تحقيق دقة أقرب بكثير للمجموعة.

الأهمية والادعاءات

يدعي البحث أن الرؤية الجوهرية تكمن في أهمية الاختلافات في تشابه مستوى الخلايا العصبية. فالخلايا العصبية تتباين في مدى تفردها؛ فبعضها شديد التشابه عبر الشبكات، بينما يلعب البعض الآخر أدواراً فريدة. وتستغل الطرق المقترحة هذه الاختلافات:

الدمج الجزئي يستفيد من حقيقة أن إبقاء الخلايا الأكثر اختلافاً معزولة يزيد من متوسط التشابه للخلايا المتبقية المدمجة، مما يؤدي إلى متوسط أوزان أكثر فعالية.
التقليم المعمم يستغل المقايضة بين حذف الخلايا (فقدان المعلومات) والجمع الخطي بينها (تمويه المعلومات).

يضع المؤلفون عملهم كخطوة نحو دراسة مهيكلة لعمليات الدمج في مساحة الأوزان للشبكات العصبية. ويؤكدون أن هذه الطرق توفر مقايضة مرنة وفعالة بين حجم النموذج وأدائه، وغالباً ما تحقق مكاسب غير متناسبة مع الزيادات الطفيفة في حجم النموذج. يظل البحث متواضعاً فيما يتعلق بالتداعيات المستقبلية، مشيراً إلى أن التوسع في النماذج الأكبر وتطوير معايير مبدئية للقرارات على مستوى الطبقة (مثل أي الطبقات تدمج وأيها تعزل) هي اتجاهات مفتوحة للعمل المستقبلي. وقد تم توفير الكود لتسهيل المزيد من الأبحاث.