🤖 machine learning

Model Fusion via Retrofitting

تقدم هذه الورقة إطار عمل لدمج النماذج متمحور حول العصبونات، يعامل الدمج كمسألة مطابقة تمثيل من خلال تجميع العصبونات الوسيطة واستخدام درجات الإسناد لمحاذاة الميزات البارزة، محققاً أداءً فائقاً على الطرق الحالية — لا سيما في سيناريوهات التعلم الصفري (zero-shot) والبيانات غير المتماثلة (non-IID) — عبر بنيات متنوعة مثل VGGs وResNets وViTs دون الحاجة لإعادة التدريب.

المؤلفون الأصليون: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك اثنين من الطهاة الخبراء الذين قضوا سنوات في إتقان وصفاتهم الفريدة الخاصة. الشيف (أ) متخصص في المطبخ الإيطالي، والشيف (ب) متخصص في المطبخ الياباني. لم يعملوا معاً من قبل، ويستخدمون أدوات مختلفة، وقد يقيسون المكونات بوحدات مختلفة.

الآن، تخيل أنك تريد إنشاء "شيف ماهر" واحد يمكنه طهي الأطبى الإيطالية واليابانية بشكل مثالي، ولكن لا يمكنك أن تطلب منهما العودة إلى مدرسة الطهي لإعادة تعلم كل شيء من الصفر. أنت فقط تريد دمج معرفتهما الحالية في شخص واحد فوراً.

هذه هي مشكلة دمج النماذج (Model Fusion). في عالم الذكاء الاصطناعي، غالباً ما يكون لدينا شبكات عصبية مختلفة (التي تمثل "الطهاة") تم تدريبها بشكل منفصل. نريد دمجها في نموذج واحد قوي دون العملية المكلفة والمستهلكة للوقت لإعادة تدريبها على بيانات جديدة.

المشكلة: "حاجز اللغة"

يشرح البحث أن مجرد متوسط أوزان هذين النموذجين (مثل خلط كتب وصفاتهما صفحة بصفحة) عادة ما يفشل. لماذا؟ لأنه حتى لو تدربا على بيانات متشابهة، فإنهما يتعلمان بطرق مختلفة.

مشكلة "التبديل" (Permutation): فكر في "رف التوابل" الخاص بالشيف (أ) حيث يوجد "الكمون" في الدرج العلوي، بينما "الكمون" الخاص بالشيف (ب) في الدرج السفلي. إذا قمت ببساطة بمتوسط أدراجهما، فستنتهي بمزيج فوضوي لا معنى له. الأعصاب في الذكاء الاصطناعي (المكونات) موجودة في ترتيبات ومواقع مختلفة.
تحدي "الصفر التدريبي" (Zero-Shot): معظم الطرق الموجودة تعمل بشكل جيد إذا كانت خلفيات الطهاة متشابهة. ولكن إذا تدربوا على بيانات مختلفة تماماً (مثل أحدهم على الطعام الإيطالي والآخر على الطعام الياباني)، فإن الطرق الموجودة تفشل فشلاً ذريعاً. يصبح النموذج المدمج مرتبكاً ويؤدي أداءً أسوأ من الطهاة الفرديين.

الحل: "التعديل اللاحق" باستخدام "هدف" (Retrofitting with a Target)

يقترح المؤلفون طريقة جديدة تسمى "دمج النماذج عبر التعديل اللاحق" (Model Fusion via Retrofitting). بدلاً من مجرد دمج الطهاة، يستخدمون عملية من خطوتين تعمل كمترجم ومدرب.

الخطوة 1: "التجميع" (إيجاد التوائم)

أولاً، تبحث الخوارزمية فيما تفعله الأعصاب (الأعصاب هي مثل الخلايا العصبية في دماغ الإنسان، أو "المهارات" المحددة للطهاة) فعلياً عند رؤية البيانات.

تقوم بتجميع الأعصاب المتشابهة من الشيف (أ) والشيف (ب) معاً.
اللمسة الإبداعية: يقدم البحث مفهوم "درجات إسناد الأعصاب" (Neuron Attribution Scores). تخيل أن ليست كل المكونات متساوية في الأهمية؛ فبعض التوابل حاسمة للنكهة، بينما البعض الآخر مجرد زينة. تحدد الخوارزمية أي الأعصاب هي "اللاعبون النجوم" (ذات أهمية عالية) وأيها "بدلاء على مقاعد الاحتياط" (منخفضة الأهمية).
بعد ذلك، تنشئ "هدفاً" (Target) لكل مجموعة. فكر في هذا كبطاقة وصفة "المعيار الذهبي" التي تمثل المتوسط المثالي للأعصاب المجمعة، موزونة حسب مدى أهميتها.

الخطوة 2: "التعديل اللاحق" (المدرب)

الآن، تبني الخوارمازمية "الشيف الماهر" الجديد (النموذج المدمج). إنها لا تكتفي بنسخ الطهاة القدامى؛ بل تدرب طبقات النموذج الجديد لتطابق تلك "الأهداف المعيارية الذهبية" التي أنشأتها للتو.

الأمر يشبه أخذ متدرب جديد وقول: "لا تكتفِ بنسخ الشيف (أ) أو الشيف (ب). انظر إلى طبق الهدف المحدد الذي صممناه هذا. اضبط طبخك حتى يتطابق مخرجك مع هذا الهدف تماماً".
يحدث هذا طبقة تلو الأخرى، من أسفل الشبكة إلى أعلاها.

لماذا هذا أفضل (النتائج)

اختبر البحث هذه الطريقة على بنيات ذكاء اصطناعي متنوعة (مثل VGG و ResNet و Vision Transformers) ووجد ما يلي:

إنه يعمل عندما تفشل الطرق الأخرى: في سيناريوهات "الصفر التدريبي" (حيث يتم دمج النماذج دون أي تدريب إضافي على بيانات جديدة)، غالباً ما تنهار الطرق الموجودة وتتحول إلى تخمين عشوائي. تحافظ طريقة المؤلفين على دقة عالية، حتى عندما تكون النماذج قد تدربت على بيانات مختلفة تماماً وغير متداخلة (مثل إعداد "التقسيم/Sharded" حيث يرى أحد النماذج السيارات الحمراء فقط والآخر يرى السيارات الزرقاء فقط).
إنه يحترم الأهمية: من خلال استخدام "درجات إسناد الأعصاب"، تضمن الطريقة الحفاظ على الميزات الأكثر حيوية للنماذج الأصلية، بدلاً من ضياعها في ضجيج الميزات الأقل أهمية.
إنه مرن: يعمل على أنواع مختلفة من بنيات الذكاء الاصطناعي، وليس نوعاً واحداً فقط.

المقايضة

يعترف البحث بأن هذه الطريقة أبطأ وأثقل حوسبياً من طرق "المتوسط السريع والبسيط". ومع ذلك، يجادلون بأن هذا يستحق العناء لأن:

إنها تنتج نموذجاً قابلاً للاستخدام فوراً (Zero-Shot)، بينما تتطلب الطرق الأخرى غالباً ساعات أو أياماً من الضبط الدقيق الإضافي لكي تعمل على الإطلاق.
على المدى الطويل، الوقت الذي يتم توفيره في إصلاح النماذج المكسورة يفوق الوقت الإضافي المستغرق في عملية الدمج الأولية.

ملخص التشبيه

الطريقة القديمة: تأخذ لغتين مختلفتين، تترجمهما كلمة بكلمة إلى لغة ثالثة، وتأمل أن يبقى المعنى. عادة ما ينتج عن ذلك كلام غير مفهوم.
الطريقة الجديدة (التعديل اللاحق): تحدد المفاهيم الأساسية (الأهداف) التي يفهمها كلا الطاهيين، وتخصص لها قيمة بناءً على الأهمية، ثم تعلم طاهياً جديداً التحدث بتلك اللغة الموحدة المحددة بدقة.

يخلص البحث إلى أن هذا النهج يسمح لنا بدمج نماذج الذكاء الاصطناعي المستقلة بفعالية، حتى عندما تكون مختلفة جداً، دون الحاجة إلى إعادة تدريبها من الصفر.

ملخص تقني: دمج النماذج عبر التعديل اللاحق (Retrofitting)

بيان المشكلة

يهدف دمج النماذج (Model fusion) إلى الجمع بين الشبكات العصبية المدربة بشكل مستقل في نموذج واحد دون إعادة تدريب، مما يوفر حلاً للسيناريوهات التي يكون فيها إعادة التدريب مكلفاً للغاية أو غير ممكن بسبب قيود خصوصية البيانات (مثل التعلم الاتحادي - Federated Learning). ومع ذلك، فإن هذه المهمة معقدة بسبب التباعد التمثيلي (representational divergence) الناتج عن عدم التباين في الترتيب (permutation invariance)، والبدء العشوائي (random initialization)، وتوزيعات بيانات التدريب غير المتجانسة.

تعتمد الأساليب الحالية، مثل OTFusion (Singh & Jaggi, 2020) و Git Re-Basin (Ainsworth et al., 2023)، على فرضية "الاتصال الخطي للنمط" (Linear Mode Connectivity - LMC)، والتي تفترض أن الشبكات المدربة بشكل مستقل تقع في نفس الحوض منخفض الخسارة (low-loss basin). وبينما تنطبق فرضية LMC على النماذج المدربة على بيانات متطابقة، تشير الدراسات السابقة إلى أن النماذج المدربة على نفس البيانات قد تتعلم ميزات داخلية متباعدة. وبناءً على ذلك، تعاني أساليب الدمج الحالية بشكل كبير في إعدادات الصفر التدريبي (zero-shot settings) (الدمج دون تدريب إضافي) وتحت نظم البيانات غير المتماثلة (non-IID)، حيث غالباً ما تنهار النتائج لتصل إلى أداء يقارب العشوائية. علاوة على ذلك، تفتقر النهج الحالية غالباً إلى العمومية عبر البنى المختلفة (مثل معاناتها مع نماذج Transformer)، وتعتمد على نماذج أساسية قد لا تكون محسنة بالكامل، مما يحجب الإمكانات الحقيقية لخوارزميات الدمج.

المنهجية

يقترح المؤلفون عائلة من خوارزميات الدمج المتمحورة حول العصبونات (neuron-centric) التي تعيد صياغة دمج النماذج كمسألة مطابقة تمثيل (representation-matching) مبدئية. بدلاً من مجرد متوسط الأوزان أو البحث عن مصفوفات الترتيب، تعامل الطريقة الدمج كعملية مكونة من مرحلتين: تجميع العصبونات من النماذج الأبوية في تمثيلات مستهدفة، ثم تدريب الشبكات الفرعية للنموذج المدمج لتقريب هذه التمثيلات.

الإطار الأساسي

تكلفة التمثيل (Representation Cost): يتم تعريف الهدف من خلال مسافة $L_2$ المربعة بين تنشيطات عصبونات النموذج الأساسي وأقرب العصبونات في النموذج المدمج، مع وزنها بـ درجات أهمية العصبون (neuron importance scores) (درجات الإسناد - attribution scores). وهذا يقلل من خطأ سوء تمثيل الميزات البارزة.
التفكيك (النظرية 1): يقدم المؤلفون متجه هدف مساعد $T$ $T$ لتفكيك تكلفة التمثيل إلى مكونين قابلين للتفسير:
- خطأ التجميع (Grouping Error): يقيس مدى جودة تجميع عصبونات النموذج الأساسي حول مراكز ثقل (centroids) موزونة حسب الأهمية ( $T_k$ ).
- خطأ التقريب (Approximation Error): يقيس مدى جودة تقريب عصبونات المخرجات في النموذج المدمج لهذه المراكز.
خوارزمية مرحلتين:
- المرحلة 1 (التجميع): يتم تجميع العصبونات من النماذج الأساسية لتقليل خطأ التجميع. ينتج عن ذلك مراكز ثقل موزونة حسب الأهمية تعمل كأهداف.
- المرحلة 2 (التعديل اللاحق - Retrofitting): يتم تحسين أوزان النموذج المدمج في المستوى الحالي (عبر حل مغلق للمسافات الخطية أو باستخدام التدرج النازل - SGD - للطبقات غير الخطية) لتقليل خطأ التقريب مقابل هذه الأهداف. تتم هذه العملية من الأسفل إلى الأعلى عبر مستويات الشبكة.

متغيرات الخوارزمية

تقدم الورقة خوارزميتين رئيسيتين بناءً على استراتيجية التجميع:

الدمج الهنغاري (Hungarian Fusion - HF): مصمم للنماذج متساوية الحجم مع مطابقة (واحد لواحد) على مستوى الطبقة. يستخدم خوارزمية "هونغاري" لإيجاد التعيين الأمثل.
دمج K-means (K-means Fusion - KF): مصمم للحالات العامة، بما في ذلك النماذج ذات العروض والعمق المختلفين. يستخدم تجميع K-means الاستدلالي لتجميع العصبونات.

كلا الخوارزميتين لديهما متغيرات خطية (حل مغلق للطبقات التآلفية - affine layers) و مبنية على التدرج (SGD/Adam للطبقات غير الخطية).

الابتكارات الرئيسية

إسناد العصبون (Neuron Attribution): على عكس العمل السابق، يتضمن هذا النهج درجات أهمية العصبون (مثل Conductance أو DeepLIFT) لتوجيه المحاذاة نحو الميزات البارزة، مما يحسن الأداء في البيئات غير المتجانسة.
المرونة المعمارية: الطريقة قابلة للتطبيق على أي بنية يمكن نمذجتها كـ "رسم بياني موجه غير حلقي" (DAG) من المستويات، وقد تم التحقق منها تجريبياً على نماذج VGG و ResNet و Vision Transformers (ViTs).
القدرة على العمل في وضع الصفر التدريبي (Zero-Shot): من خلال تحسين تقريب التمثيلات المجمعة بشكل صريح، تحقق الطريقة أداءً قوياً دون الحاجة إلى التدريب الدقيق المكثف المطلوب من الطرق السابقة.

النتائج التجريبية

قيم المؤلفون أساليبهم عبر ثلاثة أنظمة تدريب: المجزأة (Sharded) (مجموعات فئات منفصلة)، غير المتماثلة (Non-IID) (توزيعات فئات منحازة)، و مجموعة البيانات الكاملة (Full Dataset).

أنظمة Sharded/Non-IID: في حالات Non-IID القصوى (مثل تقسيم CIFAR-100 إلى 6 فئات)، انهارت الأساليب الحالية مثل OTFusion و Git Re-Basin إلى دقة تقارب العشوائية (غالباً أقل من 5%). في المقابل، حافظت KF-Gradient و HF-Gradient على دقة صفرية تدريبية قوية (على سبيل المثال، 34.7% على CIFAR-100 للتقسيمات السدية مقابل أقل من 1.5% للنماذج المرجعية).
أنظمة مجموعة البيانات الكاملة: حتى عندما يتم تدريب النماذج على مجموعة البيانات الكاملة، تتفوق الأساليب المقترحة على النماذج المرجعية في دمج الصفر التدريبي. على سبيل المثال، في CIFAR-100، حققت KF-Gradient دقة صفرية قدرها 63.0% مقارنة بـ 4.3% لـ Transformer OTFusion. بعد التدريب الدقيق، اقتربت الأساليب المقترحة باستمرار من أداء "النماذج المجمعة" (ensemble performance) مع الحفاظ على تكاليف الاستدلال لنموذج واحد.
الضغط وعدم التجانس: نجحت الطريقة في دمج نماذج ذات عروض مختلفة وضغط نماذج أكبر (ResNet-50) في نماذج أصغر (ResNet-18) بدقة أعلى بكثير من "تقطير المعرفة" (Knowledge Distillation - KD) القياسي عندما كانت البيانات محدودة.
المتانة: أظهر النهج متانة تجاه أحجام مجموعات بيانات الدمج المتغيرة، حيث ساهم تعزيز البيانات (data augmentation) بفعالية في تقليل الحاجة إلى مجموعات دمج كبيرة.

الأهمية والادعاءات

تدعي الورقة معالجة ثلاث فجوات رئيسية في الأبحاث السابقة:

قابلية التكرار (Reproducibility): توفير إعادة تنفيذ مرنة ومفتوحة المصدر تسهل الاختبار المنهجي عبر البنى المختلفة.
جودة النموذج الأساسي: إثبات أن أساليب الدمج يمكن أن تحقق تحسينات كبيرة حتى عندما تكون النماذج الأساسية مدربة جيداً، مما يتحدى فكرة أن نتائج الدمج الضعيفة تعود فقط إلى ضعف النماذج المرجعية.
البيانات غير المتجانسة: إظهار أن الأساليب الحالية تفشل في دمج الصفر التدريبي تحت ظروف Non-IID، بينما ينجح النهج المتمحور حول العصبونات في دمج النماذج المدربة على توزيعات بيانات منفصلة أو منحازة.

يؤكد المؤلفون أن نهجهم هو الأول الذي يدمج درجات أهمية العصبون بنجاح في دمج النماذج، مما يؤدي إلى تحسينات ثابتة على النماذج المرجعية، خاصة في سيناريوهات الصفر التدريبي و Non-IID حيث تفشل الطرق الأخرى. وهم يضعون طريقتهم كحل عملي للتعلم الاتحادي وتجميع النماذج الحافظ للخصوصية، حيث لا يكون إعادة التدريب خياراً متاحاً. وبينما يقر المؤلفون بأن المتغيرات المبنية على التدرج أكثر تكلفة حوسبياً من النماذج المرجعية الخفيفة، إلا أنهم يجادلون بأن هذا العبء مبرر لقدرة الطريقة على إنتاج نماذج مدمجة قابلة للاستخدام في الأنظمة التي تقدم فيها المنافسة نتائج غير صالحة للاستخدام.