🤖 machine learning

Shapley Neuron Values for Continual Learning: Which Neurons Matter Most?

تقدم هذه الورقة تقييم عصبون شابلي (SNV)، وهو إطار عمل قائم على نظرية الألعاب يحدد ويجمّد العصبونات الحرجة لتمكين التعلم المستمر الفعال بدون توسع معماري، محققاً تحسينات كبيرة في الدقة مقارنة بالطرق الحالية على مجموعة بيانات ImageNet-1k.

المؤلفون الأصليون: Mohammad Ali Vahedifar, Abhisek Ray, Qi Zhang

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammad Ali Vahedifar, Abhisek Ray, Qi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "قيم نيورون شابلي للتعلم المستمر" (Shapley Neuron Values for Continual Learning) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "ذاكرة السمكة الذهبية" للذكاء الاصطناائي

تخيل أنك تقوم بتعليم طالب (شبكة عصبية) مجموعة من المواد: أولاً الرياضيات، ثم التاريخ، ثم الأحياء.

الهدف: تريد من الطالب أن يتعلم الأحياء دون أن ينسى الرياضيات أو التاريخ.
الواقع: في الذكاء الاصطناائي التقليدي، غالباً ما يؤدي تعلم الأحياء إلى قيام الطالب بـ "مسح" ملاحظات الرياضيات الخاصة به. وهذا ما يسمى بـ "النسيان الكارثي" (Catastrophic Forgetting). كلما تعلموا أكثر، نسيوا ما سبق.

لحل هذه المشكلة، تستخدم معظم الطرق الحالية إحدى الحيل التالية:

طريقة "الدفتر" (القائمة على الذاكرة): يحتفظ الطالب بدفتر ملاحظات مادي للمسائل الرياضية القديمة لمراجعتها أثناء تعلم الأحياء. المشكلة: هذا الدفتر يصبح ضخماً، ويشغل مساحة، وقد يحتوي على معلومات خاصة غير مسموح لك بالاحتفاظ بها.
طريقة "حقيبة الظهر" (البنية الديناميكية): يشتري الطالب حقيبة ظهر أكبر في كل مرة يتعلم فيها موضوعاً جديداً. المشكلة: في النهاية، تصبح الحقيبة ثقيلة وكبيرة جداً لدرجة تجعل حملها مستحيلاً.

حل الورقة البحثية: نظام "الخزانة الذكية" (Shapley Neuron Value - SNV)

تقترح هذه الورقة طريقة ثالثة: نظام "الخزانة الذكية".

بدلاً من شراء حقيبة ظهر أكبر أو حمل دفتر ثقيل، يستخدم الطالب نفس حقيبة الظهر التي بدأ بها. السر يكمن في معرفة أي العناصر في حقيبة الظهر ضرورية لأي موضوع تحديداً، ثم قفلها في مكانها حتى لا تضيع، مع ترك العناصر الأخرى حرة للاستخدام في المواضيع الجديدة.

إليك كيف يفعلون ذلك:

1. تشبيه "فريق العمال" (نظرية الألعاب)

داخل دماغ الذكاء الاصطناعي، هناك آلاف "العمال" الصغار المسمى "نيورونات" (Neurons). عندما يحل الذكاء الاصطناعي مشكلة ما، يتعاون هؤلاء العمال.

السؤال: من هو العامل الأكثر أهمية لهذه المهمة المحددة؟
الأداة: يستخدم المؤلفون مفهوماً رياضياً من نظرية الألعاب التعاونية يسمى "قيم شابلي" (Shapley Values).
التشبيه: تخيل مجموعة من الناس يحاولون بناء منزل. البعض يضع الطوب، والبعض يدهن، والبعض الآخر يقف فقط دون فعل شيء. "قيمة شابلي" هي طريقة عادلة لحساب مقدار مساهمة كل شخص بالضبط في المنزل النهائي.
- إذا أزلت عاملاً معيناً وانهار المنزل، فهذا يعني أن هذا العامل كان لديه قيمة عالية.
- إذا أزلت عاملاً وبقي المنزل كما هو، فهذا يعني أن هذا العامل كانت لديه قيمة صفرية.

2. استراتيجية "التجميد"

بمجرد أن يتعلم الذكاء الاصطناعي مهمة (مثل الرياضيات)، يقوم نظام SNV بإجراء عملية حسابية سريعة لمعرفة أي "النيورونات" كانت هي "اللاعبين النجوم" في الرياضيات.

الإجراء: يضع قفلاً تجميدياً على تلك النيورونات النجمة المحددة. أصبحت الآن "مجمدة" ولا يمكن تغييرها.
النتيجة: عندما يتعلم الذكاء الاصطناعي التاريخ، يمكنه استخدام النيورونات "غير المجمدة" فقط. نيورونات الرياضيات آمنة في خزائنها، لذا يتم الحفاظ على معرفة الرياضيات.
الفائدة: لا يحتاج الذكاء الاصطناعي أبداً لتخزين بيانات قديمة (لا يوجد دفتر) ولا يحتاج أبداً للنمو في الحجم (لا توجد حقيبة ظهر جديدة). هو فقط يعيد تنظيم ويقفل أجزاء من دماغه الحالي.

3. لماذا هذا أفضل من الطرق الأخرى؟

تقارن الورقة البحثية نظام "الخزانة الذكية" هذا بطرق أخرى:

مقابل "الدفتر" (القائم على الذاكرة): لا يحتاج نظام SNV لتخزين صور أو بيانات قديمة. هذا رائع للخصوصية (لا تسريبات للبيانات) ويوفر مساحة التخزين.
مقابل "حقيبة الظهر" (البنية الديناميكية): لا يضيف نظام SNV أجزاء جديدة للدماغ. هو يضع كل شيء في الحجم الأصلي.
مقابل "التجميد الأعمى" (طرق أخرى بدون ذاكرة): بعض الطرق الأخرى تقوم فقط بتجميد أجزاء عشوائية من الدماغ أو التجميد بناءً على تخمينات بسيطة. يستخدم SNV رياضيات "قيمة شابلي" ليكون دقيقاً. فهو يعرف بالضبط أي النيورونات هي الأكثر أهمية، لذا لا يجمد بالخطأ نيوروناً قد يكون مطلوباً للمهمة الجديدة.

النتائج: "السمكة الذهبية التي تتذكر"

اختبر الباحثون هذا على مجموعات بيانات صور ضخمة (مثل ImageNet، التي تحتوي على آلاف الأنواع من الصور).

النتيجة: تفوق نظام SNV باستمرار على الطرق الأخرى التي لا تستخدم "دفتر ملاحظات".
الدرجة: في أحد الاختبارات، حسن SNV الدقة بنسبة تقارب 6.5% مقارنة بثاني أفضل طريقة لا تستخدم دفتر ملاحظات.
ادعاء "صفر نسيان": في الاختبارات حيث يعرف الذكاء الاصطناعي المهمة التي يقوم بها (التعلم المتزايد للمهام - Task Incremental Learning)، حقق SNV صفراً من النسيان. لقد تعلم أشياء جديدة دون فقدان أي شيء قديم، وكل ذلك دون تخزين صورة واحدة قديمة.

العقبة (القيود)

تعترف الورقة البحثية بوجود تكلفة صغيرة. حساب "قيمة شابلي" (معرفة من هم العمال النجوم) يستغرق القليل من الوقت الإضافي والطاقة الحاسوبية.

المقايضة: الأمر يشبه قضاء 10 دقائق إضافية في إجراء جرد مفصل لحقيبة ظهرك قبل الرحلة. يستغرق الأمر وقتاً أطول قلي في البداية، لكنه يضمن عدم فقدان مفاتيحك لاحقاً. تجادل الورقة بأن هذه التكلفة الزمنية الصغيرة تستحق العناء لتجنب التكلفة الهائلة لتخزين البيانات أو بناء نماذج أكبر.

الملخص

فكر في "قيم نيورون شابلي" كأنها أمين مكتبة ذكي لعقل الذكاء الاصطناعي.
بدلاً من رمي الكتب القديمة (النسيان) أو شراء مكتبة جديدة (التوسع)، يحدد أمين المكتبة الكتب الأكثر أهمية للموضوع الحالي، ويقفلها في خزنة، ويترك المجال للذكاء الاصطناعي لكتابة ملاحظات جديدة في المساحة الفارغة. بهذه الطريقة، تظل المكتبة بنفس الحجم، ولكن المعرفة لا تضيع أبداً.

ملخص تقني: قيم شيبلي العصبية للتعلم المستمر

1. بيان المشكلة

يهدف التعلم المستمر (CL) إلى تمكين الشبكات العصبية من تعلم مهام متتالية دون نسيان المعرفة المكتسبة سابقًا. ومع ذلك، تعاني الشبكات العصبية القياسية من النسيان الكارثي، حيث يؤدي تعلم مهام جديدة إلى تدهور الأداء في المهام السابقة. وتواجه الحلول الحالية قيودًا كبيرة:

الأسال heavy المعتمدة على الذاكرة (مثل iCaRL و ++DER) تقوم بتخزين وإعادة تشغيل الأمثلة الماضية، مما ينتهك إعدادات التعلم المستمر الصارمة حيث تكون البيانات الماضية غير متاحة، ويثير مخاوف تتعلق بالخصوصية (مثل GDPR).
طرق البنية الديناميكية (مثل PNN و DyTox) تعمل على توسيع حجم النموذج بمرور الوقت، مما يؤدي إلى نمو غير محدود في المعلمات وعدم القدرة على التنفيذ حوسبيًا.
الطرق المعتمدة على التنظيم (مثل EWC و SI) غالبًا ما تعاني مع المهام شديدة التباين وقد تتطلب وحدات مساعدة أو قيودًا خاصة بالمهمة.

التحدي الجوهري الذي يتم معالجته هو تحقيق تعلم مستمر مقاوم للنسيان ضمن شبكة أساسية ذات سعة ثابتة، دون الرجوع إلى البيانات الماضية ودون توسيع البنية.

2. المنهجية: قيم شيبلي العصبية (SNV)

يقترح المؤلفون قيم شيبلي العصبية (SNV)، وهو إطار عمل خالٍ من المخزن المؤقت (buffer-free) يستفيد من الإفراط في التخصيص (over-parameterization) المتأصل في الشبكات العصبية الحديثة. تحدد الطريقة وتُحافظ على "الشبكات الفرعية الخبيرة" لكل مهمة باستخدام مبادئ من نظرية الألعاب التعاونية.

الآلية الجوهرية

تعريف العصبون: في الشبكات التلافيفية، يُعرف "العصبون" بأنه مرشح تلافيفي (convolutional filter/kernel).
تقييم شيبلي: يتم قياس أهمية كل عصبون باستخدام قيم شيبلي، والتي توزع مقياس أداء النموذج $V(M)$ $V (M)$ بشكل عادل بين العصبونات بناءً على مساهماتها الهامشية في مجموعات فرعية مختلفة من الشبكة.
- يحقق التقييم أربعة بديهيات: الكفاءة، المساهمة الصفرية، التماثل، والخطية.
- تُحسب قيمة شيبلي $\phi_i$ للعصبون $i$ كالتالي:
  $\phi_i = \sum_{S \subseteq M \setminus \{i\}} \frac{|S|!(|M| - |S| - 1)!}{|M|!} [V(S \cup \{i\}) - V(S)]$
- هنا، تمثل $V(S)$ أداء النموذج عندما يتم استبدال العصبونات في $M \setminus S$ بمتوسط تنشيطاتها (التمويه/masking)، مما يحافظ على إحصائيات الإشارة دون إعادة تدريب.
استراتيجية التقريب: بما أن حساب شيبلي الدقيق يتزايد أسياً، تستخدم SNV ثلاثة تقريبات:
- تقدير مونت كارلو: أخذ عينات من تبديلات العصبونات لتقدير المساهمات الهامشية.
- التقليم (Truncation): تخطي الحسابات الهامشية للمجموعات الفرعية الصغيرة حيث ينخفض الأداء تحت حد معين (بافتراض أن النموذج غير فعال).
- المضاعف متعدد الأذرع (MAB): تركيز جهود أخذ العينات على العصبونات التي تتداخل فترات ثقتها مع أعلى- $k$ من القيم المقدرة لتحديد العصبونات الأكثر أهمية بكفاءة.
التجميد واللدونة:
- لكل مهمة $t$ ، يتم اختيار أعلى $c \cdot N$ عصبون (حيث $c$ هي نسبة التناثر و $N$ هو إجمالي العصبونات) ذات أعلى قيم شيبلي.
- يتم الحفاظ على قناع ثنائي تراكمي $B_t$ ، يحدد جميع العصبونات المختارة للمهام من 1 إلى $t$ .
- أثناء التدريب للمهمة $t+1$ ، يتم حظر التدرجات (gradients) لجميع العصبونات في $B_t$ (المجمدة)، بينما يتم تحديث العصبونات "اللدنة" المتبقية. يضمن هذا استقرار الاحتفاظ بالمعرفة للمهام الماضية مع السماح بالمرونة للمهام الجديدة.

3. المساهمات الرئيسية

اختيار العصبونات القائم على المبادئ: تقديم إطار عمل نظري للألعاب (قيم شيبلي) لتحديد العصبونات الأكثر أهمية لمهام محددة، متجاوزًا درجات الأهمية الاستدلالية أو الثنائية البسيطة.
خالٍ من المخزن المؤقت وثابت السعة: إثبات أن شبكة ذات سعة ثابتة يمكنها تعلم مهام متتالية إلى أجل غير مسموح به عن طريق تجميد العصبونات المهمة بشكل انتقائي، مما يلغي الحاجة إلى مخازن إعادة التشغيل أو توسيع البنية.
مقايضة الاستقرار واللدونة: فصل الاحتفاظ بالمعرفة (عبر العصبونات المستقرة المجمدة) عن تعلم المهام الجديدة (عبر العصبونات اللدنة) بشكل صريح، مما يقلل من التداخل بين المهام.
التقدير الفعال: اقتراح خط معالجة عملي (مونت كارلو + التقليم + MAB) لجعل تقدير قيمة شيبلي ممكناً حوسبياً للتعلم المستمر.

4. النتائج التجريبية

أُجريت التجارب على CIFAR-100، و Tiny-ImageNet، و ImageNet-1k باستخدام ResNet-18، لتغطية سيناريوهات التعلم المتزايد للفئات (CIL) و التعلم المتزايد للمهام (TIL).

أبرز نتائج الأداء

ImageNet-1k (CIL): حققت SNV دقة بلغت 41.30% في 10 مهام، و 34.20% في 20 مهمة، و 25.60% في 50 مهمة. لقد تفوقت باستمرار على جميع النماذج المرجعية الخالية من المخزن المؤقت (مثل NFL+ و DCNet) وحتى تفوقت على الطريقة المعتمدة على الذاكرة DyTox (التي تخزن 20,000 نموذج) في سيناريو الـ 10 مهام.
ImageNet-1k (TIL): حققت SNV دقة بلغت 57.82% مع 0.0 انتقال خلفي (BWT)، متفوقة على جميع الطرق الخالية من المخزن المؤقت ومساوية أو متفوقة على الطرق المعتمدة على الذاكرة دون تخزين أي بيانات.
المقارنة بالنماذج المرجعية:
- في CIL، حسنت SNV الدقة بمقدار +2.88% عن ثاني أفضل طريقة خالية من المخزن المؤقت (NFL+) في 10 مهام، واتسعت الفجوة لتصل إلى +3.20% في 50 مهمة.
- في TIL، تفوقت SNV على WSN (الشبكة الفرعية الفائزة) بنسبة 15.76% في CIFAR-100 (عند $c=0.5$ )، مما يثبت أن اختيار شيبلي المنهجي يتفوق على الاختيار الاستدلالي الثنائي.
كفاءة المعلمات: أظهر تحليل التقليم أن SNV تستخدم المعلمات بكفاءة أكبر من طرق مثل PEC و EWC. حافظت SNV على دقة عالية تحت التقليم العميق قبل الانهيار، مما يشير إلى وجود تكرار أقل واستخدام أكثر حرجاً للمعلمات.
التكلفة الحوسبية: على الرغم من أن SNV تتطلب عمليات حسابية (FLOPs) أكثر من المنظمات خفيفة الوزن (مثل EWC)، إلا أن العبء الإضافي متواضع (~1.24 ضعف NFL+). وهي تظل أكثر كفاءة بكثير من الطرق المعتمدة على الذاكرة مثل DyTox، التي تتطلب ~2.8 ضعف العمليات الحسابية و 2.1 ضعف ذاكرة وحدة معالجة الرسومات (GPU).

5. الأهمية والادعاءات

يدعي البحث أن SNV توفر حلاً مبدئيًا وخاليًا من المخزن المؤقت لمشكلة النسيان الكارثي، وهو مناسب تمامًا للبيئات محدودة الموارد والحساسة للخصوصية.

الخصوصية: من خلال إلغاء الحاجة لتخزين البيانات الماضية، تتجنب SNV مخاطر الخصوصية المرتبطة بلوائح الاحتفاظ بالبيانات (مثل GDPR).
القابلية للتوسع: تتجنب النمو غير المحدود في الذاكرة الذي تعاني منه طرق البنية الديناميكية.
الفعالية: يجادل المؤلفون بأن مجرد تخزين وإعادة تشغيل العينات قد لا يكون الاستراتيجية المثلى؛ وبدلاً من ذلك، فإن تحديد وحفظ العصبونات "الصحيحة" داخل شبكة ثابتة هو نهج أكثر قوة للتعلم المستمر الصارم.
القيود: يقر المؤلفون بأن خطوة تقدير شيبلي بعد المهمة تضيف تكلفة حوسبية، والتي قد تصبح عنق زجاجة للنماذج الكبيرة جدًا. يهدف العمل المستقبلي إلى تقريب هذه القيم عبر الإنترنت (online) لإلغاء مرحلة التقدير المنفصلة.

يضع هذا العمل SNV كبديل قوي للمناهب المعتمدة على الذاكرة، موضحًا أن الأداء العالي في التعلم المستمر يمكن تحقيقه دون انتهاك قيود الوصول الصارمة للبيانات.