💻 computer science

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

يقدم LDEPrompt مجمع مطالبات مزدوج قابل للتوسع وقائم على أهمية الطبقات، يتغلب على قيود الطرق الحالية من خلال تمكين الاختيار التكيفي للطبقات والتوسع الديناميكي لمجمع المطالبات، محققاً أداءً هو الأفضل في فئته في التعلم التزايدي للفئات.

المؤلفون الأصليون: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف ماهر قضى سنوات في إتقان كتاب طهي ضخم وشهير عالميًا (هذا هو النموذج المدرب مسبقًا - Pre-trained Model). أنت تعرف كيف تطهو كل شيء، من المعجنات الفرنسية إلى السوشي الياباني. والآن، تريد تعلم وصفات جديدة لأطباق من بلدان لم تزرها من قبل، ولكن لديك قاعدة صارمة: لا يمكنك إعادة كتابة الصفحات القديمة لكتاب الطهي الخاص بك، وليس لديك مساحة للاحتفاظ بكل كتب الطهي القديمة على رفوفك.

هذا هو تحدي التعلم المتزايد للفئات (Class-Incremental Learning): تعلم أشياء جديدة دون نسيان الأشياء القديمة، ودون الحاجة لتخزين كل البيانات القديمة.

إليك كيف يحل حل الورقة البحثية، LDEPrompt، هذه المشكلة باستخدام تشبيه ذكي للمطبخ.

1. المشكلة مع الطرق القديمة

كانت المحاولات السابقة لحل هذه المشكلة تشبه إعطاء الشيف دفتر ملاحظات لاصق صغير وثابت الحجم.

المشكلة: كان على الشيف كتابة الوصفات الجديدة على هذه الملاحظات اللاصقة. لكن الدفتر كان يحتوي على 5 أماكن فقط. وعندما تأتي وصفة جديدة، كان على الشيف مسح وصفة قديمة لإفساح المجال.
النتيجة: نسي الشيف الوصفات القديمة (النسيان الكارثي - Catastrophic Forgetting). كما كان على الشيف التخمين أين يضع الملحوظة (على سبيل المثال، هل يضعها قرب قسم "المقبلات" أم قسم "الحلويات") دون أن يعرف حقًا أي مكان هو الأفضل.

2. حل LDEPrompt: مطبخ ذكي ومتنامٍ

يقترح المؤلفون نظامًا جديدًا يسمى LDEPrompt. فكر في الأمر كمطبخ سحري يتميز بميزتين خاصتين: التوزيع الذكي والتخزين المزدوج.

الميزة (أ): رادار "أهمية الطبقة" (التوزيع الذني - Smart Placement)

قبل أن يبدأ الشيف في طهي طبق جديد، لا يقوم بمجرد التخمين أين يضع الملاحظات. بل يقوم بعمل "استطلاع" سريع عبر كتاب الطهي الحالي الخاص به.

كيف يعمل: يتحقق النظام من كل فصل في كتاب الطهي ليرى أي فصل هو الأكثر حماسًا أو "إفادة" بشأن الطبق الجديد.
التشبيه: إذا كان الطبق الجديد هو "كاري حار"، يدرك النظام أن فصل "التوابل" هو المكان الأكثر أهمية لإضافة ملاحظة، بدلاً من فصل "الخبز".
الفائدة: بدلًا من ملء الكتاب بأكمله بالملاحظات، يضع الشيف التعليمات الجديدة فقط في الفصول المحددة التي تحتاجها بالفعل. هذا يوفر المساحة ويحافظ على وضوح التعليمات.

الميزة (ب): نظام "المجمع المزدوج" (التخزين الذكي - Dual Storage)

هذه هي الخدعة السحرية التي تمنع النسيان. يستخدم الشيف نوعين مختلفين من التخزين:

الخزانة العالمية (المكتبة المجمدة - The Global Vault):
- هذه مكتبة آمنة ومحاطة بزجاج حيث تُخزن جميع الوصفات القديمة والمثالية.
- القاعدة: بمجرد وضع وصفة هنا، تصبح مجمدة. يمكنك قراءتها، لكن لا يمكنك تغييرها. هذا يضمن ألا ينسى الشيف مهاراته القديمة أبدًا.
- التوسع: عندما يتعلم الشيف وصفة جديدة، فإنه لا يمسح الوصفات القديمة. بل يضيف الوصفة الجديدة إلى هذه المكتبة، مما يجعل المكتبة تكبر بمرور الوقت.
منصة التدريب (مساحة العمل النشطة - The Training Counter):
- هذه منصة صغيرة ومؤقتة حيث يتدرب الشيف على الطبق الجديد الحالي.
- الخدعة: قبل التدريب، ينظر الشيف في الخزانة العالمية ويأخذ أكثر الوصفات القديمة تشابهًا (باستخدام "مطابقة التشابه").
- العملية: يمزج الشيف هذه الوصفات القديمة مع بعض الملاحظات الجديدة الفارغة على المنصة لتعلم الطبق الجديد. وبمجرد انتهاء الدرس، تُنقل الملاحظات الجديدة إلى الخزانة العالمية، وتُفرغ المنصة لليوم التالي.

3. لماذا يعد هذا تحولًا جذريًا؟

لا يوجد مسح للبيانات: نظرًا لأن الوصفات القديمة موجودة في "المكتبة المجمدة"، فإن التعلم الجديد على "المنصة" لا يمسح الماضي أبدًا.
النمو الديناميكي: المكتبة ليست ذات حجم ثابت؛ فهي تنمو كلما تعلمت المزيد، لذا لن تنفد منك المساحة أبدًا.
الاختيار الذكي: من خلال وضع الملاحظات فقط في "الفصول المهمة" (الطبقات)، يكون النظام أكثر كفاءة ولا يرتبك بسبب كثرة الملاحظات في الأماكن الخاطية.

النتيجة

اختبرت الورقة البحثية هذا "المطبخ الذكي" على ثلاثة تحديات طهي شهيرة (مجموعات البيانات: CIFAR100، CUB، وVTAB).

النتيجة: الشيف الذي استخدم LDEPrompt طهى بشكل أفضل من أي شيف آخر استخدم طرق "الملاحظات اللاصقة" القديمة.
الدرجة: لقد حسن الدقة بفوارق كبيرة (بنسبة تصل إلى 3% أفضل في بعض الحالات)، مما يثبت أنه يمكنك تعلم أشياء جديدة للأبد دون نسيان الأشياء القديمة.

باختصار: LDEPrompt يشبه إعطاء طالب دفتر ملاحظات سحريًا ومتناميًا حيث يكتب فقط في الفصول الصحيحة، ولديه خزانة منفصلة وغير قابلة للتغيير لمعرفته الماضية، مما يضمن عدم فقدان ما تعلمه بالفعل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "LDEPrompt: مجمع محفزات مزدوج قابل للتوسع موجه بأهمية الطبقات للتعلم المتزايد للفئات القائم على النماذج سابقة التدريب."

1. بيان المشكلة

تتناول الورقة مشكلة التعلم المتزايد للفئات (CIL) ضمن نموذج النماذج سابقة التدريب (PTMs). التحدي الجوهري هو تمكين النموذج من تعلم فئات جديدة بالتتابع دون الوصول إلى البيانات القديمة (بدون نماذج استرشادية/exemplar-free) مع تجنب النسيان الكارثي (فقدان المعرفة التي تم تعلمها سابقاً).

تعاني طرق التعلم المتزايد للفئات القائمة على المحفزات (Prompts) الحالية من ثلاثة قيود حرجة:

تجاوز المحفزات (Prompt Overwriting): المحفزات التي يتم اختيارها بشكل متكرر عبر مهام مختلفة عرضة للتجاوز أثناء التدريب، مما يؤدي إلى النسيان.
السعة الثابتة (Fixed Capacity): تمتلك مجمعات المحفزات الحالية حجماً ثابتاً، مما يحد من قدرة النموذج على استيعاب مهام جديدة مع نمو عدد الفئات.
الاعتماد على العمود الفقري (Backbone Dependence): يعتمد اختيار المحفزات حصرياً على التضمينات (embeddings) المستخرجة من عمود فقري سابق التدريب ومجمد، وهو ما يفتقر إلى المعلومات الخاصة بالمهمة ويخلق اعتماداً قوياً على التمثيلات الأولية للعمود الفقري.

2. المنهجية: LDEPrompt

يقترح المؤلفون LDEPrompt، وهو إطار عمل يتميز بابتكارين رئيسيين: الاختيار الموجه بأهمية الطبقة ومجمع محفزات مزدوج قابل للتوسع.

أ. تقييم أهمية الطبقة

قبل تدريب مهمة جديدة، يقوم النموذج بعملية تمرير أمامي (forward pass) لبيانات المهمة الحالية عبر العمود الفقري المجمد لتقييم كسب المعلومات (Information Gain - IG) لكل طبقة.

الحساب: $IG(l) = I(x; h_l) - I(x; h_{l-1})$ ، حيث $I$ هي المعلومات المتبادلة بين المدخل $x$ وتمثيلات الطبقة $h$ .
الاختيار: يتم تطبيع الطبقات باستخدام دالة softmax. يتم اختيار الطبقات التي تزيد درجات أهميتها عن المتوسط فقط لاستضافة مجمعات المحفزات. هذا يتجنب تكرار المعلمات ويجعل إدراج المحفزات متوافقاً مع الخصائص الخاصة بالمهمة.

ب. بنية مجمع المحفزات المزدوج القابل للتوسع

لحل مشكلات التجاوز والسعة الثابتة، يقدم LDEPrompt نظام مجمع مزدوج:

المجمع العالمي للمحفزات ( $P_g$ ):
- يخزن المحفزات من جميع المهام الماضية.
- يظل مجمداً أثناء تدريب المهمة الجديدة للحفاظ على المعرفة التاريخية.
- يعمل كمستودع للاحتفاظ بالمعرفة.
مجمع محفزات التدريب ( $P_c$ ):
- له سعة ثابتة ( $S$ ) للمهمة الحالية.
- يحتوي على محفزات خاصة بالمهمة وتكون قابلة للتدريب.
- البناء:
  - الاسترجاع (Retrieval): للمهمة الحالية، يسترجع النموذج أكثر المحفزات تشابهاً مع الـ $s$ الأعلى باستخدام تشابه جيب التمام (cosine similarity) بين رمز [CLS] المدخل والمفاتلة المخزنة.
  - التهيئة (Initialization): يتم تهيئة المواقع المتبقية $S-s$ عشوائياً.
- التوسع (Expansion): بعد التدريب، يتم تجميد المحفزات المتعلمة حديثاً في $P_c$ ودمجها في $P_g$ ، مما يوسع سعة المجمع العالمي ديناميكياً للمهام المستقبلية.

ج. التحسين (Optimization)

يستخدم النموذج دالة خسارة الإنتروبيا المتقاطعة (cross-entropy loss) القياسية لتحسين المحفزات القابلة للتدريب في $P_c$ ورأس المصنف (classifier head). يظل العمود الفقري مجمداً طوال هذه العملية.

3. المساهمات الرئيسية

اختيار الطبقة التكيفي: على عكس الطرق التي تدرج المحفزات في جميع الطبقات أو طبقات ثابتة، يختار LDEPrompt ديناميكياً الطبقات الأكثر معلوماتية بناءً على كسب المعلومات، مما يحسن الكفاءة والأداء.
آلية المجمع المزدوج: الفصل بين مجمع عالمي مجمد ومجمع خاص بالمهمة قابل للتدريب يمنع التجاوز الكارثي للمعرفة القديمة مع السماح لمساحة المحفزات بالنمو بلا حدود.
التوسع الديناميكي: يدعم الإطار عدداً غير محدود من المهام عن طريق توسيع المجمع العالمي، مما يعالج محدودية أحجام مجمعات المحفزات في الأعمال السابقة.
تقليل الاعتماد على العمود الفقري: من خلال دمج المعلومات الخاصة بالمهمة في عملية اختيار وتدريب المحفزات، يقلل الأسلوب من الاعتماد على التمثيلات الثابتة للعمود الفقري المجمد.

4. النتائج التجريبية

قيم المؤلفون LDEPrompt على ثلاثة معايير مستخدمة على نطاق واسع: CIFAR100، CUB، و VTAB، تحت إعدادات تزايدية مختلفة (مثل B0-Inc10، B0-Inc20).

الأداء: حقق LDEPrompt نتائج الأفضل في حالته (SOTA) عبر جميع مجموعات البيانات.
- CIFAR100: تفوق على ثاني أفضل طريقة بنسبة 0.40% (المتوسط) و 0.50% (الأخير).
- CUB: تجاوز المنافس المباشر بنسبة 2.11% (المتوسط) و 2.91% (الأخير).
- VTAB: تحسن بنسبة 3.23% (المتوسط) و 1.37% (الأخير).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة تصميم المجمع المزدوج أو آلية التجميد إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة كلا المكونين.
- أدى إدراج المحفزات في جميع الطبقات (بدون اختيار أهمية الطبقة) إلى أداء أقل بسبب تكرار المعلمات، مما يثبت كفاءة استراتيجية اختيار الطبقة.

5. الأهمية

يمثل LDEPrompt تقدماً كبيراً في التعلم المستمر للنماذج الرؤيوية سابقة التدريب.

القابلية للتوسع: يوفر حلاً قابلاً للتطبيق لسيناريوهات التعلم مدى الحياة حيث يكون عدد الفئات غير محدود، متجاوزاً قيود السعة في الطرق السابقة القائمة على المحفزات.
الكفاءة: من خلال اختيار الطبقات الأكثر معلوماتية فقط، فإنه يحسن التوازن بين سعة النموذج والأداء.
الحفاظ على المعرفة: توفر بنية المجمع المزدوج آلية قوية لموازنة المرونة (تعلم مهام جديدة) والاستقرار (الاحتفاظ بالمهام القديمة) المطلوبة للتعلم المتزايد الفعال.

الكود متاح للجمهور، مما يسهل المزيد من الأبحاث في مجال التعلم المستمر القائم على المحفزات.