🤖 machine learning

Adapt before Continual Learning

تقترح الورقة البحثية إطار عمل "تكييف النماذج اللغوية المدربة مسبقاً قبل التعلم المستمر" (ACL)، وهو إطار عمل جديد يقدم مرحلة تكييف قابلة للتركيب والتشغيل لتنقية تمثيلات النماذج المدربة مسبقاً قبل تعلم المهام، مما يوازن بفعالية بين الاستقرار والمرونة للتخفيف من حدة النسيان الكارثي.

المؤلفون الأصليون: Aojun Lu, Tao Feng, Hangjie Yuan, Chunhui Ding, Yanan Sun

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aojun Lu, Tao Feng, Hangjie Yuan, Chunhui Ding, Yanan Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ عالمي المستوى قضيت سنوات في إتقان المطبخ الفرنسي. أنت تعرف كل صوص، وكل قطعية، وكل تقنية بشكل مثالي. هذا هو "النموذج المدرب مسبقاً" (PTM) الخاص بك — لديك أساس ضخم من المعرفة.

الآن، تخيل أن مطعماً جديداً قد فُتح بجوارك يقدم الطعام التايلاندي فقط. تريد تعلم الطبخ التايلاندي (هذا هو "التعلم المستمر")، لكنك تواجه معضلة كلاسيكية:

مشكلة "الطاهي المتجمد" (استقرار مفرط): تقرر أنك بارع جداً في الطبخ الفرنسي لدرجة أنك ترفض تغيير أي شيء في طريقة إمساكك بالسكين أو استخدامك للموقد. تحاول فقط إضافة التوابل التايلاندية إلى تقنياتك الفرنسية. لن تنسى الطعام الفرنسي، لكنك ستكون سيئاً جداً في الطعام التايلاندي لأن عاداتك الأساسية جامدة للغاية.
مشكلة "أزمة الهوية" (مرونة مفرطة): تقرر إعادة ابتكار نفسك تماماً من أجل الطعام التايلاندي. ترمي تدريبك الفرنسي بعيداً وتبدأ من الصفر. تصبح طاهياً تايلاندياً جيداً، لكنك تدرك فجأة أنك نسيت كيفية صنع صلصة "بيرنيز" (Béarnaise) الأساسية. لقد تعرضت لما يسمى بـ "النسيان الكارثي" لمهاراتك الأصلية.

الحل: طريقة "ACL" (التكيف قبل الطبخ)

يقترح الباحثون في هذه الورقة حلاً وسطاً ذكياً يسمى ACL (التكيف قبل التعلم المستمر).

بدلاً من القفز مباشرة إلى طبخ الأطباق التايلاندية الجديدة، يقترحون وجود "مرحلة إحماء" (مرحلة التكيف). قبل البدء في درس الطبخ الفعلي، تقضي بعض الوقت في "إعادة ضبط" حواسك. تمارس التعرف على روائح وقوام المكونات التايلاندية المحددة (مثل عشب الليمون والزنجبيل) حتى تصبح مألوفة لك، ولكنك تفعل ذلك بطريقة تبقي يديك مرتكزتين على تدريبك المهني.

من الناحية التقنية، إليك كيف تترجم الاستعارة:

الإحماء (التكيف): قبل تعلم مهمة جديدة، يلقي النموذج نظرة سريعة على البيانات الجديدة. إنه يقوم بدفع "دماغه" الداخلي (العمود الفقري) بحيث تبدو الصور الجديدة أكثر تميزاً ووضوحاً. إنه يقول: "اجعل هذه الأشياء الجديدة تبدو كأنها هي نفسها، ولكن لا تدعها تبتعد كثيراً عما أعرفه بالفعل".
الطبخ (التعلم الجوهري): بمجرد أن يصبح "الدماغ" جاهزاً ومحمياً بـ "الإحماء" للتعرف على الأنماط الجديدة، يبدأ النموذج بعد ذلك في تعلم المهمة الفعلية (مثل التصنيف) باستخدام أساليبه المعتادة.

لماذا يعد هذا أمراً هاماً؟

وجد الباحثون أنه من خلال إضافة خطوة "الإحماء" هذه، فقد حلوا معضلة الاستقرار والمرونة (Stability-Plasticity Dilemma):

مرونة أفضل: لأن النموذج قام بـ "ضبط مسبق" لرؤيته لأنواع البيانات الجديدة، فإنه يتعلم المهام الجديدة بدقة أكبر بكثير. لم يعد يحاول وضع وتد مربع في ثقب مستدير.
استقرار أفضل: لأن التعديل كان موجهاً بواسطة "النماذج الأولية" (الجوهر الأساسي لما يعرفه بالفعل)، فإنه لم يفقد هويته الأصلية. لم ينسَ معرفته "الفرنسية" القديمة أثناء تعلمه للمعرفة "التايلاندية".

النتيجة

في اختباراتهم، استخدموا هذه الطريقة على معايير الذكاء الاصطناعي الشهيرة (مثل ImageNet). ووجدوا أنه سواء كنت تستخدم طريقة ذكاء اصطناعي موجودة أو طريقة جديدة تماماً، فإن إضافة "إحماء ACL" هذا عمل بمثابة محفز للأداء. لقد جعل الذكاء الاصطناعي أكثر ذكاءً في الأشياء الجديدة دون أن يجعله "ينسى" الأشياء القديمة التي بذل جهداً كبيراً في اكتسابها.

باختصار: تعلم طريقة ACL الذكاء الاصطناعي كيف "يمدد" عقله ليستوعب المعلومات الجديدة دون أن "يكسر" المعرفة التي عمل بجد للحصول عليها.

ملخص تقني: التكيف قبل التعلم المستمر (ACL)

1. بيان المشكلة: معضلة الاستقرار واللدونة في التعلم المستمر القائم على النماذج سابقة التدريب (PTM)

يهدف التعلم المستمر (CL) إلى تمكين النماذج من اكتساب معرفة جديدة تدريجيًا مع الاحتفاظ بالمعرفة القديمة. تعتمد المنهجيات المتطورة حاليًا على النماذج سابقة التدريب (PTMs) لتوفير أساس قوي. ومع ذلك، تواجه هذه الأساليب مقايضة جوهرية:

الأسالىب التي تركز على الاستقرار (Stability-focused): تقوم عادةً بتجميد العمود الفقري للنموذج (backbone) وتدريب وحدات خفيفة الوزن فقط (مثل الـ prompts أو الـ adapters). وبينما يمنع هذا حدوث النسيان الكارثي (استقرار عالٍ)، إلا أنه يحد من قدرة النموذج على التكيف مع توزيعات البيانات الجديدة التي تختلف عن بيانات ما قبل التدريب (لدونة منخفضة).
الأساليب التي تركز على اللدونة (Plasticity-focused): تقوم بضبط النموذج (fine-tuning) بالكامل لكل مهمة جديدة. وبينما يسمح هذا بتكيف أفضل مع المفاهيم الجديدة، فإنه يؤدي غالبًا إلى تدهور المعرفة التأسيسية (النسيان الكارثي).

حدد المؤلفون أن مساحة الميزات الجامدة للنموذج (PTM) المجمد تصبح عائقًا عندما تختلف توزيعات البيانات الواردة بشكل كبير عن نطاق ما قبل التدريب (مثل ImageNet-A أو ImageNet-R).

2. المنهجية: إطار عمل ACL

إن إطار العمل المقترح "التكيف مع النماذج سابقة التدريب قبل التعلم المستمر" (ACL) هو إطار عمل "جاهز للاستخدام" (plug-and-play) يقدم مرحلة تكيف (Adaptation Phase) مخصصة قبل عملية التعلم المستمر الأساسية لكل مهمة جديدة.

العملية المكونة من مرحلتين:

مرحلة التكيف: قبل تعلم المهمة $k$ ، يتم تحديث العمود الفقري للنموذذ ( $\phi$ ) والوحدات خفيفة الوزن ( $\Theta$ ) باستخدام خسارة ACL (ACL Loss) متخصصة. تهدف هذه المرحلة إلى إعادة محاذاة مساحة الميزات لتكون أكثر تمييزًا لبيانات المهمة الحالية ( $D_k$ ) دون تدمير المعرفة الموجودة.
مرحلة التعلم الأساسية: بعد ذلك، يتم تجميد العمود الفقري المتكيف. ثم يتم ضبط رأس التصنيف (classification head) والوحدات خفيفة الوزن لتعلم المهمة المحددة. يضمن ذلك استخدام التمثيلات الميزية المحسنة مع الحفاظ على الاستقرار.

دالة خسارة ACL:
الابتكار الجوهري هو دالة خسارة تعتمد على المحاذاة النموذجية (prototypical alignment) ومبادئ التباين (contrastive principles):
$\mathcal{L}_{ACL}(x_i, y_i) = -\log \frac{\exp(\cos(\phi^*(x_i), p_{y_i})/\tau)}{\sum_{j} \exp(\cos(\phi^*(x_i), p_j)/\tau)}$

الآلية: تشجع الدالة التمثيل المتكيف ( $\phi^*$ ) على الاقتراب من النموذج الأصلي للفئة المقابلة له ( $p_{y_i}$ ) مع الابتعاد عن نماذج الفئات غير ذات الصلة ( $p_j$ ).
التبرير النظري:
- اللدونة (Plasticity): تقليل هذه الخسارة يقلل من الحد الأعلى لخطأ التصنيف في المهمة الحالية.
- الاستقرار (Stability): تعمل الخسارة كمنظم ضمني (implicit regularizer). من خلال ربط الميزات المتكيفة بالنماذج الأصلية للفئات (وهي النقاط الأكثر تمثيلًا في المساحة الأصلية)، فإنها تقيد إجمالي انحراف الميزات، مما يمنع العمود الفقري من الابتعاد كثيرًا عن معرفته التأسيسية.

3. المساهمات الرئيسية

تحديد فجوة اللدونة: توضح الورقة أن القيد الرئيسي في التعلم المستمر الحالي القائم على النماذج سابقة التدريب ليس الاستقرار، بل عدم كفاية اللدونة بسبب تجميد الأعمدة الفقارية.
إطار عمل مبتكر جاهز للاستخدام: يمكن دمج ACL في أساليب CL الحالية (مثل L2P و DualPrompt وغيرها) دون الحاجة إلى تغييرات هيكلية جوهرية.
التأسيس النظري: قدم المؤلفون براهين رياضية توضح كيف تقوم خسارة ACL بتحسين كل من التمييز الخاص بالمهمة (اللدونة) وقيود انحراف الميزات (الاستقرار) في آن واحد.
تعدد الاستخدامات: أظهرت الطريقة نجاحها عبر بنيات مختلفة (ViT, CLIP) ومختلف نماذج CL.

4. النتائج التجريبية

قيم المؤلفون ACL على اختبارات معيارية صعبة ذات فجوات نطاق كبيرة (ImageNet-R و ImageNet-A):

التكامل مع الأساليب المتطورة (SOTA): عند دمجه مع الأساليب الحالية (مثل L2P و DualPrompt و RanPAC و MOS)، أدى ACL باستمرار إلى تحسين الأداء. على سبيل المثال، وفر زيادة تصل إلى 7.87% في دقة المرحلة الأخيرة (LA) لبعض الأساليب.
المقارنة مع Aper: تفوق ACL على منهجية "Aper" (التي تكيف النموذج سابقة التدريب في المهمة الأولى فقط) في جميع مجموعات البيانات وإعدادات المهام المختبرة.
الدراسة الاستقصائية (Ablation) والتصور:
- أكدت الدراسات الاستقصائية أن تكيف العمود الفقري بالكامل يتفوق على تكيف الوحدات خفيفة الوزن فقط.
- أظهرت تصورات t-SNE أن ACL ينتج تمثيلات ميزية أكثر تمييزًا وتكتلًا.
- أظهرت تصورات Grad-CAM أن ACL يساعد النموذج على التركيز على ميزات الكائنات الخاصة بالفئة بدلاً من ضوضاء الخلفية غير ذات الصلة.
التحقق عبر النماذج: تم إثبات النجاح على ViT-B/16-IN21K و CLIP، مما يثبت قدرة الإطار على التعميم.

5. الأهمية

ينقل ACL التركيز في التعلم المستمر القائم على النماذج سابقة التدريب من مجرد "حماية" الأوزان إلى "إعادة محاذاتها بذكاء". ومن خلال تقديم خطوة تكيف قصيرة ومسيطر عليها، فإنه يكسر العائق الجامد للأعمدة الفقارية المجمدة. يوفر هذا طريقة قابلة للتوسع وفعالة لنشر النماذج الضخمة سابقة التدريب في البيئات الديناميكية في العالم الحقيقي حيث تتغير توزيعات البيانات باستمرار.