🤖 machine learning

Soft-TransFormers for Continual Learning

مستوحىً من فرضية تذكرة اليانصيب جيدة التهيئة، يقدم البحث "Soft-Transformer" (Soft-TF)، وهو إطار عمل للتعلم المستمر فعال في استخدام المعلمات، يستخدم أقنعة ضربية ذات قيم حقيقية ناعمة على إسقاطات الانتباه الذاتي لنموذج "Transformer" مدرب مسبقاً ومجمد، مدمجاً مع آلية تعزيز مزدوجة لتحقيق أداء يضاهي أفضل النتائج الحالية مع التخفيف بفعالية من النسيان الكارثي.

المؤلفون الأصليون: Haeyong Kang, Chang D. Yoo

نُشر 2026-04-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haeyong Kang, Chang D. Yoo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عبقرياً عالمياً (المحول مسبق التدريب - Pre-trained Transformer) قد أتقن بالفعل طهي آلاف الأطباق المختلفة. هذا الطباخ يعرف تماماً كيف يصنع قطعة لحم مثالية، أو "سوفليه" رقيقاً، أو كاري حاراً. ومع ذلك، إذا طلبت من هذا الطباخ تعلم طبق جديد كل يوم دون توقف، فقد "ينسى" بالخطأ كيفية صنع قطعة اللحم أثناء محاولته إتقان الوصفة الجديدة. وهذا ما يسمى بـ النسيان الكارثي (Catastrophic Forgetting) — حيث يقوم الدماغ (أو النموذج الحاسوبي) باستبدال الذكريات القديمة لإفساح المجال لذكريات جديدة.

تقدم الورقة البحثية طريقة جديدة تسمى Soft-TransFormer (Soft-TF) لحل هذه المشكلة. وإليك كيف تعمل باستخدام تشبيهات بسيقطة:

١. المشكلة في الحلول الحالية

تحاول الطرق الحالية تعليم الطباخ حِيلاً جديدة بطريقتين:

طريقة "الملاحظة" (The Prompt Method): أنت تعطي الطباخ ملاحظة لاصقة تحتوي على تعليمات مثل: "تذكر، اليوم هو ليلة إيطالية!". يقرأ الطباخ الملاحظة ويحاول الطبخ بناءً عليها. المشكلة هي أن يدي الطباخ (مهارات الطبخ الأساسية) تظل كما هي تماماً. إذا كانت الوجبة الجديدة تتطلب تقنية مختلفة تماماً، فإن الملاحظة اللاصقة لن تكون كافية.
طريقة "المحول" (The Adapter Method): أنت تعطي الطباخ مجموعة كاملة من الأدوات المتخصصة الجديدة (مثل خفاقة أو مقلاة جديدة) لكل طبق جديد. هذا يعمل بشكل جيد، ولكن في النهاية، ستمتلئ المطبخ بالكثير من الأدوات، مما يجعل إدارتها أمراً صعباً.

٢. حل Soft-TF: "الأقنعة الناعمة" (Soft Masks)

تقترح الورقة طريقة أذكى تعتمد على فكرة تسمى فرضية تذكرة اليانصيب جيدة التأسيس (Well-initialized Lottery Ticket Hypothesis). فكر في دماغ الطباخ كمكتبة ضخمة من المعرفة. تقترح هذه الفرضية أنه داخل هذه المكتبة، توجد بالفعل "تذاكر رابحة" (مسارات محددة) جاهزة للاستخدام لأي مهمة جديدة؛ عليك فقط العثور عليها.

تعمل Soft-TF مثل مفتاح تعتيم ذكي أو مقبض تحكم في مستوى الصوت لمهارات الطباخ الموجودة:

بدلاً من إضافة أدوات جديدة أو مجرد قراءة ملاحظة لاصقة، تضع Soft-TF مرشحاً شفافاً وقابلاً للتعديل (قناعاً ناعماً) فوق يدي الطباخ.
عندما تصل مهمة جديدة (مثلاً: "اصنع سوشي")، يقوم النظام برفع "مستوى الصوت" بلطف للمهارات المحددة المطل التي تحتاجها السوشي، ويخفض "مستوى الصوت" للمهارات الخاصة بقطعة اللحم.
والأهم من ذلك، أن يدي الطباخ الأصليتين (النموذج مسبق التدريب) تظلان ثابتتين. إنهما لا يتغيران. فقط المرشحات (الأقنعة) هي التي تتغير. هذا يعني أن الطباخ لن ينسى أبداً كيفية صنع قطعة اللحم لأن ذاكرة العضلات الأصلية تظل دون مساس؛ النظام فقط يسلط الضوء على الجزء الصحيح من تلك الذاكرة للمهمة الحالية.

٣. فريق "التوجيه المزدوج" (Dual-Prompt Team)

لجعل هذا الأمر أفضل، تستخدم Soft-TF فريقاً من جزأين:

المرشد العام (G-Prompt): تعليم مشترك يساعد الطباخ على البقاء مركزاً على النمط العام للطبخ (مثل "حافظ على الطابع الطازج").
المرشد الخبير (E-Prompt): تعليم محدد للطبق الدقيق لهذا اليوم.
يعملان معاً لتوجيه "مفاتيح التعتيم" حول كيفية ضبط تركيز الطباخ بدقة.

٤. لماذا يعد هذا أمراً هاماً؟

تدعي الورقة أن هذه الطريقة هي الحل "المثالي" (Goldilocks solution):

أفضل من الملاحظات اللاصقة: يمكنها إجراء تعديلات دقيقة وتفصيلية لا تستطيع التعليمات البسيطة تحقيقها.
أنظف من الأدوات الجديدة: لا تملأ المطبخ بنماذج جديدة، بل تقوم فقط بضبط الإعدادات الموجودة.
النتيجة: في الاختبارات، تعلمت هذه الطريقة مهاماً جديدة (مثل التعرف على أنواع جديدة من الصور) بشكل أفضل بكثير من الطرق السابقة، مع نسيان شبه معدوم لما تعلمته سابقاً. لقد حققت درجات عالية في عدة اختبارات صعبة، متفوقة على طرق شائعة أخرى مثل "LoRA" و"Adapters".

ملخص

باختختصار، تُعلم Soft-TF الذكاء الاصطناعي الذكي كيفية تعلم أشياء جديدة دون نسيان الأشياء القديمة، وذلك باستخدام مرشحات قابلة للتعديل لتسليط الضوء على الأجزات الصحيحة من معرفته الموجودة، بدلاً من إعادة كتابة دماغه أو إغراقه بأدوات جديدة. الأمر يشبه إعطاء الطباخ نظارات ذكية تسلط الضوء فوراً على المكونات الصحيحة للطبق الذي سيطبخه، مما يضمن عدم فقدانه لعبقريته الطهوية الأصلية.

إليك ملخص تقني مفصل لورقة البحث "Soft-TransFormer for Continual Learning" للباحثين هايونغ كانج وتشانغ د. يو.

1. بيان المشكلة

يهدف التعلم المستمر (Continual Learning - CL) إلى تدريب النماذج على تسلسل من المهام بمرور الوقت دون نسيان المعرفة المكتسبة سابقاً. ويتمثل التحدي الرئيسي في التعلم المستمر في النسيان الكارثي (Catastrophic Forgetting - CF)، حيث تؤدي التحديثات للمهام الجديدة إلى محو المعلمات الضرورية للمهام القديمة.

بينما ظهر التعلم المستمر القائم على المحفزات (Prompt-based CL) (مثل L2P وDualPrompt) كحل فعال من حيث عدد المعلمات عبر تجميد الهيكل الأساسي (backbone) وتعلم محفزات خفيفة الوزن، إلا أنه يواجه قيوداً كبيرة:

تعبيرية محدودة: تقوم المحفزات بتعديل التمثيلات بشكل ضمني فقط من خلال تكييف المدخلات، مما يفتقر إلى التحكم الدقيق الذي توفره عملية الضبط الدقيق الكامل (full fine-tuning).
مشكلات القابلية للتوسع: يصبح إدارة مجموعات المحفزات الكبيرة أمراً مرهقاً مع نمو عدد المهام.
تداخل المهام: تعاني المحفزات في التقاط الاختلافات في تسلسلات المهام شديدة التباين أو غير المترابطة.

تقدم طرق الضبط الدقيق الفعال من حيث المعلمات (PEFT) الحالية مثل المهايئات (Adapters) وLoRA تكيفاً أفضل، ولكنها غالباً ما تراكم وحدات خاصة بكل مهمة أو تعاني من التداخل عندما تكون التشابه بين المهام منخفضاً.

2. المنهجية: Soft-TransFormer (Soft-TF)

يقترح المؤلفون Soft-TransFormer (Soft-TF)، وهو إطار عمل يجمع بين استقرار الهياكل الأساسية المجمدة ومرونة التكيف الكامل للمعلمات، استناداً إلى فرضية تذكرة اليانصيب جيدة التهيئة (Well-initialized Lottery Ticket Hypothesis - WLTH).

الفرضية الجوهرية: فرضية تذكرة اليانصيب جيدة التهيئة (WLTH)

تفترض هذه الفرضية أن الشبكة العصبية الكثيفة جيدة التهيئة تحتوي على:

حلول مستقرة عالمياً تحافظ على معرفة المهام السابقة.
فضاءات فرعية محلية (شبكات فرعية ناعمة ذات قيم حقيقية) يمكن تكييفها انتقائياً للمهام الجديدة دون الكتابة فوق معلومات الهيكل الأساسي المجمد.

البنية والآلية

يعمل Soft-TF على نموذج Transformer مدرب مسبقاً ومجمد (مثل ViT) ويقدم مكونين رئيسيين:

الأقنعة الضربيه الناعمة (الشبكات الفرعية الناعمة - Soft-Subnetworks):
- بدلاً من إضافة طبقات جديدة (مثل Adapters) أو مصفوفات منخفضة الرتبة (مثل LoRA)، يتعلم Soft-TF أقنعة ضربية ذات قيم حقيقية ( $m_t$ ) تُطبق مباشرة على إسقاطات المفتاح ( $K$ )، والاستعلام ( $Q$ )، والقيمة ( $V$ )، والمخرج ( $O$ ) داخل طبقات الانتباه الذاتي.
- التهيئة: يتم تهيئة الأقنعة عند القيمة 1.0. وهذا يضمن أنه في بداية التدريب، تكون الحسابات مطابقة للنموذج المدرب مسبقاً، مما يحافظ على البنية العالمية.
- التشغيل: بالنسبة لمهمة $t$ ، تصبح المعلمة الفعالة هي $\theta \odot m_t$ . يسمح هذا للنموذج بـ "تصفية" أو تعديل مسارات محددة داخل الأوزان المجمدة بشكل "ناعم"، مما يتيح التكيف الخاص بالمهمة مع إبقاء الهيكل الأساسي ثابتاً.
آلية المحفز المزدوج (Dual-Prompt Mechanism):
- يدمج Soft-TF نظام محفز مزدوج خفيف الوزن يتكون من:
  - المحفزات العامة (G-Prompts): مشتركة عبر جميع المهام للحفاظ على السياق العالمي.
  - محفزات الخبراء (E-Prompts): محفزات خاصة بكل مهمة يتم إدراجها في طبقات محددة.
- يضمن هذا الجمع فصلاً قوياً بين المهام واستقراراً دون الحاجة إلى معرفة معرفات المهام (task IDs) صراحة أثناء الاستدلال (عبر آليات استدلال المهمة).

التحسين والاستدلال

التدريب: يتم تحديث المحفزات، والأقنعة الناعمة، ومفاتيح المهام، والمصنف الخفيف فقط. يظل الهيكل الأساسي مجمدًا.
استدلال المهمة: في وقت الاختبار، يستنتج النموذج هوية المهمة باستخدام:
- معرف المحفز (Prompt ID): مطابقة استعلام المدخلات مع مفاتيح المهام المتعلمة عبر تشابه جيب التمام (cosine similarity).
- معرف التدرج (Gradient ID): طريقة استدلال من خطوة واحدة تقوم بتعيين أوزان للشبكات الفرعية واختيار المهمة التي تقلل من الإنتروبيا.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم Soft-TF، وهو نموذج تعلم مستمر فعال من حيث المعلمات يتعلم شبكات فرعية ناعمة مدمجة وخاصة بكل مهمة (أقنعة) داخل نماذج Transformer المجمدة، مستوحى من WLTH.
الأساس النظري: يقدم تحليلاً نظرياً يوضح أن تهيئة الأقنعة عند 1.0 وتحسينها في فضاء معلمات ناعم منخفض الأبعاد يحد من انحراف المعلمات، مما يضمن التقارب والاستقرار.
أداء رائد (State-of-the-Art): يثبت أن Soft-TF يتفوق على النماذج المرجعية القائمة على المحفزات (L2P, DualPrompt, NoRGa)، والمهايئات (Adapters)، وLoRA عبر عدة اختبارات معيارية.
التفوق على التدريب المشترك: بشكل لافت، يحقق Soft-TF أداءً يتجاوز "الحد العلوي المشترك" (تدريب جميع المهام في آن واحد مع حل مشترك)، مما يثبت قدرته على عزل وتحسين الفضاءات الفرعية المتميزة لكل مهمة.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات التعلم المتزايد للفئات (CIL) باستخدام نماذج Vision Transformers (ViT).

مجموعات البيانات: 10/20-Split-CIFAR100، 10-Split-TinyImageNet، 10-Split-ImageNet-R، و 5-Split-CUB200.
مقاييس الأداء:
- الدقة: حقق Soft-TF باستمرار أعلى دقة. على سبيل المثال، في 10-Split-CIFAR100، حقق Soft-TF دقة بنسبة 92.35% (مقابل 86.50% لـ DualPrompt و94.48% لـ NoRGa، ولكن مع نسيان أقل بكثير).
- النسيان: قلل النسيان الكارثي بشكل كبير. في 10-Split-CIFAR100، انخفض النسيان إلى 2.98% (مقارنة بـ 5.77% لـ DualPrompt و1.44% لـ NoRGa، ولكن مع دقة مطلقة أعلى بكثير).
- الكفاءة: رغم استخدام حوالي 6.93 مليون معلمة قابلة للتدريب (مماثلة لـ LoRA/Adapter)، حافظ النموذج على زمن انتقال منخفض أثناء الاستدلال.
دراسات الاستئصال (Ablation Studies):
- التهيئة: أعطت التهيئة الموحدة (ضبط الأقنعة عند 1.0) أفضل النتائج، مما يؤكد صحة WLTH.
- الهياكل الأساسية: تطور الأداء مع حجم النموذج (من ViT-Ti إلى ViT-L)، حيث حقق ViT-L/16 دقة بنسبة 78.86% على ImageNet-R مع حد أدنى من النسيان.
- اختيار الطبقة: تطبيق Soft-TF على الطبقات العليا (مثل 10-12) في إعدادات DualPrompt أعطى نتائج مثالية.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في التعلم المستمر من خلال تجاوز حدود التكييف القائم على المحفزات فقط.

سد الفجوة: نجحت في سد الفجوة بين استقرار الهياكل الأساسية المجمدة وتعبيرية الضبط الدقيق الكامل.
تحول الآلية: من خلال الانتقال من "إضافة" المعلمات (Adapters/LoRA) أو "تكييف" المدخلات (Prompts) إلى تعديل الأوزان الموجودة عبر الأقنعة الناعمة، تقدم الطريقة وسيلة أكثر مباشرة وكفاءة لتكييف النماذج المدربة مسبقاً.
الأثر العملي: يوفر Soft-TF حلاً قوياً للسيناريوهات الواقعية حيث يجب أن تتعلم النماذج باستمرار من تدفقات بيانات متنوعة دون نسيان، محققاً تخصصاً شبه مثالي لكل مهمة مع الحفاظ على هيكل نموذج واحد مدمج.

باخت-صار، يمثل Soft-TransFormer تقدماً كبيراً في مجال PEFT للتعلم المستمر، حيث يثبت أن الشبكات الفرعية الناعمة جيدة التهيئة يمكن أن تطلق العنان للإمكانات الكاملة لنماذج Transformer المجمدة للتعلم مدى الحياة.