🤖 machine learning

Unlocking [CLS] Features for Continual Post-Training

تقترح هذه الورقة طريقة TOSCA، وهي طريقة تعلم مستمر فعالة من حيث المعلمات تستخدم وحدة "التعلم والمعايرة" (LuCA) متفرقة على رمز [CLS] لتحقيق توازن فعال بين الاستقرار واللدونة، محققةً أداءً هو الأفضل في حالته مع عدد أقل بكثير من المعلمات مقارنة بالنهج القائمة.

المؤلفون الأصليون: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Joaquin Vanschoren

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Murat Onur Yildirim, Elif Ceren Gok Yildirim, Joaquin Vanschoren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً بارعاً وعالمياً (النموذج الأساسي - Foundation Model) أمضى سنوات في تعلم طهي آلاف الأطباق المختلفة. هذا الطباخ يعرف أساسيات التقطيع، والتشويح، والتتبيل بشكل مثالي.

الآن، تخيل أنك تريد تعليم هذا الطباخ بعض الوصفات الجديدة والمحددة جداً (مثل "سوشي نباتي" أو "تاكو حار") دون أن ينسى كيف يطهو آلاف أطباقه الأصلية.

هذه هي مشكلة التعلم المستمر (Continual Learning). إذا أخبرت الطباخ ببساطة "تعلم هذه الوصفات الجديدة"، فقد يصاب بالارتباك ويبدأ بوضع صوص الصويا في المعكرونة (وهذا ما يسمى النسيان الكارثي - Catastrophic Forgetting). وإذا حاولت أن تكون حذراً للغاية لدرجة عدم السماح له بتغيير أي شيء، فلن يتمكن من تعلم الوصفات الجديدة على الإطلاق (وهذا هو صراع الاستقرار والمرونة - Stability-Plasticity Dilemma).

تحاول معظم الطرق الحالية حل هذه المشكلة إما عن طريق:

إعطاء الطباخ مئزراً جديداً لكل وصفة (المطالبات - Prompts): هذا آمن، لكن الطباخ قد يرتبك بشأن أي مئزر يرتدي لأي طبق.
إضافة محطة مطبخ كاملة جديدة لكل وصفية (المهايئات - Adapters): هذا يعمل بشكل جيد، ولكنه يشغل مساحة هائلة في المطبخ وهو مكلف جداً لبنائه.

الحل: TOSCA (ملعقة التذوق الذكية)

يقترح مؤلفو هذه الورقة طريقة جديدة، أكثر بساطة بكثير تسمى TOSCA.

إليك كيف تعمل باستخدام تشبيه بسيط:

1. "المسار البطني" مقابل "القشرة الجبهية الأمامية"

تستلهم الورقة أفكارها من الدماغ البشري.

المسار البطني (ذاكرة العضلات لدى الطباخ): هذا هو الجزء من الدماغ الذي يتعامل مع الحقائق المستقرة وغير المتغيرة (مثل "كيفية الإمساك بالسكين"). تقول الورقة إننا يجب أن نترك الطبقات الأساسية للنموذج كما هي، تماماً كما لا نعيد تعليم الطباخ كيفية الإمساك بالسكين في كل مرة يتعلم فيها طبقاً جديداً.
القشرة الجبهية الأمامية (صانع القرار): هذا هو الجزء من الدماغ الذي يتخذ القرار النهائي بناءً على الموقف الحالي.

2. وحدة "LuCA" (التعلم والمعايرة)

بدلاً من بناء مطبخ جديد بالكامل، تقوم TOSCA بتثبيت جهاز صغير وذكي في نهاية خط الطهي مباشرة، قبل تقديم الطعام. يسمى هذا الجهاز LuCA، ويتكون من جزأين:

المهايئ (المعدّل - The Adapter): هذا يشبه ملعقة صغيرة تضيف القليل من التوابل أو الصلصة الإضافية خصيصاً للطبق الجديد. إنه يُجري تغييرات طفيفة على الطعام.
المعاير (المتذوق - The Calibrator): هذا متذوق ذكي يفحص الطعام. إذا أضاف "المعدّل" الكثير من التوابل، يقول "المتذوق": "مهلاً، خفف من حدة النكهة". وإذا كان الطعام باهتاً جداً، يقول: "أضف رشة أخرى". إنه يضمن أن النكهة النهائية مثالية لهذه الوصفة الجديدة تحديداً.

3. خدعة "مستوى الرمز" (Token-Level)

هنا يكمن الجزء العبقري: إنهم يضعون هذا الجهاز على الطبق الأخير فقط.
في لغة الكمبيوتر، يعالج النموذج الصورة عبر طبقات عديدة. تحاول معظم الطرق إضافة أجهزة "المعدّل/المتذوق" هذه إلى كل طبقة من طبقات النموذج. هذا يشبه وضع متذوق في المخزن، والموقد، والثلاجة، والفرن. إنه أمر هدِر وفوضوي.

تقول TOSCA: "دعونا نضع المتذوق على الطبق النهائي ([CLS] token) مباشرة قبل وصوله للزبون".

لماذا؟ لأنه بحلول الوقت الذي يصل فيه الطعام إلى الطبق النهائي، يكون الطباخ قد قام بالفعل بكل العمل الشاق. يحتاج المتذوق فقط لإجراء تعديل طفيف لضمان كونه مثالياً للطلب الجديد.
النتيجة: تحصل على طبق جديد مثالي دون العبث بذاكرة العضلات لدى الطباخ، ولا تحتاج لبناء مطبخ جديد.

لماذا يعد هذا أمراً هاماً؟

إنه صغير جداً: تستخدم TOSCA عدد معاملات (مساحة ذاكرة) أقل بـ 8 مرات تقريباً من الطرق الأخرى. إنه يشبه إضافة مرطبان توابل واحد بدلاً من مستودع كامل.
إنه سريع: نظرًا لصغر حجمه، فإنه يتم تدريبه ويعمل بسرعة فائقة.
لا ينسى: من خلال تعديل نهاية العملية فقط، يتذكر النموذج جميع مهاراته القديمة بشكل مثالي أثناء تعلم مهارات جديدة.
لا يحتاج إلى "أوراق غش": عندما يتم اختبار النموذج، فإنه لا يحتاج لأن يُقال له "هذا طلب سوشي". هو فقط ينظر إلى الطعام، ويجرب "المتذوقين" الذين تعلمهم، ويختار المتذوق الذي يجعل طعم الطعام الأكثر ثقة (أقل شك/uncertainty).

الملخص

فكر في TOSCA كـ فلتر ذكي وصغير يوضع عند مخرج المصنع تماماً. يستمر المصنع (نموذج الذكاء الاصطناعي) في العمل بنفس الطريقة دائماً، منتجاً سلعاً عالية الجودة. وعندما يأتي منتج جديد على الخط، يقوم الفلتر بإجراء تعديل دقيق وصغير لضمان مطابقته للمواصفات الجديدة، دون الحاجة أبداً لإيقاف المصنع أو إعادة بناء الآلات.

إنها تحل مشكلة "تعلم أشياء جديدة دون نسيان الأشياء القديمة" من خلال كونها فعالة للغاية، ومستوحاة بيولوجياً، وبسيطة بشكل مدهش.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Unlocking [CLS] Features for Continual Post-Training" (TOSCA).

1. بيان المشكلة

تتناول الورقة معضلة الاستقرار والمرونة (Stability-Plasticity Dilemma) في التعلم المتزايد للفئات (Class-Incremental Learning - CIL) باستخدام النماذج التأسيسية (Foundation Models)، وتحديداً نماذج "Vision Transformers" (ViTs).

التحدي: يتطلب التعلم المستمر من النموذج تعلم فئات جديدة بمرور الوقت دون نسيان الفئات التي تعلمها سابقاً (النسيان الكارثي - Catastrophic Forgetting).
القيود الحالية:
- الضبط الدقيق الكامل (Full Fine-tuning): يؤدي إلى نسيان شديد حيث يتم استبدال التمثيلات المدربة مسبقاً.
- الأساليب القائمة على التلقين (Prompt-based Methods): توفر استقراراً عالياً عبر إبقاء الهيكل الأساسي مجمدًا، لكنها غالباً ما تفتقر إلى المرونة للتكيف بفعالية مع المهام المعقدة والجديدة.
- الأساليب القائمة على المهايئات (Adapter-based Methods): تدرج وحدات قابلة للتدريب في كل طبقة من طبقات الشبكة. وبينما توفر هذه الأساليب المرونة، إلا أنها تعاني من نمو تربيعي في عدد المعلمات بالنسبة لعمق النموذج، وتكاليف حوسبة عالية، وانزياح تراكمي في الميزات عبر الطبقات.
الهدف: تطوير استراتيجية ما بعد التدريب تقدم تعديلات طفيفة لتحقيق توازن متناغم بين الاستقرار (الحفاظ على المعرفة العامة) والمرونة (التكيف مع المهام الجديدة) دون الاعتماد على إعادة عرض البيانات (Data Replay).

2. المنهجية

يستلهم النهج المقترح من علم الأعصاب، وتحديداً التفاعل بين المجرى البصري البطني (استخراج الميزات المستقرة) والقشرة أمام الجبهية (التعديل المرن والمحدد للمهام).

أ. الوحدة الجوهرية: LuCA (التعلم والمعايرة)

قدم المؤلفون وحدة جديدة للضبط الدقيق الفعال للمعلمات (PEFT) تسمى LuCA، وتتكون من مكونين متتاليين:

المهايئ المتبقي (Residual Adapter): يطبق تحويلات ميزات محددة للمهمة باستخدام هيكل عنق الزجاجة ( $z + \psi(zW_{down})W_{up}$ ). يحافظ هذا على الدلالات الأصلية عبر اتصالات تخطي (Skip Connections) مع تعلم الإزاحات.
المعاير (Calibrator): آلية بوابة تعيد وزن ميزات مخرجات المهايئ باستخدام هيكل يشبه الانتباه ( $z \odot \sigma(zV_{down})V_{up}$ ). يعمل كقناع أهمية ناعم، حيث يقوم بتضخيم الميزات المميزة وتثبيط القنوات الصاخبة أو المفرطة في التنشيط.

ب. إطار عمل TOSCA

إن Token-level Only Sparse Calibration and Adaptation (TOSCA) هو التجسيد المحدد لـ LuCA في سياق التعلم المتزايد للفئات (CIL).

التوزيع الاستراتيجي: على عكس الأساليب الحالية التي تدرج الوحدات في كل طبقة من طبقات الـ Transformer، يقوم TOSCA بنشر وحدة LuCA متفرقة واحدة حصرياً على رمز [CLS] النهائي قبل المصنف مباشرة.
المنطق:
- يقوم رمز [CLS] بتجميع كافة المعلومات الدلالية من الهيكل الأساسي المجمد.
- تعديل هذا الرمز فقط يحافظ على التسلسل الهرمي للميزات منخفضة ومتوسطة المستوى (الاستقرار) بينما يسمح للتجريد عالي المستوى بالتكيف (المرونة).
- يضمن ذلك أن يكون عدد المعلمات غير مرتبط بالبنية (ثابت عند $4 \times d \times r$ ) ولا يتوسع مع عمق النموذج.
بروتوكول التدريب:
- يتم تجميد الهيكل الأساسي المدرب مسبقاً.
- لكل مهمة جديدة $t$ ، يتم تدريب وحدة LuCA متفرقة جديدة ( $\Theta_t$ ).
- تنظيم $\ell_1$ : يتم تطبيق قيد التشتت (Sparsity) على $\Theta_t$ لاستحثاث التعامد (Orthogonality) بين وحدات المهام. يضمن ذلك تخصص كل وحدة في أبعاد ميزات متميزة، مما يمنع التداخل.
بروتوكول الاستدلال:
- يستخرج الهيكل الأساسي المجمد ميزة [CLS] مرة واحدة.
- تعالج جميع الوحدات المحددة للمهام هذه الميزة بالتوازي.
- تقليل الإنتروبيا (Entropy Minimization): يختار النظام الوحدة التي تنتج أدنى إنتروبيا للمخرجات (أعلى ثقة) لاتخاذ التنبؤ النهائي. هذا يلغي الحاجة إلى معرفات المهام أو إعادة عرض الأمثلة.

3. المساهمات الرئيسية

وحدة LuCA: تصميم مبتكر لـ PEFT يجمع بين المهايئ للتحويل والمعاير لتنقية الميزات، مما يوفر تحكماً أفضل في تمثيلات الميزات مقارنة بالمهايئات القياسية.
إطار عمل TOSCA: نهج مستوحى من الأعصاب ومؤسس نظرياً، يعمل على تركيز التكيف في رمز [CLS] النهائي. يحقق توازناً فريداً بين الاستقرار والمرونة مع بصمة معلمات ثابتة وضئيلة، بخلاف المهايئات الطبقية التي تتوسع خطياً مع العمق.
أداء يضاهي أحدث التقنيات (SOTA): أظهر نتائج متفوقة عبر ستة معايقات مع عدد معلمات أقل بكثير (حوالي 8 أضعاف أقل من المهايئات الطبقية) ووقت تشغيل أسرع.

4. النتائج التجريبية

قيم المؤلفون TOSCA على ستة معايقات (CIFAR-100, CUB-200, ImageNet-R, ImageNet-A, OmniBenchmark, VTAB) وعلى مجموعة بيانات خارج التوزيع (OOD) وهي (EuroSAT).

الدقة: حقق TOSCA أعلى متوسط دقة ( $\bar{A}$ $\overset{ˉ}{A}$ ) ودقة المرحلة الأخيرة ( $A_T$ $A_{T}$ ) عبر جميع مجموعات البيانات.
- تفوق على الأساليب القائمة على التلقين بنسبة 7-21% في مجموعات البيانات خارج التوزيع (OOD).
- تفوق على الأساليب القائمة على المهايئات بنسبة 4-12%.
- في مجموعة بيانات CUB-200 للتدقيق الدقيق، حقق TOSCA دقة متوسطة للمهام بلغت 97.6%، متفوقاً على الأساليب التي تكيّف طبقات متعددة.
الكفاءة:
- المعلمات: قدم حوالي 8 أضعاف أقل من المعلمات مقارنة بأساليب المهايئات الطبقية (مثل EASE و MOS).
- وقت التشغيل: حقق سرعة تشغيل إجمالية أسرع بنحو 2.5 مرة بفضل معالجة الرمز الواحد وعدم الحاجة لآليات استرجاع معقدة.
المتانة: في مجموعة بيانات EuroSAT (التي تعاني من انزياح نطاق شديد)، حافظ TOSCA على متوسط دقة بلغ 99.3%، متفوقاً بشكل كبير على المنافسين الذين عانوا من النسيان الكارثي تحت تأثير انزياح التوزيع.
دراسات الاستئصال (Ablation Studies):
- أكدت أن ترتيب المهايئ $\leftarrow$ المعاير هو الأفضل مقارنة بالعكس.
- أظهرت أن تنظيم $\ell_1$ (بقيمة $\lambda = 5e^{-4}$ ) يستحث بفعالية التعامد بين الوحدات، مما يقلل من تشابه جيب التمام بين تمثيلات المهام ويحسن دقة الاختيار.
- أكدت تصورات t-SNE أن TOSCA ينشئ عناقيد فئات مدمجة ومنفصلة جيداً مقارنة بـ ViT التقليدي أو المهايئات القياسية.

5. الأهمية

تقدم هذه الورقة تحولاً نوعياً في التعلم المستمر للنماذج التأسيسية:

الكفاءة: تثبت أن التكيف الدلالي عالي المستوى عند حدود القرار كافٍ للتعلم المستمر، مما يلغي الحاجة إلى تعديلات طبقية مكلفة.
القابلية للتوسع: تجعل تكلفة المعلمات الثابتة هذا النهج قابلاً للتوسع بشكل كبير للنماذج الضخمة حيث يكون التكيف الطبقي مكلفاً حوسبياً.
الواقعية: من خلال إلغاء الحاجة إلى إعادة عرض البيانات ومعرفات المهام، يقدم TOSCA حلاً يحافظ على الخصوصية وفعالاً في استهلاك الذاكرة، وهو مناسب للنشر في بيئات العالم الحقيقي ذات الموارد المحدودة أو الحساسة للخصوصية (مثل الرعاية الصحية).
المحاكاة البيولوجية: يحاكي التصميم مبادئ التعلم البيولوجي (المعالجة الحسية المستقرة + التعديل القشري المرن)، مما يوفر نهجاً مؤسساً نظرياً لحل معضلة الاستقرار والمرونة.