ملخص تقني: SAE-FD للتعلم المستمر للنماذج اللغوية الكبيرة

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحدي النسيان الكارثي (catastrophic forgetting) عند التكيف المتسلسل مع مهام متعددة. تعتمد طرق التعلم المستمر (CL) الحالية عادةً على فضاءات التمثيل الكثيفة (فضاءات الأوزان، أو التدرجات، أو المخرجات). ويتمثل القصور الجوهري في هذه النهج في تراكب الميزات (feature superposition)، حيث يتم تشفير مفاهيم متعددة في أبعاد متداخلة داخل فضاء التنشيط الكثيف. هذا التشابك يجعل من الصعب حماية المعرفة المتعلمة سابقاً بشكل انتقائي دون تقييد تعلم المهام الجديدة عن غير قصد، مما يؤدي إلى مقايضة غير مثالية بين المرونة والاستقرار (plasticity-stability tradeoff).

المنهجية: SAE-FD

يقترح المؤلفون SAE-FD (توزيع ميزات المشفّر التلقائي المتناثر - Sparse Autoencoder Feature Distillation)، وهو منهج يثبت تمثيلات النموذج في فضاء الميزات المتناثر لمشفّر تلقائي متناثر (SAE) مُدرب مسبقاً. من خلال تفكيك التنشيطات الكثيفة إلى أساس متناثر وفائق الاكتمال، يهدف SAE-FD إلى فك تشابك التمثيلات المتراكبة، مما يسمح بتنظيم أكثر استهدافاً.

يعمل المنهج عبر خط إنتاج يتكون من ثلاث مراحل:

1. تدريب SAE (المرحلة 1)

قبل بدء تسلسل التعلم المستمر، يتم تدريب SAE بوابي (Gated SAE) على تنشيطات نصية متنوعة من النموذج الأساسي.

• المدخلات: تنشيطات طبقة MLP الأخيرة ($h \in \mathbb{R}^d$) من مصادر متنوعة (التصنيف، الأسئلة والأجوبة، اختبارات المعرفة).
• البنية: يقوم الـ Gated SAE بفصل الترميز إلى مسار بوابي ($g$) ومسار مقدار ($m$)، مما ينتج ميزات ما قبل ReLU ($f_{pre}$) وميزات ما بعد ReLU ($f$).
• الهدف: تقليل خطأ إعادة البناء ($\|\hat{h} - h\|_2^2$) وعقوبة L1 للتناثر ($\lambda_{\ell1}\|f\|_1$).
• النتيجة: SAE مجمد يقوم بتفكيك التنشيطات الكثيفة إلى ميزات متناثرة ($D \gg d$)، مما يؤدي فعلياً إلى فك تشابك المفاهيم.

2. تدريب المهمة والتقاط المرتكزات (المرحلة 2)

لكل مهمة $t$ في التسلسل:

• الضبط الدقيق: يتم ضبط النموذج بدقة باستخدام LoRA مع هدف نمذجة اللغة القياسي.
• التقاط المرتكزات (Anchor Capture): بعد التدريب على مهمة ما، يقوم النموذج بعملية تمرير أمامي (forward pass) على مجموعة صغيرة من عينات المرتكزات ($N_a$). يتم استخراج مخرجات MLP لكل رمز (per-token) وتخزينها.
• المخزن المؤقت (Buffer): تتراكم هذه المرتكزات عبر المهام. أثناء التدريب اللاحق، يتم أخذ عينة بشكل موحد من المخزن المؤقت لحساب خسارة التوزيع (distillation loss)، مما يقلل التكلفة عبر جميع المهام السابقة.

3. توزيع الميزات المدرك للتناثر (المرحلة 3)

أثناء تدريب مهمة جديدة ($t+1$)، يتم تنظيم النموذج من خلال مقارنة تمثيلاته الحالية مقابل المرتكزات المخزنة، وكلاهما مشفر عبر SAE المجمد. تتكون خسارة التوزيع ($L_{FD}$) من حدين متكاملين:

• خسارة اتجاه جيب التمام ($L_{cos}$): تعاقب الانحراف الزاوي بين متجه ميزة ما قبل ReLU الحالي ومتجه ميزة المرتكز. هذا يحافظ على الاتجاه العالمي للتمثيل.
• خسارة المقدار النشط ($L_{mag}$): تطبق متوسط مربع الخطأ (MSE) فقط على الميزات التي كانت نشطة (ما بعد ReLU $> 0$) في المرتكز. هذا يقيد مقدار الميزات التي تساهم في المهام السابقة بينما يترك الميزات غير النشطة حرة ليتم توظيفها لمهام جديدة.

آلية $\lambda$ التكيفية

لموازنة تعلم المهمة والتنظيم، قدم المؤلفون آلية تكيفية لمعامل الوزن $\lambda$ في الخسارة الإجمالية $L = L_{task} + \lambda \cdot L_{FD}$.

• بدلاً من $\lambda$ ثابت، يستهدف النظام نسبة مساهمة ثابتة $\rho$ لخسارة التوزيع إلى إجمالي الخسارة.
• يتم تحديث $\lambda$ عبر المتوسط المتحرك الأسي (EMA) لتحقيق $\rho = \frac{\lambda L_{FD}}{\lambda L_{FD} + L_{task}}$.
• السلوك: يبدأ $\lambda$ مرتفعاً عندما تبدأ مهمة جديدة (عندما تكون $L_{task}$ كبيرة وخطر النسيان مرتفعاً) ثم يسترخي مع تقارب النموذج، مما يمنع القيود المفرطة أثناء الضبط الدقيق.

المساهمات الرئيسية

1. إطار عمل SAE-FD: أول منهج للتعلم المستمر يقوم بالتنظيم في فضاء الميزات المتناثر والمفكك لـ SAEs، مما يعالج مشكلة تراكب الميزات المتأصلة في الفضاءات الكثيفة.
2. خسارة توزيع مدركة للتناثر: دالة خسارة مبتكرة تجمع بين الحفاظ على اتجاه جيب التمام ومطابقة المقدار الانتقائية على الميزات النشطة، مستفيدة من تناثر تمثيلات SAE لتقليل التداخل مع المهام الجديدة.
3. التنظيم التكيفي: آلية $\lambda$ تكيفية تعدل قوة التنظيم ديناميكياً بناءً على الحجم النسبي لخسارة المهمة وخسارة التوزيع، مما يضمن حماية قوية خلال الفترات عالية المخاطر دون إعاقة التقارب.

النتائج التجريبية

قيم المؤلفون SAE-FD على اثنين من الاختبارات المرجعية عبر ثلاثة بنيات نماذج (LLaMA-2-7B, Vicuna-7B, Mistral-7B).

• اختبار TRACE (8 مهام غير متجانسة):
  • على LLaMA-2-7B، حقق SAE-FD متوسط دقة (AA) بنسبة 52.70% مع نقل خلفي (BWT) قدره −0.46% فقط.
  • تفوق على أقوى منهج أساسي قائم على التنظيم (GORP) بـ +2.3% في AA وقلل النسيان بنسبة 34% (−0.46 مقابل −0.70 BWT).
  • تفوق بشكل كبير على طرق LoRA الأخرى (EWC, O-Lora, TreeLoRA)، والتي أظهرت BWT أسوأ من −3%.
• التعميم:
  • حقق SAE-FD باستمرار أفضل AA و BWT عبر جميع عائلات النماذج الثلاثة.
  • على Vicuna-7B، تجاوز O-LoRA بـ +10.1% في AA وحقق أفضل BWT (−0.69%) بين جميع الطرق، بما في ذلك قواعد الضبط الدقيق الكامل.
• دراسات الاستئصال (Ablation Studies):
  • مكونات الخسارة: كل من خسائر اتجاه جيب التمام والمقدار النشط ضرورية؛ حيث أدى استخدام أي منهما بمفرده إلى انخفاض في AA أو زيادة في النسيان.
  • $\lambda$ التكيفية: استبدال الآلية التكيفية بـ $\lambda=1.0$ ثابت أدى إلى تدهور BWT من −0.46% إلى −2.38%.
  • SAE مقابل MSE الخام: تفوق التوزيع في فضاء ميزات SAE على توزيع MSE الخام في التنشيطات الكثيفة، مما أكد فائدة الفضاء المفكك.
• الكفاءة: تبلغ التكلفة الحسابية الإضافية حوالي 1.85× لـ SeqLoRA، مع تكلفة ثابتة لكل خطوة بغض النظر عن عدد المهام السابقة. يتطلب التخزين حوالي 0.8 جيجابايت لكل مهمة لتنشيطات المرتكزات.

الأهمية والادعاءات

يزعم البحث أن SAE-FD يربط بنجاح بين التفسير الآلي (عبر SAEs) والتعلم المستمر. من خلال استخدام التمثيلات المتناثرة والمفككة التي طُورت أصلاً لفهم الشبكات العصبية، يوفر المنهج انحيازاً استقرائياً فعالاً للتحكم فيها.

يؤكد المؤلفون أن العمل في فضاء ميزات متناثر يسمح بحفظ أكثر استهدافاً للمعرفة، مما يحل مشكلة "تراكب الميزات" التي تعاني منها عمليات التنظيم في الفضاءات الكثيفة. يحقق المنهج مقايضة فائقة بين المرونة والاستقرار، مما يمكن النماذج اللغوية الكبيرة من التكيف مع المهام المتطورة دون الحاجة لإعادة التدريب من الصفر مع الحفاظ على أداء عالٍ للمهام المتعلمة سابقاً.

القيود التي لاحظها المؤلفون:

• يتطلب تكلفة تدريب لمرة واحدة لـ SAE خاص بالنموذج.
• متطلبات التخزين لتنشيطات المرتكزات تزداد خطياً مع عدد المهام (رغم إمكانية ضغطها).
• أجريت التجارب على ترتيب مهام ثابت لاختبار TRACE، رغم أن الاتساق عبر النماذج المتعددة يشير إلى المتانة.
• يجب تفسير المقارنات مع بعض المنهجيات الأساسية بحذر بسبب الاختلافات في الإعدادات التجريبية (مثل الضبط الدقيق الكامل مقابل LoRA، وعدد الدورات/epochs).