🤖 machine learning

Learning in the Null Space: Small Singular Values for Continual Learning

تقدم هذه الورقة البحثية NESS، وهي طريقة للتعلم المستمر تخفف من حدة النسيان الكارثي عبر تقييد التحديثات الخاصة بكل مهمة في فضاء صفري تقريبي مشتق من أصغر القيم المفردة لتمثيلات المدخلات، مما يتيح التكيف الفعال مع الحفاظ على الأداء في المهام السابقة.

المؤلفون الأصليون: Cuong Anh Pham, Praneeth Vepakomma, Samuel Horváth

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Cuong Anh Pham, Praneeth Vepakomma, Samuel Horváth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طالب تحاول تعلم لغة جديدة كل أسبوع.

الأسبوع الأول: تتعلم الإسبانية، وتصبح بارعاً فيها.
الأسبوع الثاني: تبدأ في تعلم الفرنسية، ولكن بينما تمارس الفرنسية، تبدأ في نسيان كلمات الإسبانية.
الأسبوع الثالث: تتعلم الإيطالية. الآن، عندما تحاول التحدث بالإسبانية أو الفرنسية، تخلط بينهما أو لا تتذكر أي شيء على الإطلاق.

يُسمى هذا "النسيان الكارثي" (Catastrophic Forgetting). وهو أكبر مشكلة في "التعلم المستمر" (تعليم الذكاء الاصطناعي أشياء جديدة دون نسيان الأشياء القديمة).

تقدم الورقة البحثية التي شاركتها طريقة ذكية جديدة تسمى NESS (الفضاء الصفري المُقدر من القيم المفردة الصغيرة) لحل هذه المشكلة. وإليك كيف تعمل، مشروحة بتشبيهات بسيطة.

المشكلة: "الفصل الدراسي الصاخب"

تخيل أن عقلك (الذكاء الاصطناعي) هو فصل دراسي.

المعرفة القديمة (الإسبانية): الطلاب يجلسون في الصفوف الأمامية، ويتحدثون بصوت عالٍ. إنهم يشغلون "المساحة الصاخبة".
المعرفة الجديدة (الفرنسية): تريد تعليم طلاب جدد الجلوس في الصفوف الخلفية.
الخطأ: معظم طرق الذكاء الاصطناعي تحاول تعليم الفرنسية عن طريق الصراخ فوق الطلاب الإسبان أو إعادة ترتيب الغرفة بأكملها. وهذا يسبب فوضى، ويجعل الطلاب الإسبان يشعرون بالارتباك (النسيان).

الحل القديم: "إسقاط التدرج" (الحارس)

حاولت الأساليب السابقة إصلاح ذلك من خلال العمل مثل حارس صارم. في كل مرة يحاول فيها الذكاء الاصطناعي تعلم شيء جديد، يقوم الحارس بالتحقق: "هل هذه الفكرة الجديدة ستصطدم بالطلاب الإسبان القدامى؟" إذا كان الأمر كذلك، فإن الحارس يدفع الفكرة الجديدة بعيداً جسدياً (إسقاط التدرج) حتى لا تصطدم بالطلاب القدامى.

هذا يعمل، لكنه يشبه دفع الناس باستمرار. إنه مكلف حسابياً ويمكن أن يكون غير متقن.

الحل الجديد: NESS (استراتيجية "الركن الهادئ")

أدرك مؤلفو هذه الورقة أمراً عبقرياً: ليست كل أجزاء الفصل الدراسي صاخبة.

إذا نظرت إلى الفصل الدراسي، ستجد الصفوف الأمامية صاخبة (طاقة عالية، حركات كبيرة). ولكن هناك زوايا، وسقف، وأرضية حيث لا يجلس أحد. هذه هي "الأركان الهادئة" (رياضياً، هذه هي الاتجاهات ذات القيم المفردة الصغيرة).

تغير NESS الاستراتيجية:
بدلاً من دفع الطلاب الجدد بعيداً عن الطلاب القدامى، تقول NESS: "دعونا فقط نعلم الطلاب الجدد في الأركان الهادئة حيث لا يجلس الطلاب القدامى."

إليك تفصيل الخطوات:

1. رسم خريطة الغرفة (SVD)

قبل تعليم مهمة جديدة، ينظر الذكاء الاصطناعي إلى جميع البيانات من المهام السابقة (الطلاب الإسبان). يقوم بحساب خريطة للغرفة للعثور على "الأركان الهادئة".

القيم المفردة الكبيرة: هذه هي المناطق الصاخبة والمزدحمة حيث تعيش المعرفة القديمة.
القيم المفردة الصغيرة: هذه هي المناطق الفارغة والهادئة حيث لا يجلس أحد.

2. بناء "المكتب الهادئ" (الفضاء الصفري - Null Space)

تبني NESS مكتباً خاصاً وصغيراً (فضاء فرعي رياضي) خصيصاً في تلك الأركان الهادئة. وهي تثبت هذا المكتب في مكانه بحيث لا يتحرك أبداً.

الأساس المجمد (The Frozen Basis): المكتب نفسه ثابت. وهو يمثل "المنطقة الآمنة" حيث لن يزعج التعلم المعرفة القديمة.
المصفوفة القابلة للتدريب (The Trainable Matrix): يتعلم الذكاء الاصطناعي فقط ماذا يكتب على هذا المكتب. هو لا يحرك المكتب، بل يملؤه بالمعلومات الجديدة فقط.

3. التعلم بدون تداخل

عندما يتعلم الذكاء الاصطناعي الفرنسية (المهمة 2)، فإنه يكتب فقط على هذا "المكتب الهادئ".

ولأن المكتب في ركن حيث لا يجلس الطلاب الإسبان (المهمة 1)، فإن دروس الفرنسية لا يمكن أن تمسح بالخطأ الملاحظات الإسبانية.
تبقى المعرفة القديمة آمنة تماماً.
يتم تعلم المعرفة الجديدة بكفاءة.

لماذا يعد هذا أمراً هاماً؟

إنه مستقر: لأن "المكتب" مثبت في الركن الهادئ، لا يصطدم الذكاء الاصطناعي بالخطأ بالذكريات القديمة. وهذا يعني نسياناً صفرياً أو يقترب من الصفر.
إنه فعال: لا يحتاج الذكاء الاصطناعي لتذكر كل مثال قديم أو حساب حركات "الحارس" المعقدة. هو فقط يتعلم على قطعة صغيرة وثابتة من الورق.
إنه يعمل: اختبرت الورقة البحثية هذا الأسلوب في مهام التعرف على الصور (مثل تحديد القطط والكلاب والسيارات). أظهرت النتائج أن NESS تعلمت أشياء جديدة بنفس كفاءة الأساليب الأخرى ولكنها نسيت أقل بكثير. في الواقع، في بعض الاختبارات، ساعد تعلم المهمة الجديدة الذكاء الاصطناعي على تذكر المهمة القديمة بشكل أفضل (النقل الخلفي الإيجابي - Positive Backward Transfer).

الخلاصة

فكر في NESS كأمين مكتبة ذكي.

الأساليب القديمة تحاول إعادة ترتيب المكتبة بأكملها في كل مرة يصل فيها كتاب جديد، على أمل ألا تسقط الكتب القديمة.
NESS تجد الرف الفارغ في الخلف الذي لا يستخدمه أحد، وتضع الكتاب الجديد هناك، وتغلق الباب. تبقى الكتب القديمة تماماً حيث هي، آمنة ومستقرة، بينما يحصل الكتاب الجديد على منزله المثالي الخاص.

من خلال استخدام "الأركان الهادئة" (القيم المفردة الصغيرة) للبيانات، تسمح NESS للذكاء الاصطناعي بالتعلم المستمر دون صداع نسيان كل ما تعلمه بالأمس.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم في الفضاء الصفري: القيم المفردة الصغيرة للتعلم المستمر" (NESS).

1. تعريف المشكلة

تتناول الورقة مشكلة النسيان الكارثي (Catastrophic Forgetting) في التعلم المستمر (Continual Learning). في التعلم المستمر، يجب على النموذج تعلم تسلسل من المهام ( $T_1, T_2, \dots, T_T$ ) بشكل متتابع مع الحفاظ على الأداء في المهام التي تم تعلمها سابقاً. التحدي الجوهري يكمن في الموازنة بين اللدونة (Plasticity) (القدرة على التكيف مع المهام الجديدة) والاستقرار (Stability) (القدرة على الاحتفاظ بالمعرفة القديمة).

تعتمد الأساليب الرائدة الحالية غالباً على إسقاط التدرج (Gradient Projection) لفرض التعامد. تقوم هذه الأساليب بحساب الفضاء الجزئي للمهام السابقة (عادةً عبر تحليل القيم المفردة، SVD) وإسقاط تدرجات المهمة الجديدة على المتمم المتعامد للفضاء الجزئي المهيمن (الفضاء الصفري/Null Space) لمنع التداخل. ومع ذلك، يرى المؤلفون أن فرض هذا القيد عبر التلاعب بالتدرج في كل خطوة تحسين هو أمر غير مباشر ويعتمد بشكل محدد على المحسن (Optimizer) المستخدم.

2. المنهجية: NESS (تقدير الفضاء الصفري من القيم المفردة الصغيرة)

يقترح المؤلفون NESS، وهو نهج مبتكر ينقل قيد التعامد من فضاء التدرج إلى فضاء المعلمات (الأوزان). بدلاً من إسقاط التدرجات، يقوم NESS بتمثيل تحديثات الأوزان مباشرة بحيث تقع ضمن فضاء صفري تقريبي للمدخلات السابقة.

المفهوم الجوهري

تستغل الطريقة حقيقة أن القيم المفردة الصغيرة لمصفوفة تغاير مدخلات البيانات تقابل اتجاهات ذات طاقة منخفضة (تباين منخفض) في بيانات المهمة السابقة. ومن غير المرجح أن تؤدي التحديثات على طول هذه الاتجاهات إلى تغيير مخرجات النموذج بشكل كبير بالنسبة للمهام السابقة، مما يقلل من التداخل.

الخطوات الخوارزمية

لكل طبقة $l$ والمهمة الحالية $t$ :

جمع البيانات: جمع مصفوفة المدخلات المتصلة $I_t^{(l)}$ من جميع المهام السابقة ($1 $إلى$ t-1$) للطبقة الحالية.
تحليل SVD/التغاير: حساب تحليل القيم المفردة (أو تحليل القيم الذاتية لمصفوفة التغاير $I_t (I_t)^\top$ ).
$I_t = \tilde{U}_t \Sigma_t \tilde{V}_t^\top$
يتم ترتيب القيم المفردة: $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_d \ge 0$ .
اختيار الفضاء الجزئي: تحديد عتبة $\epsilon_1$ لاختيار المتجهات المفردة المقابلة للقيم المفردة الصغيرة ( $\sigma_k \le \epsilon_1 \|I_t\|_F$ ). لتكن $U_t$ هي المصفوفة المكونة من هذه المتجهات المفردة المحددة (القاعدة المجمدة/Frozen Basis).
التمثيل الهيكلي للمعلمات: بدلاً من تحديث مصفوفة الأوزان الكاملة $W$ $W$ ، يتم تمثيل التحديث $\Delta W_t$ $Δ W_{t}$ كحاصل ضرب منخفض الرتبة:
$\Delta W_t = U_t V_t$
- $U_t$ (مجمدة): القاعدة المتعامدة المشتقة من القيم المفردة الصغيرة. وهي ثابتة بعد الحساب.
- $V_t$ (قابلة للتدريب): مصفوفة صغيرة قابلة للتعلم، يتم تهيئتها بصفر.
التدريب: يتم تحسين $V_t$ فقط باستخدام بيانات المهمة الحالية ودالة الخسارة. يتم تحديث أوزان الهيكل الأساسي كـ $W_t = W_{t-1} + U_t V_t$ .
ضمان الاستقرار: من خلال قصر التحديثات على الفضاء الجزئي للقيم المفردة الصغيرة وتطبيق اضمحلال الوزن (تنظيم النمط/Norm Regularization) على $V_t$ ، تضمن الطريقة نظرياً بقاء اضطراب المخرجات على المدخلات السابقة محدودة ( $\|x^\top \Delta W_t\|_2 \le \epsilon$ ).

التمييز الرئيسي عن الأعمال السابقة

GPM (ذاكرة إسقاط التدرج): يقوم بإسقاط التدرجات على الفضاء الصفري أثناء خطوة التحسين.
NESS: يقيد التمثيل البارامتري نفسه. التحديث يكون دائماً في الفضاء الصفري بحكم التصميم، بغض النظر عن المحسن المستخدم (مثل SGD أو SAM).

3. المساهمات الرئيسية

تمثيل بارامتري مبتكر: قدم NESS، الذي يفرض التعامد عبر تمثيل تحديثات الأوزان مباشرة في الفضاء الصفري التقريبي للمدخلات السابقة باستخدام القيم المفردة الصغيرة، بدلاً من التلاعب بالتدرجات.
التحليل النظري: قدم حداً نظرياً يوضح أن قصر التحديثات على الفضاء الجزئي للقيم المفردة الصغيرة، جنباً إلى جنب مع تنظيم النمط على المصفوفة القابلة للتدريب، يضمن تداخلاً محدوداً مع المهام السابقة.
الكفاءة: الطريقة فعالة للغاية؛ بما أن $U_t$ ثابتة ويتم تدريب $V_t$ فقط، فإن عدد المعلمات القابلة للتدريب يقل بشكل كبير (غالباً ما يكون أصغر بكثير من حجم الطبقة الكاملة). كما تتجنب الطريقة تخزين مصفوفات المدخلات الكاملة عبر حساب تحديثات التغاير عبر الإنترنت (Online).
التحقق التجريبي: أظهر أداءً تنافسياً واستقراراً فائقاً عبر ثلاث معايير قياسية (CIFAR-100، 5-datasets، MiniImageNet).

4. النتائج التجريبية

قيم المؤلفون أداء NESS مقابل الخطوط المرجعية التقليدية (EWC, HAT, A-GEM) والخطوط المرجعية القوية القائمة على التعامد (GPM, SGP, TRGP, DFGP).

مجموعات البيانات: CIFAR-100 (10 مهام)، 5-datasets (5 مهام)، MiniImageNet (20 مهمة).
المقاييس: متوسط الدقة (ACC) والنقل الخلفي (Backward Transfer - BWT). يقيس BWT مقدار النسيان؛ حيث تشير القيمة القريبة من 0 أو الموجبة إلى نسيان أقل.
أبرز نقاط الأداء:
- نسيان منخفض: حقق NESS باستمرار معدلات BWT أكبر من -1% (غالباً ما تكون موجبة) عبر جميع مجموعات البيانات، متفوقاً على العديد من الخطوط المرجعية التي عانت من BWT سالب كبير (مثل -30% في OWM، و -15% في A-GEM).
- الاستقرار: أظهرت الطريقة أداءً مستقراً عبر مختلف المحسنات (SAM و SGD مع الزخم).
- المقارنة: طابق NESS أو تجاوز أداء SGP و TRGP و DFGP. والجدير بالذكر أنه في MiniImageNet، حقق NESS مع SGDm أفضل BWT بنسبة (0.41%)، متفوقاً على أفضل خط مرجعي (DFGP).
- الكفاءة: كان عدد المعلمات القابلة للتدريب أقل بكثير من حجم الشبكة الكاملة، مما يؤكد ميزة التكيف منخفض الرتبة.

5. الأهمية والأثر

تحول في النموذج: تتحدى هذه الورقة الممارسة القياسية لإسقاط التدرج في التعلم المستمر. فهي تثبت أن دمج قيد التعامد مباشرة في بنية النموذج (عبر التمثيل البارامتري) هو استراتيجية أكثر قوة ولا تعتمد على نوع المحسن.
دور القيم المفردة الصغيرة: تسلط الضوء على جانب لم يُستغل كفاية في تحليل القيم المفردة (SVD) في التعلم المستمر: وهو أن اتجاهات "الطاقة المنخفضة" (القيم المفردة الصغيرة) لبيانات الماضي هي "المناطق الآمنة" المثلى لتعلم مهام جديدة دون نسيان.
العملية: الطريقة فعالة حاسوبياً، ولا تتطلب ذاكرة تخزين مؤقت للمهام (تعتمد فقط على جمع تمريرة واحدة لبناء القاعدة)، ومن السهل تنفيذها كبديل مباشر للطبقات الخطية أو الالتفافية.

في الختام، يقدم NESS حلاً مبنياً على أسس نظرية، فعالاً وفعالاً للغاية لمواجهة النسيان الكارثي، وذلك عبر استغلال هندسة القيم المفردة الصغيرة لحصر التعلم في فضاء جزئي آمن.