🤖 machine learning

Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning

تقترح الورقة البحثية Residual SODAP، وهو إطار عمل للتعلم المستمر لسيناريوهات الزيادة النطاقية، يجمع بين اختيار المطالبات المتناثرة، وتجميع المتبقي، والتقطير الخالي من البيانات لتحقيق أداء رائد مع التخفيف من النسيان الكارثي دون الحاجة إلى معرفات للمهام أو بيانات مخزنة.

المؤلفون الأصليون: Gyutae Oh, Jungwoo Bae, Jitae Shin

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gyutae Oh, Jungwoo Bae, Jitae Shin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ (Chef) تحاول تعلم كيفية طهي أطباق من مناطق مختلفة من العالم، واحدًا تلو الآخر.

المشكلة (النسيان الكارثي): عادةً، عندما تتعلم طهي الطعام التايلاندي الحار، يعتاد عقلك على النكهات الجديدة لدرجة أنك تبدأ في نسيان كيفية صنع مكرونة جدتك الإيطالية. في عالم الذكاء الاصطعي، يسمى هذا "النسيان الكارثي" (Catastrophic Forgetting). يتعلم الذكاء الاصطناي الشيء الجديد ولكنه يحذف الشيء القديم.
القيد (التعلم بدون إعادة التدريب): في العالم الحقيقي (مثل المستشفيات)، غالبًا لا يمكنك الاحتفاظ بصور المرضى القدامى في ملفات للتدرب عليها لاحقًا بسبب قوانين الخصوصية. يجب عليك تعلم البيانات الجديدة دون القدرة على النظر إلى البيانات القديمة. وهذا ما يسمى "التعلم بدون إعادة التدريب" (Rehearsal-Free Learning).

يقدم البحث نظام ذكاء اصطناعي جديد يسمى Residual SODAP. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "القائمة الذكية" (اختيار المحفز - Prompt Selection)

تحاول معظم أنظمة الذكاء الاصطناعي تعلم أشياء جديدة عن طريق إضافة "ملاحظات" أو "محفزات" جديدة إلى عقلها.

الطريقة القديمة: تخيل طاهيًا، عندما يُطلب منه الطهي، يلتقط عشوائيًا حفنة من الملاحظات من كومة ضخمة. أحيانًا يلتقط الملاحظة الصحيحة، ولكن غالبًا ما يلتقط ملاحظات لـ "كاري حار" بينما يحاول صنع "المكرونة". هذا يخلق ارتباكًا (ضجيجًا).
طريقة Residual SODAP: يستخدم هذا النظام قائمة ذكية (تسمى α-entmax). بدلًا من التقاط حفنة عشوائية، فإنه ينظر إلى الترتيب (البيانات الجديدة) ويختار فقط الملاحظتين أو الثلاث الأكثر صلة. إنه يتجاهل البقية تمامًا، مما يحافظ على نظافة وتركيز المطبخ.

2. "كتاب الوصفات المثبت" (التعلم المتبقي - Residual Learning)

الطالطريقة القديمة: عندما يتعلم الطاهي مطبخًا جديدًا، قد يعيد كتابة كتاب وصفاته بالكامل، مما يؤدي بالخطأ إلى مسح الوصفات القديمة في العملية.
طريقة Residual SODAP: تخيل أن الطاهي يحتفظ بـ كتاب وصفاته الأصلي والموثوق مجمدًا ("المحفزات المجمدة"). عندما يتعلم أسلوبًا جديدًا (مثل الطعام التايلاندي)، فإنه لا يعيد كتابة الكتاب. بدلاً من ذلك، يكتب ملاحظة لاصقة صغيرة ("المتبقي") تقول: "أضف القليل من الفلفل الحار إلى المكرونة".
- يحافظ الذكاء الاصطناعي على المعرفة القديمة آمنة وسليمة.
- هو فقط يضيف الفرق المطلوب للمهمة الجديدة.
- هذا يضمن أنه حتى بعد تعلم 100 شيء جديد، ستظل الـ 100 وصفة الأصلية مثالية.

3. "ذاكرة الأشكال" (الحفاظ على المعرفة الإحصائية)

بما أن الطاهي لا يمكنه النظر إلى صور الأطباق القديمة (بسبب قواعد الخصوصية)، فكيف يتذكر شكل "شريحة اللحم المطهوة بشكل مثالي"؟

الطريقة القديمة: يحاول تذكر كل شريحة لحم طهى كل شريحة منها على حد الإطلاق.
طريقة Residual SODAP: بدلًا من تذكر كل شريحة لحم، يتذكر الطاهي متوسط الشكل واللون لشريحة لحم مثالية. إنه يخزن "شبحًا إحصائيًا" للبيانات القديمة.
- عندما يتعلم طبقًا جديدًا، يقوم الطاهي بتوليد "شبح شريحة لحم" من إحصائيات ذاكرته ويتدرب عليها.
- هذا يخدع الدماغ لجعله يشعر وكأنه لا يزال يتدرب على الأشياء القديمة، مما يحافظ على مهاراته القديمة حادة دون الحاجة إلى الصور الحقيقية.

4. "كاشف الانحراف" (PUDD)

كيف يعرف الطاهي أن الزبائن قد انتقلوا فجأة من طلب الطعام الإيطالي إلى طلب السوشي الياباني؟

الطريقة القديمة: يستمر الطاهي في التخمين حتى يفشل فشلًا ذريعًا.
طريقة Residual SODAP: يحتوي النظام على كاشف انحراف. يراقب كيف يستخدم الطاهي ملاحظاته.
- إذا بدأ الطاهي فجأة في استخدام مجموعة مختلفة تمامًا من الملاحظات عن المعتاد، يقول النظام: "مهلًا، لقد تغير العالم! نحن بحاجة إلى ملاحظات جديدة!"
- يقوم تلقائيًا بتوسيع القائمة لإضافة ملاحظات جديدة للأسلوب الجديد، مما يضمن عدم مباغتة الطاهي أبدًا.

5. "الموازن التلقائي" (وزن عدم اليقين - Uncertainty Weighting)

على الطاهي موازنة أشياء كثيرة: سرعة الطهي، المذاق، وعدم حرق الطعام.

الطريقة القديمة: يقرر الطاهي يدويًا: "اليوم سأركز بنسبة 50% على المذاق و50% على السرعة". وهذا من الصعب ضبطه بدقة.
طريقة Residual SODAP: يحتوي النظام على مدير ذكي يستمع إلى "ضجيج" المطبخ.
- إذا كانت إشارة "المذاق" مشوشة جدًا (غير مؤكدة)، يقوم المدير بخفض مستوى صوت تلك التعليمات.
- إذا كانت إشارة "السرعة" واضحة وقوية، يقوم المدير برفع مستواها.
- إنه يجد التوازن المثالي تلقائيًا دون الحاجة إلى تخمين الطاهي.

النتيجة

عندما اختبر الباحثون هذا "الطاهي الذكي" (Residual SODAP) في مهام صعبة مثل تشخيص أمراض العيون (اعتلال الشبكية السكري) وسرطان الجلد، لم يتعلم الأمراض الجديدة فحسب؛ بل لم ينسَ الأمراض القديمة أيضًا.

أنظمة الذكاء الاصطناعي الأخرى: تعلمت المرض الجديد، لكنها نسيت كيفية تشخيص المرض القديم.
Residual SODAP: تعلم المرض الجديد، وحافظ على القديم مثاليًا، وفعل كل ذلك دون الحاجة إلى غرفة تخزين ضخمة لصور المرضى القدامى.

باختصار: Residual SODAP هو ذكاء اصطناعي يتعلم أشياء جديدة عن طريق إضافة ملاحظات دقيقة وصغيرة إلى أساس ثابت ومثالي، ويتذكر "شكل" البيانات القديمة دون تخزينها، ويعرف تلقائيًا متى يحتاج لتوسيع قاعدة معارفه. إنه الطالب المثالي الذي لا ينسى أبدًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning."

1. تعريف المشكلة

تتناول الورقة مشكلة التعلم المتزايد للمجالات (Domain-Incremental Learning - DIL) تحت قيود صارمة تتمثل في عدم الحاجة لاسترجاع البيانات (rehearsal-free).

السياق: في الـ DIL، يجب على النموذج التعلم من سلسلة من المجالات (مثل مجموعات بيانات التصوير الطبي المختلفة) حيث يتغير توزيع البيانات بمرور الوقت.
القيود:
- لا توجد معرفات للمهام (No Task IDs): لا يعرف النموذج المجال الذي ينتمي إليه عينة الاختبار أثناء الاستدلال.
- لا يوجد تخزين للبيانات: لا يمكن تخزين أو إعادة تشغيل البيانات الماضية (rehearsal-free) بسبب لوائح الخصوصية (مثل GDPR) أو حدود التخزين.
التحدي الجوهري: النسيان الكارثي (Catastrophic Forgetting). غالبًا ما تفشل طرق التعلم المستمر القائمة على المحفزات (Prompt-based Continual Learning - PCL) في إعدادات DIL بسبب قصورين محددين:
1. الاختيار غير الأمثل للمحفزات (Suboptimal Prompt Selection): الاختيار الصلب (Top-k) يفتقر إلى القدرة التعبيرية، بينما الاختيار اللين (Softmax) يُدخل الضجيج عبر السماح للمحفزات غير ذات الصلة بالتأثير على المخرجات.
2. عدم استقرار المصنف (Classifier Instability): تركز طرق PCL الحالية بشكل كبير على تكييف تمثيل الـ backbone عبر المحفزات ولكنها تهمل رأس المصنف (classifier head). لاحظ المؤلفون أنه حتى مع وجود تكييف جيد للتمثيل، فإن حدود القرار في المصنف تتدهور بشكل كبير بمرمر الوقت، مما يؤدي إلى انخفاض الأداء.

2. المنهجية: Residual SODAP

يقوم إطار العمل المقترح، Residual SODAP، بتحسين مشترك لتكييف التمثيل القائم على المحفزات والحفاظ على المعرفة على مستوى المصنف. ويتكون من أربعة مكونات أساسية:

أ. اختيار المحفزات المتبقية القائم على $\alpha$ -Entmax

لمعالجة قيود اختيار المحفزات القياسي:

تعزيز المدخلات: يستخدم النموذج بنك ذاكرة (Memory Bank) (أزواج مفتاح-قيمة قابلة للتعلم) مشتركة عبر طبقات الـ Transformer. يتم تعزيز الاستعلام الحالي عن طريق استرجاع إشارات من بنك الذاكرة هذا ودمجها مع السياق العالمي (رمز CLS الأولي) واستعلام الطبقة الحالية.
الاختيار المتناثر ( $\alpha$ -Entmax): بدلاً من Softmax، تستخدم الطريقة $\alpha$ -entmax (مع $\alpha=1.5$ ). يسمح هذا بـ الاختيار المتناثر (Sparse Selection)، حيث يعطي قيم صفرية دقيقة للمحفزات ذات الدرجات المنخفضة، مما يقلل الضجيج الناتج عن المحفزات غير ذات الصلة مع الحفاظ على تدفق التدرج (gradient flow).
الدمج المتبقي (Residual Fusion): يتم تقسيم مجمع المحفزات إلى مجموعة مجمدة ( $\mathcal{F}$ ) ومجموعة نشطة ( $\mathcal{A}$ ).
- المحفزات في $\mathcal{F}$ مجمدة للحفاظ على المعرفة السابقة.
- المحفزات في $\mathcal{A}$ قابلة للتدريب وتعمل كـ بقايا (residual) للتكيف مع المجال الجديد.
- المحفز النهائي هو مجموع موزون: $p_{out} = p_{\mathcal{F}} + \lambda_r p_{\mathcal{A}}$ .

ب. الحفاظ على المعرفة الإحصائية (إعادة تشغيل الميزات الزائفة - Pseudo-Feature Replay)

للتخفيف من النسيان دون تخزين البيانات الخام، تحافظ الطريقة على إحصائيات الميزات لكل فئة:

أصول المعرفة: في نهاية كل مرحلة، يحفظ النموذج:
1. رأس مصنف المعلم (Teacher Classifier Head) مجمد.
2. إحصائيات الميزات لكل فئة (المتوسط $\mu_c$ والتباين القطري $\sigma_c^2$ ) المحسوبة عبر خوارزمية Welford عبر الإنترنت.
التقطير وإعادة التشغيل: خلال مرحلة التدريب التالية:
- تقطير الميزات الحقيقية: يتعلم رأس الطالب من رأس المعلم باستخدام ميزات الدفعة الحالية الحقيقية.
- إعادة تشغيل الميزات الزائفة: يقوم النموذج بتوليد ميزات اصطناعية عن طريق أخذ عينات من التوزيعات الغاوسية المخزنة ( $\mathcal{N}(\mu_c, \sigma_c^2)$ ). يتم تمرير هذه الميزات الزائفة عبر رؤوس المعلم المجمدة ورؤوس الطالب القابلة للتدريب لفرض تقطير المعرفة، مما يؤدي فعليًا إلى إعادة تشغيل حدود القرار السابقة دون الحاجة لبيانات خام.

ج. كشف الانحراف القائم على استخدام المحفزات (PUDD)

لإدارة حجم مجمع المحفزات ديناميكيًا:

إشارات الانحراف: يراقب النظام إشارتين:
1. إنتروبيا الاختيار (Selection Entropy): التغيرات في عدم اليقين لأوزان اختيار المحفزات.
2. إزاحة مجموعة الاستخدام (Usage Set Shift): التقاطع فوق الاتحاد (IoU) بين مجموعة المحفزات النشطة الحالية ومجموعة المحفزات المستخدمة في التكرارات الأخيرة.
التوسع التكيفي: يتم حساب درجة الانحراف. إذا تجاوزت الدرجة عتبة معينة، يتم توسيع مجمع المحفزات بشكل يتناسب مع مقدار الانحراف. تنضم المحفزات المضافة حديثًا إلى المجموعة النشطة، بينما تُنقل المحفزات النشطة السابقة إلى المجموعة المجمدة.

د. وزن عدم اليقين (Uncertainty Weighting - UW)

لموازنة مصطلحات الخسارة المتعددة (Cross-Entropy، التقطير الحقيقي، التقطير الزائف، التنوع، وتنظيم المعيار) دون ضبط يدوي:

تتبنى الطة وزن عدم اليقين متجانس التباين (homoscedastic uncertainty weighting). فهي تتعلم معلمة لوغاريتم التباين ( $s_i$ ) لكل مصطلح خسارة.
يتم تقليل وزن الخسائر ذات عدم اليقين العالي (الأكثر ضجيجًا) تلقائيًا، بينما يتم زيادة وزن الخسائر الموثوقة، مما يضمن تحسينًا مشتركًا مستقرًا.

3. المساهمات الرئيسية

الحفاظ ثنائي المستوى: أول إطار عمل يعالج صراحةً عدم استقرار المصنف في PCL من خلال الجمع بين تكييف المحفزات والحفاظ على المعرفة الإحصائية (إعادة التشغيل الزائف).
الاختيار المتناثر للمحفزات: تقديم $\alpha$ -entmax لتحقيق اختيار محفزات متناثر وخالٍ من الضجيج، متجاوزًا قيود Top-k و Softmax.
التنظيم الذاتي المدرك للانحراف: آلية (PUDD) تكتشف انحرافات المجال تلقائيًا وتوسع سعة مجمع المحفزات ديناميكيًا، مما يضمن امتلاك النموذج موارد كافية للمجالات الجديدة دون الإفراط في التخصيص.
كفاءة عدم الحاجة للاسترجاع (Rehearsal-Free): تحقق الطريقة أداءً رائدًا (SOTA) دون تخزين أي بيانات سابقة أو طلب معرفات للمهام.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات اختبار تحت إعدادات DIL:

اعتلال الشبكية السكري (DR): APTOS $\to$ DDR $\to$ DRD.
سرطان الجلد: ISIC $\to$ HAM $\to$ DERM7.
المجال العام: CORe50 (سلسلة من 11 مرحلة).

أبرز نتائج الأداء (متوسط الدقة AvgACC / متوسط الفقد AvgF - الأقل هو الأفضل):

DR: 0.850 / 0.047 (SOTA). يتفوق على طرق PCL السابقة (مثل OS-Prompt++ و Dual-Prompt) والطرق القائمة على الاسترجاع (مثل DER++).
سرطان الجلد: 0.760 / 0.031. يحقق أعلى دقة مع الحفاظ على نسيان منخفض، متفوقًا على Dual-Prompt الذي كان يتميز بنسيان منخفض ولكن دقة ضعيفة.
CORe50: 0.995 / 0.003. يظهر قدرة استثنائية على التعميم للمجالات غير الطبية.

دراسات الاستئصال (Ablation Studies):

أدى إزالة محسن الاستعلام (Query Enhancer) إلى أكبر انخفاض في الدقة (-4.2%)، مما يبرز أهمية الاستعلامات المعززة بالذاكرة.
أدت إزالة إعادة التشغيل الزائف (Pseudo Replay) أو التقطير (Distillation) إلى زيادة كبيرة في النسيان، مما يؤكد ضرية الحفاظ على مستوى المصنف.
أدت إزالة وزن عدم اليقين (Uncertainty Weighting) إلى مقايضات غير مثالية بين الدقة والنسيان.

5. الأهمية

القابلية للتطبيق العملي: يعد Residual SODAP ذا صلة وثيقة بتطبيقات الذكاء الاصطنا طبية في العالم الحقيقي حيث تمنع خصوصية البيانات تخزينها وتحدث انحرافات في المجالات (مثل أجهزة المسح الطبي الجديدة) بشكل متكرر.
الرؤية النظرية: تقدم الورقة دليلًا تجريبيًا على أن عدم استقرار المصنف في التعلم المستمر هو محرك رئيسي للنسيان، وهو أمر غالبًا ما يتم تجاهله في الطرق التي تركز فقط على تمثيل الميزات.
المتانة: من خلال دمج الاختيار المتناثر، وإعادة التشغيل الإحصائي، والتوسع الديناميكي للسعة، تقدم الطريقة حلاً قويًا يوازن بين الاحتفاظ بالمعرفة القديمة والتكيف مع المجالات الجديدة، مما يضع معيارًا جديدًا للتعلم المستمر الخالي من الاسترجاع.