🤖 machine learning

CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

تقدم الورقة البحثية نموذج CI-CBM، وهو نموذج عنق الزجاجة للمفاهيم (concept bottleneck model) ذو زيادة فئوية، يستخدم تنظيم المفاهيم وتوليد المفاهيم الزائفة للتخفيف بفعالية من النسيان الكارثي مع الحفاظ على دقة عالية وقابلية كاملة للتفسير في سيناريوهات التعلم المستمر.

المؤلفون الأصليون: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية التعرف على الحيوانات.

المشكلة: "الطالب النسيّ"
في عالم الذكاء الاصطناعي، هناك مشكلة شائعة تسمى "النسيان الكارثي" (Catastrophic Forgetting). تخيل أنك علمت طالبك التعرف على "سنونو الشجر" (Tree Swallow) (وهو طائر أزرق صغير). لقد أتقن الأمر تماماً. ثم أريته "الكناري الأحمر" (Cardinal) (طائر أحمر زاهٍ). فجأة، لكي يتعلم الكناري، يقوم عقل الطالب بمسح الملفات القديمة واستبدالها؛ فينسى شكل سنونو الشجر. قد يبدأ بتسمية الكناري "سنونو أحمر" أو يصاب بالارتباك فحسب.

في الحياة الواقعية، لا يمكننا ببساطة إعادة تدريب الطالب من الصفر في كل مرة نظهر له حيواناً جديداً؛ فهذا يستغرق الكثير من الوقت والطاقة. نحن بحاجة لأن يتعلم بشكل مستمر، ويضيف معارف جديدة دون أن يفقد المعارف القديمة.

الحلول القديمة: "الصندوق الأسود" و"ألبوم الصور"
حاولت الطرق السابقة حل هذه المشكلة بطريقتين:

ألبوم الصور (التكرار/المراجعة): تحتفظ بألبوم صور مادي لكل طائر رآه الطالب من قبل. عندما يتعلم طيراً جديداً، تجعله يدرس الطائر الجديد و يتصفح الألبوم القديم أيضاً. هذا يعمل بشكل جيد، ولكنه كابوس فيما يتعلق بالخصوصية (لأنك تخزن جميع البيانات) ويستهلك مساحة كبيرة.
الصندوق الأسود: تستخدم ذكاءً اصطناعياً فائق الذكاء يتعلم كل شيء بشكل مثالي، لكنه عبارة عن "صندوق أسود". لا يمكنك سؤاله لماذا يعتقد أن هذا الطائر هو "سنونو الشجر"؛ هو فقط يعطيك الإجابة. إذا ارتكب خطأً، فلن تعرف أبداً لماذا اتخذ هذا القرار. وهذا أمر سيء في مجالات مثل التشخيص الطبي، حيث تحتاج لمعرفة لماذا اتخذ النموذج قراراً معيناً.

الحل الجديد: CI-CBM (المحقق المفاهيمي)
يقدم هذا البحث CI-CBM (نموذج عنق الزجاجة المفاهيمي المتزايد - Class-Incremental Concept Bottleneck Model). فكر في هذا ليس كطالب يحفظ الصور، بل كـ محقق يحل القضايا باستخدام قائمة محددة من الأدلة (المفاهيم).

إليك كيف يعمل CI-CB، باستخدام تشبيهات بسيطة:

1. "قائمة المفاهيم" (أدلة المحقق)

بدلاً من مجرد النظر إلى الطائر ككل، يقوم النموذج بتفكيك الصورة إلى مفاهيم يمكن للبشر فهمها.

الأدلة الإيجابية: "رأس أزرق"، "ذيل مشقوق صغير"، "خطوط بيضاء على الأجنحة".
الأدلة السلبية (قائمة الـ "ليس"): "ليس لديه صدر أحمر"، "ليس لديه أقدام برتقالية".

عندما يرى النموذج طائراً، فإنه لا يخمن فحباً؛ بل يفحص القائمة: "هل لديه رأس أزرق؟ نعم. هل لديه صدر أحمر؟ لا. إذن، إنه سنونو الشجر". هذا يجعل القرار قابلاً للتفسير. يمكنك رؤية بالضبط أي الأدلة أدت إلى الإجابة.

2. التحدي: تعلم أدلة جديدة دون مسح الأدلة القديمة

بينما يتعلم المحقق طيوراً جديدة (مثل الكناري)، فإنه يحتاج لإضافة أدلة جديدة إلى قائمته (مثل "عرف أحمر"). الخطر يكمن في أنه أثناء تعلم "العرف الأحمر"، قد يبدأ المحقق بالاعتقاد بأن "الرأس الأزرق" هو في الواقع "رأس أحمر"، أو قد ينسى أن "ليس لديه صدر أحمر" كان دليلاً حاسماً لسنونو الشجر.

3. الحيل السحرية لـ CI-CBM

يستخدم المؤلفون حيلتين ذكيتين لإبقاء المحقق يقظاً:

الحيلة (أ): "تنظيم المفاهيم" (مرساة الذاكرة)
تخيل أن لدى المحقق ملاحظة لاصقة على مكتبه مكتوب عليها: "تذكر: الرأس الأزرق = سنونو الشجر".
عندما يبدأ في تعلم أشياء جديدة، يُجبر على النظر إلى تلك الملاحظة اللاصقة ويقول: "حسناً، أنا أتعلم أشياء جديدة، ولكن يجب ألا أغير معنى 'الرأس الأزرق'". هذا ما يسمى تنظيم المفاهيم (Concept Regularization). إنه يعمل كمرساة، تثبت المعرفة القديمة حتى لا تنجرف بعيداً أثناء إضافة معارف جديدة.

الحيلة (ب): "المفهوم الوهمي" (تدريب الشبح)
هذا هو الجزء الأكثر إبداعاً. يحتاج المحقق للتدرب على التمييز بين الطيور القديمة (سنونو الشجر) والطيور الجديدة (الكناري)، لكنه لم يعد يملك الصور القديمة (لتوفير المساحة والخصوصية).

كيف يحلون ذلك: ينظر إلى الطائر الجديد (الكناري) ويقول: "حسناً، إذا أخذت هذا الكناري وغيرت سماته قليلاً ليبدو مثل سنونو الشجر، فكيف سيكون شكله؟"
يقومون بإنشاء "طائر وهمي" (Ghost Bird) (مفهوم وهمي). هو ليس صورة حقيقية، بل محاكاة رياضية لما كان سيكون عليه سنونو الشجر في السياق الحالي.
يستخدمون هذه "الطيور الأشباح" للتدريب. هذا يبقي عقل المحقق نشطاً على الفئات القديمة دون الحاجة لتخزين الصور القديمة الفعلية.

لماذا يهم هذا؟

يوضح البحث أن CI-CBM هو فوز للطرفين:

إنه ذكي: يؤدي أداءً يضاهي نماذج "الصندوق الأسود" التي يصعب فهمها.
إنه صادق: يمكنك النظر إلى النموذج وقول: "آه، لقد حددت هذا كسنونو شجر لأنه يمتلك رأساً أزرق وليس لديه صدر أحمر".
إنه فعال: لا يحتاج إلى ألبوم صور ضخم للبيانات السابقة. يحتاج فقط إلى بعض عمليات المحاكاة "الشبحية" لإبقاء ذاكرته حاضرة.

باخت ملخص:
CI-CBM يشبه المحقق الذي يتعلم قضايا جديدة كل يوم ولكنه يحتفظ بدفتر ملاحظات منظم بدقة للأدلة. يستخدم "الملاحظات اللاصقة" لتذكر الأدلة القديمة و"الخيال" (تدريب الشبح) للتدرب على القضايا القديمة دون الحاجة إلى الملفات القديمة. بهذه الطريقة، لن ينسى أبداً من هو سنونو الشجر، حتى بعد مقابلة ألف طائر جديد، ويمكنه دائماً شرح منطقه لك.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CI-CBM: نموذج عنق الزجاجة المفاهيمي المتزايد للتعلم المستمر القابل للتفسير."

1. بيان المشكلة

تتناول الورقة تحدي التعلم المتزايد للفئات (Class-Incremental Learning - CIL)، وتحديداً في إطار التعلم المتزايد للفئات بدون أمثلة (Exemplar-Free EFCIL).

المشكلة الجوهرية: تعاني نماذج التعلم العميق من النسيان الكارثي (Catastrophic Forgetting)، حيث يؤدي تعلم فئات جديدة إلى نسيان النموذج للمعرفة التي تعلمها سابقاً.
القيد: في إطار EFCIL، لا يمكن للنموذج تخزين أي بيانات خام (أمثلة) من المراحل السابقة بسبب قيود الخصوصية أو التخزين. يجب عليه تعلم فئات جديدة بشكل متسلسل دون الوصول إلى البيانات القديمة.
الفجوة: تعتمد الحلول الحالية لـ EFCIL غالباً على بنيات "الصندوق الأسود" التي تضحي بـ القابلية للتفسير (Interpretability). وعلى العكس من ذلك، فإن النماذج القابلة للتفسير الموجودة (مثل نماذج عنق الزجاجة المفاهيمية أو CBMs) تعاني في إعدادات CIL، حيث تعاني غالباً من انخفاض كبير في الدقة مقارنة بنماذج الصندوق الأسود، أو تفشل في الحفاظ على اتساق المفاهيم عبر المراحل.

2. المنهجية: CI-CBM

يقترح المؤلفون CI-CBM (نموذج عنق الزجاجة المفاهمي المتزايد للفئات)، وهو إطار عمل يوسع نموذج (Label-free Concept Bottleneck Model - LF-CBM) للتعامل مع التعلم المتزايد بدون أمثلة. تتكون البنية من عمود فقري مجمد (Frozen Backbone)، وطبقة عنق زجاجة مفاهيمية، وطبقة تنبؤ متفرقة (Sparse Prediction Layer).

يعمل الأسلوب من خلال ثلاث وحدات رئيسية عبر المراحل المتزايدة:

أ. التوسع المتزايد لمجموعة المفاهيم (الوحدة الأولى)

توليد المفاهيم: بالنسبة للفئات الجديدة التي يتم تقديمها في مرحلة ما، يتم توليد المفاهيم تلقائياً باستخدام نماذج اللغات الكبيرة (LLMs، مثل GPT-3) عبر مطالبات محددة (مثل: "اذكر السمات للتعرف على X").
التصفية: لمنع التكرار، يستخدم النظام تضمينات نصية (Sentence-Transformer/CLIP) لتصفية المفاهيم شديدة التشابه مع أسماء الفئات الحالية أو المفاهيم المكررة.
النتيجة: مجموعة مفاهيم فريدة ومتنامية $C_t$ تراكم المعرفة عبر المراحل.

ب. تعلم المفاهيم الحافظ للمعرفة (الوحدة الثانية)

التحدي: مع توسع مجموعة المفاهيم، فإن ضبط أوزان عنق الزجاجة المفاهيمي ( $W_C$ ) على البيانات الجديدة ينطوي على خطر حدوث "انزياح المفاهيم" (Concept Drift)، حيث تفقد المفاهيم التي تعلمت سابقاً معناها الدلالي.
الحل: يقدم المؤلفون تنظيم المفاهيم (Concept Regularization) عبر تقطير المعرفة (Knowledge Distillation).
- قبل تحديث الأوزان للمفاهيم الجديدة، يحسب النموذج درجات تنشيط المفاهيم الحالية على بيانات المرحلة الجديدة باستخدام الأوزان القديمة ( $W_{C}^{t-1}$ ).
- أثناء تدريب الأوزان الجديدة ( $W_{C}^{t}$ )، يتم إضافة فقد التقطير (Distillation Loss) إلى فقد المحاذاة (Alignment Loss). هذا يجبر مخرجات النموذج الجديد للمفاهيم القديمة على البقاء قريبة من مخرجات النموذج السابق، مما يمنع الانزياح مع السماح بإضافة عصبونات مفاهيمية جديدة.

ج. التكيف الديناميكي وتوليد المفاهيم الزائفة (الوحدة الثالثة)

التحدي: يجب أن تقوم طبقة التنبؤ ( $W_F$ ) بتصنيف كل من الفئات الجديدة (ببيانات حقيقية) والفئات القديمة (بدون بيانات).
الحل: يقوم المؤلفون بتوليد ميزات زائفة (Pseudo-Features) ومفاهيم زائفة (Pseudo-Concepts) للفئات القديمة.
1. توليد الميزات الزائفة: لكل فئة قديمة $c_p$ ، يحدد النظام أقرب فئة جديدة $c_n$ بناءً على تشابه المركز (Centroid Similarity) في فضاء ميزات العمود الفقري. ثم يقوم بإزاحة توزيع ميزات $c_n$ ليتناسب مع متوسط $c_p$ :
  $\hat{f}(c_p) = f(c_n) - \mu(c_n) + \mu(c_p)$
2. إسقاط المفاهيم الزائفة: يتم إسقاط هذه الميزات الزائفة عبر عنق الزجاجة المفاهيمي الحالي ( $W_C^t$ ) لتوليد مفاهيم زائفة.
3. التدريب المتفرق: يتم تدريب المتنبئ المتفرق النهائي ( $W_F$ ) باستخدام المفاهيم الحقيقية للفئات الجديدة والمفاهيم الزائفة للفئات القديمة. وهذا يسمح للنموذج بتعلم مصنف موحد دون تخزين أي بيانات سابقة، فقط مراكز الفئات.

3. المساهمات الرئيسية

أول نموذج EFCIL متين وقابل للتفسير: يعد CI-CBM أول نموذج CIL قابل للتفسير ثبتت قوته في سيناريوهات النماذج المدربة مسبقاً (مثل ImageNet-pretrained ViT) وغير المدربة مسبقاً (المدرّبة من الصفر).
تساوي الأداء مع نماذج الصندوق الأسود: على عكس الطرق القابلة للتفسير السابقة التي تتخلف في الدقة، يحقق CI-CBM أداءً مقارباً لأفضل نماذج الصندوق الأسود (Black-box) في أحدث التقنيات (SOTA).
تقنيات مبتكرة:
- تنظيم المفاهيم: يمنع الانزياح الدلالي للمفاهções المتعلمة أثناء التحديثات المتزايدة.
- توليد المفاهيم الزائفة: آلية لمحاكة بيانات الفئات القديمة في فضاء المفاهيم، مما يسمح بتدريب المصنف المتفرق بدون أمثلة.
قابلية التفسير على مستويين: يوفر النموذج:
- التفسير العالمي (Global Interpretability): فهم أي المفاهيم تقود القرارات لفئات معينة (يتم توضيحه عبر مخططات سانكي - Sankey diagrams).
- التفسير المحلي (Local Interpretability): شرح التنبؤات الفردية من خلال إظهار مساهمة مفاهيم محددة (مثل "الرأس الأزرق" و"الذيل المشقوق" لطائر "Tree Swallow").

4. النتائج التجريبية

قيم المؤلفون CI-CBM على سبع مجموعات بيانات: CIFAR-10, CIFAR-100, CUB-200, TinyImageNet, Places365, ImageNet-Subset, و ImageNet.

مكاسب الدقة: يتفوق CI-CBM على طرق CIL القابلة للتفسير السابقة (ICICLE, IN2, CONCIL, CLG-CBM) بفارق كبير، محققاً متوسط زيادة في الدقة قدرها 36%.
- في CIFAR-100، تحسن بنسبة ~39.5% عن النماذج المرجعية.
- في CUB، تحسن بنسبة ~43% عن النماذج المرجعية.
المقارنة مع نماذج الصندوق الأسود:
- في السيناريوهات غير المدربة مسبقاً (ResNet-18/DeiT مدربة من الصفر)، يحقق CI-CBM دقة ضمن نطاق 7.5% من أفضل طرق الصندوق الأسود غير المقيدة (SOTA).
- في السيناريوهات المدربة مسبقاً (ViT-Base/16)، يعد منافساً للطرق القائمة على المطالبات (Prompt-based methods)، حيث يظهر انخفاضاً بنسبة ~7% فقط في CIFAR-100 مقارنة بأفضل نماذج الصندوق الأسود.
دراسات الاستئصال (Ablation Studies):
- إزالة توليد المفاهيم الزائفة تؤدي إلى انخفاض الدقة إلى ما يقارب الصفر للفئات القديمة.
- إزالة تنظيم المفاهيم يؤدي إلى انزياح المفاهيم وتدهور الأداء.
- استخدام SigLIP (بدلاً من CLIP) لمحاذاة المفاهيم يعطي دقة أعلى قليلاً وأمانة مفاهيمية أفضل.
النسيان: يظهر الأسلوب نسياناً منخفضاً، حيث يحافظ على دقة عالية للفئات القديمة حتى بعد أكثر من 20 مرحلة متزايدة.

5. الأهمية والأثر

سد الفجوة: نجح CI-CBM في سد المقايضة طويلة الأمد بين القابلية للتفسير والدقة في التعلم المستمر. لقد أثبت أن النماذج يمكن أن تكون شفافة ومفهومة بشرياً دون التضحية بالأداء.
القابلية للتطبيق في العالم الحقيقي: من خلال العمل في إطار التعلم بدون أمثلة (Exemplar-Free)، يعالج CI-CBM قيود الخصوصية والتخزين الحرجة، مما يجعله مناسباً للتطبيقات الواقعية (مثل الرعاية الصحية، والروبوتات) حيث لا يمكن الاحتفاظ بالبيانات.
المرونة: قدرة الطريقة على العمل بفعالية سواء كان العمود الفقري مدرباً مسبقاً أو مدرباً من الصفر تجعلها متعددة الاستخدامات للغاية لمختلف سيناريوهات النشر.
الذكاء الاصطناعي الموثوق: من خلال الحفاظ على تعريفات مفاهيمية متسقة عبر مراحل التعلم، يضمن CI-CBM أن يظل استنتاج النموذج مستقراً وقابلاً للتدقيق، وهو مطلب حيوي لأنظمة اتخاذ القرار عالية الخطورة.

في الختام، يمثل CI-CBM خطوة كبيرة نحو جعل أنظمة التعلم المستمر فعالة وقابلة للتفسير في آن واحد، مما يقدم حلاً عملياً لمشكلة النسيان الكارثي دون الاعتماد على الاحتفاظ بالبيانات أو التضحية بشفافية النموذج.