🤖 AI

Beyond Point-wise Neural Collapse: A Topology-Aware Hierarchical Classifier for Class-Incremental Learning

تقترح هذه الورقة مصنفاً هرمياً مدركاً للطوبولوجيا، HC-SOINN، مقترناً بطريقة محاذاة البنية والطوبولوجيا عبر البواقي (STAR)، للتغلب على قيود افتراضات الانهيار العصبي النقطي في التعلم التزايدي للفئات من خلال نمذجة ماني فولد الفئات المعقدة بفعالية والتكيف مع انزياح الميزات غير الخطي.

المؤلفون الأصليون: Huiyu Yi, Zhiming Xu, Dunwei Tu, Zhicheng Wang, Baile Xu, Furao Shen

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huiyu Yi, Zhiming Xu, Dunwei Tu, Zhicheng Wang, Baile Xu, Furao Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التعرف على أنواع مختلفة من الحيوانات. تبدأ بالكلاب والقطط، ويتعلم الروبوت بشكل جيد. ثم، تُدخل الطيور، ثم الأسماك، ثم الزواحف. المشكلة هي أنه بينما يتعلم الروبوت حيوانات جديدة، يبدأ في "نسيان" القديمة أو يرتبك بشأن شكل الكلب الحقيقي. يُسمى هذا النسيان الكارثي (Catastrophic Forgetting).

لفترة طويلة، كانت أفضل طريقة لإصلاح ذلك هي معاملة كل فئة من فئات الحيوانات كنقطة "متوسطة" واحدة مثالية في عقل الروبوت. إذا عرضت على الروبوت صورة كلب، فسيتحقق ببساطة: "هل هذا أقرب إلى نقطة 'متوسط الكلب' أم إلى نقطة 'متوسط القط'؟"

المشكلة: "المتوسط" هو كذبة
يجادل مؤلفو هذه الورقة بأن فكرة "النقطة المتوسطة الواحدة" هذه معطلة. في العالم الحقيقي، الحيوانات (والبيانات) ليست نقاطاً واحدة مثالية. إنها أشكال معقدة ومتعرجة.

التشبيه: تخيل محاولة وصف "الكلب" عبر اختيار بقعة واحدة فقط في حديقة. لكن الكلاب تركض في كل مكان! بعضها صغير، وبعضها كبير، وبعضها يركض يساراً، وبعضها يركض يميناً. إذا تذكرت بقعة واحدة فقط، فستفقد الكلاب التي تركض في المناطق الأخرى.
الواقع: بينما يتعلم الروبوت أشياء جديدة، فإن "شكل" البيانات القديمة (الكلاب) يتغير ويتلوى بطرق معقدة وغير خطية. النقطة الواحدة لا يمكنها تتبع هذه التعرجات. الأمر يشبه محاولة تتبع ثعبان بنقطة واحدة؛ ستظل النقطة دائماً متأخرة خلفه.

الحل: خريطة مرنة (HC-SOINN)
بدلاً من نقطة واحدة، يقترح المؤلفون مصنفاً جديداً يسمى HC-SOINN. فكر في هذا ليس كنقطة واحدة، بل كـ شبكة مرنة وقابلة للتمدد أو خريطة توصيل النقاط.

المراكز المحلية: بدلاً من "متوسط كلب" واحد، ينشئ الروبوت العديد من "المراكز المحلية" الصغيرة (نقاط) التي تتصل ببعضها البعض. تشكل هذه النقاط نسيجاً يغطي كامل الشكل الذي توجد فيه الكلاب فعلياً.
هرمي: يبني الخريطة في خطوتين. أولاً، يرسم مخططاً تقريبياً (مثل رسم الخطوط العريضة لكلب). ثم يقوم بتنقيح التفاصيل (إضافة الأذنين، الذيل، والقوائم) لضمان ملاءمة الخريطة للبيانات تماماً.
قرار مزدل الرؤية: عندما يرى الروبوت صورة جديدة، فإنه يتحقق من شيئين:
- الرؤية العالمية: "هل أنا قريب بشكل عام من مركز عائلة الكلاب؟"
- الرؤية المحلية: "هل أنا قريب تحديداً من إحدى النقاط التفصيلية في شبكتنا؟"
  إنه يجمع بين هذين الإجابتين لاتخاذ قرار أكثر ذكاءً.

التحول: الخريطة تتحرك (STAR)
هناك مشكلة ثانية. حتى مع وجود خريطة رائعة، فإن "الأرض" تستمر في التحرك. مع تعلم الروبوت لمهام جديدة، تتغير وتنزاح سمات الكلاب القديمة. الخريطة الثابتة ستكون في النهاية في المكان الخاطئ.

يقدم المؤلفون أداة ثانية تسمى STAR.

التشبيه: تخيل أن "شبكة الكلب" الخاصة بك تطفو على نهر. بينما يتدفق النهر (مع وصول بيانات جديدة)، تحتاج الشبكة إلى التحرك مع التيار، وإلا ستعلق في صخرة.
كيف تعمل: تعمل STAR مثل جهاز تتبع نظام تحديد المواقع (GPS). فهي لا تراقب حركة الشبكة بأكملها فحسب، بل تتبع كل نقطة في الشبكة بشكل فردي. إنها ترى بالضبط مقدار الإزاحة التي تحتاجها كل نقطة لتبقى فوق البيانات المنزاحة. ثم تسحب الشبكة بأكملها بلطف لتتبع الشكل الجديد للبيانات. هذا يحول "مقاومة الانزياح" (محاربة النهر) إلى "التكيف مع الانزياح" (ركوب الأمواج في النهر).

النتائج
اختبر المؤلفون نظام "الشبكة المطاطية + جهاز تتبع GPS" هذا على ثلاث مجموعات مختلفة من بيانات الصور (مثل مزيج من الأشياء اليومية، وأنواع الطيور الدقيقة، والرسومات الفنية).

قاموا بأخذ سبع من أفضل طرق الذكاء الاصطناعي الموجودة واستبدلوا مصنفات "النقطة الواحدة" القديمة بنظام "الشبكة المطاطية" الجديد الخاص بهم.
النتيجة: في كل حالة تقريباً، أصبح الروبوت أفضل بكثير في تذكر الأشياء القديمة أثناء تعلم أشياء جديدة. لقد قللوا من النسيان بشكل كبير، خاصة في سلاسل التعلم الصعبة والطويلة.
الكفاءة: ومن المثير للدهشة، أن جعل الخريطة أكثر تعقيداً لم يؤدِ إلى إبطاء الروبوت. ولأن "العمل الشاق" يتم بواسطة الدماغ الرئيسي (مستخرج السمات)، فإن إضافة هذه الشبكة الذكية في النهاية لم يغير تقريباً الوقت المستغرق لاتخاذ القرار.

باختصار
تقول الورقة: "توقف عن محاولة حشر البيانات المعقدة والمتغيرة في نقطة واحدة جامدة. بدلاً من ذلك، ابنِ خريطة متعددة النقاط ومرنة يمكنها التمدد والتحرك جنباً إلى جنب مع البيانات". من خلال القيام بذلك، يتذكر الذكاء الاصطناعي الماضي بشكل أفضل بكثير أثناء تعلم المستقبل.

ملخص تقني: ما وراء الانهيار العصبي للنقطة الواحدة

1. بيان المشكلة

يهدف التعلم المتزايد للفئات (Class-Incremental Learning - CIL) إلى تمكين النماذج من تعلم فئات جديدة بشكل متتابع دون نسيان معرفة الفئات التي تم اكتسابها سابقاً بشكل كارثي. وبينما أصبح مصنف "متوسط أقرب فئة" (Nearest Class Mean - NCM) هو المعيار الفعلي في الـ CIL نظراً لمتانته ضد النسيان، إلا أن مثاليته تعتمد بشدة على نظرية "الانهيار العصبي" (Neural Collapse - NC). تفترض نظرية الانهيار العصبي أنه خلال المرحلة النهائية من التدريب، تنهار الميزات داخل الفئة الواحدة لتصبح نقاطاً مفردة (متوسطات الفئات)، مما يجعل مصنف NCM مكافئاً لمصنف خطي أمثل.

ومع ذلك، يجادل المؤلفون بأنه في إعدادات CIL العملية، غالباً ما يتم انتهاك هذه الحالة المثالية بسبب ثلاثة عوامل:

عدم كفاية التقارب: غالباً لا يتم تدريب النماذج حتى تصل إلى مرحلة الانهيار لتجنب الإفراط في التخصيص (Overfitting).
التدريب المقيد: تستخدم الخطوات المتزايدة غالباً التنظيم (Regularization) أو التقطير (Distillation) مما يمنع التقارب الكامل للفئات الجديدة.
انزياح الميزات (Feature Drift): مع تحديث العمود الفقري (Backbone) للمهام الجديدة، تتغير تمثيلات الفئات القديمة.

يوضح البحث عبر تحليل مسافة بروكروستس (Procrustes distance analysis) أن انزياح الميزات هذا ليس مجرد تحول صلب بسيط، بل يتضمن تشوهات غير خطية كبيرة (حيث تصل المسافات الطبيعية إلى 0.3–0.4). وبناءً على ذلك، تستقر ميزات الفئات على "متشعبات" (Manifolds) عالية الأبعاد ومعقدة (مثل هياكل "الدامبل" أو "الهلال") بدلاً من كونها نقاطاً منهارة. وهذا يجعل نموذج NCM ذو النموذج الأولي الواحد (Single-prototype) غير أمثل، لأنه يفشل في تمثيل هذه الهندسات المعقدة، مما يؤدي إلى تدهور الأداء.

2. المنهجية

يتكون الإطار المقترح من مكونين رئيسيين: مصنف مدرك للطوبولوجيا (HC-SOINN) وآلية تكيف مع الانزياح (STAR).

2.1. HC-SOINN (الشبكة العصبية ذاتية التنظيم المتزايدة الهرمية-العنقودية)

لالتقاط البنية الجوهرية لمتشعبات الفئات، يقترح المؤلفون HC-SOINN، الذي يستبدل فرضية النموذج الأولي الواحد بتمثيل طوبولوجي من "المحلي إلى العالمي".

التهيئة الهرمية: بدلاً من تطبيق التجميع المتزايد مباشرة على التدفقات الخام (وهو أمر حساس للضوضاء والترتيب)، تقوم الطريقة أولاً بتجميع الميزات في مخزن مؤقت وتجري تجميعًا هرميًا تجميعيًا (باست باستخدام طريقة UPGMA والمسافة الجيبية) لتهيئة هيكل متين للمتشعب.
تحسين SOINN الكروي: يتم تحسين العقد الأولية باستخدام شبكة عصبية ذاتية التنظيم متزايدة (SOINN) مبسطة ومكيفة للكرة الوحدة (Unit Hypersphere).
- تعلم الطوبولوجيا: يتم إنشاء حواف بين العقدة الفائزة والعقدة الوصيفة بناءً على التعلم الهيبي التنافسي (Competitive Hebbian Learning - CHL).
- التحديث الكروي: يتم تحديث مواقع العقد باستخدام الاستيفاء الخطي الكروي (SLERP) لضمان تطور النماذج الأولية الفرعية على سطح المتشعب بدلاً من الانزياح إلى داخل الكرة.
الاستدلال ثنائي الرؤية: يجمع درجة القرار النهائية بين رؤية عالمية (التشابه الجيبي مع متوسط الفئة $\mu_c$ ) ورؤية محلية (أقصى تشابه جيبي مع أي نموذج أولي فرعي محلي $v \in V_c$ ). الدرجة هي مجموع موزون:
$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$

2.2. STAR (محاذاة الهيكل-الطوبولوجيا عبر البواقي)

لمعالجة انزياح الميزات غير الخطي الذي لا يمكن للطرق الطوبولوجية الثابتة مقاومته بالكامل، يقدم STAR نموذج "التكيف مع الانزياح".

تتبع المسار النقطي: ينشئ STAR علاقة واحد لواحد بين العقد الطوبولوجية وعينات المرتكز (Anchor samples). ويقوم بتتبع انزياح كل عقدة بشكل فردي من خلال مقارنة الميزات الحالية بالميزات المرجعية المخزنة.
محاذاة البواقي (Residual Alignment): يقوم المتوسط المتحرك الأسي (EMA) بتنعيم ناقلات الانزياح ( $\delta_i$ ). تُطبق هذه البواقي لنقل النماذج الأولية الفرعية في فضاء الميزات الحالي، مما يسمح للهيكل المتشعب بالتشوه النشط والمحاذاة مع تطور توزيع الميزات دون إعادة تدريب العمود الفقري.
المزامنة العالمية: يتم تحديث متوسط الفئة العالمي بشكل متزامن باستخدام متوسط انزياح جميع العقد.

3. المساهمات الرئيسية

إعادة النظر في مثالية NCM: استخدم المؤلفون تحليل بروكروستس لإثبات أن انزياح الميزات في CIL يسبب تشوهات هيكلية غير خطية كبيرة، مما يكشف عن حدود طرق النموذج الأولي الواحد في السيناريوهات العملية.
مصنف HC-SOINN: مصنف جديد مدرك للطوبولوجيا يمثل متشعبات الفئات باستخدام هيكل هرمي من المراكز المحلية والمركز العالمي، مما يوفر تمثيلاً هندسياً أكثر دقة من النماذج الأولية المفردة.
آلية STAR: تحول من "مقاومة الانزياح" إلى "التكيف مع الانزياح". من خلال الاستفادة من تتبع المسار النقطي، تمكن STAR الهيكل الطوبولوجي المتعلم من التشوه بنشاط ليتناسب مع التطور المعقد وغير الخطي للميزات.
التحقق الواسع: تم دمج النهج في سبعة من أساليب CIL الحديثة (بما في ذلك النماذج القائمة على المحفزات، والنماذج القائمة على المهايئات، والنماذج القائمة على التمثيل) عبر ثلاثة معايير اختبارية، مما أظهر تحسناً مستمراً.

4. النتائج التجريبية

تم تقييم الطريقة على Split CIFAR-100، و Split CUB-200، و Split ImageNet-R.

مكاسب الأداء: أدى دمج HC-SOINN (مع أو بدون STAR) في سبعة نماذج أساسية (مثل SimpleCIL، و DualPrompt، و CODA-Prompt، و SEMA، و CL-LoRA) إلى تحسينات مستمرة في كل من متوسط الدقة (AAvg) ودقة المهمة الأخيرة (ALast).
- تشمل المكاسب الملحوظة تحقيق SEMA + HC-SOINN لتحسن قدره 21.00% في Split CUB-200 (ALast)، وتفوق CODA-Prompt + HC-SOINN على الطرق الحديثة الأخرى في Split CUB-200.
تحليل المصنف: عند عزل مساهمة المصنف (تثبيت العمود الفقي)، تفوق HC-SOINN + STAR باستمرار على طبقات FC البارامترية، و NCM القياسي، ومصنف Kolmogorov-Arnold (KAC) غير الخطي، خاصة في المهام طويلة التسلسل وخارج التوزيع (OOD).
الكفاءة:
- التدريب: تضيف الطريقة الكاملة حوالي 3.96% فقط من العبء الإضافي مقارنة بالنموذج الأساسي، وذلك عبر التوازي على مستوى الفئة.
- الاستنتاج: لا تسبب الطريقة أي تأخير تقريباً في زمن الاستنتاج (+0.01%) لأن العمود الفقري (الذي يمثل 99.7% من وقت الحوسسة) يهيمن على تكلفة الاستنتاج، كما أن حسابات المسافة الطوبولوجية تتم عبر المتجهات على وحدة معالجة الرسومات (GPU).
التخزين: يتطلب الطوبولوجيا التكيفية تخزين متوسط 18-21 عقدة لكل فئة، وهو ما يماثل أو يقل عن مخازن الـ 20 عينة المستخدمة في طرق الإعادة التقليدية، ولكن دون الحاجة إلى إعادة التدريب القائم على التدرج.

5. الأهمية والادعاءات

يدعي البحث أن الاعتماد على مصنفات النموذج الأولي الواحد في CIL هو أمر غير سليم نظرياً عندما يكون الانهيار العصبي غير مكتمل. ومن خلال نمذجة الفئات كـ متشعبات معقدة بدلاً من نقاط، يسد الإطار المقترح الفجوة بين المثالية النظرية وقيود CIL العملية.

تحول النموذج: يدعو العمل إلى التحول من "مقاومة الانزياح" (محاولة منع انزياح الميزات) إلى "التكيف مع الانزياح" (تشويه حدود القرار بنشاط ليتناسب مع الانزياح).
المتانة: تُقدم الطريقة على أنها "خالية من الضبط" (Tuning-free)، حيث تحافظ على أداء عالٍ عبر مجموعات بيانات وأعمدة فقريّة متنوعة باستخدام مجموعة موحدة من المعلمات الفائقة.
القيود: يقر المؤلفون بأن مكاسب الأداء تأتي مع عبء حسابي متوسط للصيانة الطوبولوجية وتخزين إضافي لمخازن المرتكزات (Anchor buffers). علاوة على ذلك، تعتمد آلية التقيين الحالية فقط على مسافات العقد، مما يترك ترابط الحواف الغني للرسم البيﻟي (Graph) غير مستغل أثناء التصنيف.

يخلص المؤلفون إلى أن إطارهم الطوبولوجي يوفر حلاً أكثر موثوقية للانزياحات المتغيرة المعقدة مقارنة بالحدود الخطية أو غير الخطية الثابتة، مما يحقق أداءً جديداً هو الأفضل (SOTA) عبر مجموعات البيانات التي تم تقييمها.