🤖 AI

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

تقترح هذه الورقة طريقة للتعلم المستمر بزيادة الفئات مع التكرار (CIR) تستفيد من البيانات غير المصنفة الوفيرة من خلال تقطير المعرفة متعدد المستويات والتعلم الذاتي الخاضع للإشراف الديناميكي لتعزيز استقرار النموذج ومرونته، محققة المركز الثاني في تحدي CVPR 5th CLVISION.

المؤلفون الأصليون: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

نُشر 2026-04-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طالب يحاول تعلم لغة جديدة كل أسبوع، ولكن مع لمسة مختلفة: أحياناً تتعلم لغة جديدة تماماً (مثل اليابانية)، وأحياناً أخرى يتعين عليك مراجعة لغة تعلمتها قبل أشهر (مثل الإسبانية) بينما لا تزال تحاول تعلم اللغة الجديدة.

المشكلة الكبرى في هذا السيناريو هي النسيان. إذا درست اليابانية بجدية شديدة، فقد تبدأ في نسيان الإسبانية. وإذا راجعت الإسبانية كثيراً، فقد لا تتعلم اليابانية بالسرعة المطلوبة. هذا هو جوهر تحدي "التعلم المستمر" (Continual Learning) في الذكاء الاصطناعي.

يصف هذا البحث كيف قام فريق من جامعة يونسي وجامعة سيول الوطنية ببناء طالب ذكاء اصطناعي حصل على المركز الثاني في مسابقة كبرى للذكاء الاصطناعي (CVPR 2024) عبر حل هذه المشكلة تحديداً. وإليك كيف فعلوا ذلك، مشروحاً ببساطة:

الإطار العام: قاعدة "لا دفتر ملاحظات"

عادةً، لكي يتذكر الطلاب الأشياء القديمة، يحتفظون بدفتر للملاحظات القديمة. في الذكاء الاصطناعي، يُسمى هذا "مخزن الذاكرة" (Memory Buffer). ومع ذلك، في العالم الحقيقي، غالباً ما لا يمكنك الاحتفاظ بالبيانات القديمة بسبب قوانين الخصوصية أو قيود التخزين. لا يمكنك حفظ كل صورة رأيتها على الإطلاق.

منحت المسابقة الذكاء الاصطناعي ميزة خاصة: الوصق إلى "الإنترنت" (بيانات غير مصنفة).

التحدي: كان على الذكاء الاصطناعي تعلم فئات جديدة (مثل أنواع معينة من الطيور) مع تذكر الفئات القديمة، لكن لم يكن بإمكانه حفظ الصور القديمة.
طريقة الغش: كان بإمكانه تحميل صور عشوائية غير مصنفة من الإنترنت لمساعدته في الدراسة، ولكن كان عليه التخلص منها فوراً بعد ذلك.

الحل: قوتان خارقتان

منح الفريق الذكاء الاصطناعي الخاص بهم قوتين خارقتين للتعامل مع هذا الموقف الصعب.

1. "المعلم المسافر عبر الزمن" (تقطير المعرفة متعدد المستويات)

المشكلة: عندما يحاول الذكاء الاصطناعي تعلم أشياء جديدة باستخدام صور الإنترنت العشوائية، فإنه يصاب بالارتباك. صور الإنترنت لا تشبه تماماً الطيور المحددة التي يحتاج لتعلمها، مما يجعله يبدأ في نسيان ما عرفه بالفعل.

الحل: بدلاً من مجرد النظر إلى النموذج الحالي، يحتفظ الذكاء الاصطناعي بـ "معلم مسافر عبر الزمن".

كيف يعمل: يقوم الذكاء الاصطناعي بحفظ نسخة من "دماغه" من نهاية كل درس سابق.
التشبيه: تخيل أنك تؤدي اختباراً. بدلاً من الاعتماد فقط على ذاكرتك الحالية، لديك لجنة من نسخك السابقة (من الأسبوع الماضي، الشهر الماضي، العام الماضي) تجلس في الغرفة. إنهم يهمسون لك بالإجابات.
الخدعة: هم لا يهمسون بالإجابات (النتائج/logits) فحسب، بل يهمسون أيضاً كيف رأوا الصورة (الميزات/features). كما يستخدمون خدعة رياضية خاصة (مصفوفات جرام/Gram Matrices) لفهم العلاقات بين الأشياء، وليس فقط الأشياء نفسها.
النتيجة: حتى لو كانت صور الإنترنت فوضوية، يمكن للذكاء الاصطناعي أن يقول: "انتظر، أنا في الماضي كنت أعرف هذا النمط"، وبذلك لا ينسى الدروس القديمة.

2. "مدرب الجيم الديناميكي" (التعلم الذاتي الديناميكي)

المشكلة: لدى الذكاء الاصطناعي إمكانية الوصول إلى ملايين الصور العشوائية من الإنترنت. إذا حاول التعلم من جميع هذه الصور بالتساوي، فقد يتشتت وينسى هدفه الأساسي: تحديد أنواع الطيور المحددة. إنه يشبه طالباً يحاول قراءة رواية بينما يحاول أيضاً تعلم كيفية التلاعب بالكرات (Juggling)؛ قد يصبح جيداً في التلاعب بالكرات لكنه سيفشل في اختبار الرواية.

الحل: قاموا بتعيين "مدرب جيم ديناميكي" يتحكم في مقدار ممارسة الذكاء الاصطناعي للصور العشوائية من الإنترنت.

كيف يعمل:
- في بداية اللعبة: يقول المدرب: "انطلق بحرية! تدرب على كل تلك الصور العشوائية من الإنترنت لتجعل دماغك مرناً ومستعداً لأي شيء". هذا يساعد الذكاء الاصطناعي على تعلم الميزات العامة (مثل الأشكال، الأنسجة، الحواف) بسرعة.
- في وقت لاحق من اللعبة: مع اقتراب الذكاء الاصطناعي من الامتحان النهائي، يقول المدرب: "توقف عن التلاعب بالكرات! ركز تماماً على الطيور المحددة التي نحتاج لتحديدها".
التشبيه: فكر في الأمر مثل التدريب على ماراثون. في البداية، تقوم بالتدريب المتقاطع (السباحة، ركوب الدراجات) لبناء لياقة عامة. ولكن مع اقتراب يوم السباق، تتوقف عن التدريب المتقاطع وتركز بنسبة 100% على الجري. يفعل الذكاء الاصطناعي الشيء نفسه: يستخدم بيانات الإنترنت ليصبح "لائقاً" في البداية، ثم يركز على المهمة المحددة لاحقاً.

النتيجة

من خلال الجمع بين هاتين الاستراتيجيتين:

المعلم يضمن أن الذكاء الاصطناعي لا ينسى أبداً ما تعلمه من قبل، حتى بدون دفتر ملاحظات.
المدرب يضمن أن الذكاء الاصطناعي يستخدم بيانات الإنترنت المجانية ليصبح أكثر ذكاءً دون أن يتشتت.

كانت النتيجة ذكاءً اصطناعياً يمكنه تعلم أشياء جديدة بسرعة دون نسيان الأشياء القديمة، محققاً دقة بنسبة 42% (قفزة هائلة من خط الأساس البالغ 19%) وتأمين المركز الثاني في أهم مسابقة لرؤية الحاسوب في العالم.

باختصار: لقد علموا الذكاء الاصطناعي كيفية التعلم من "السحابة" دون حفظ أي شيء، وذلك من خلال الاحتفاظ بفريق من النسخ السابقة لنفسه للحصول على النصيحة، واستخدام جدول زمني ذكي لمعرفة متى يتدرب بشكل واسع ومتى يركز بشكل ضيق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning"، والتي توثق الحل الحائز على المركز الثاني في تحدي CVPR 2024 5th CLVISION.

1. بيان المشكلة

تتناول الورقة مشكلة التعلم المستمر للفئات مع التكرار (Class-Incremental Learning with Repetition - CIR)، وهي سيناريو أكثر واقعية وتحدياً من التعلم المستمر للفئات التقليدي (CIL).

التحدي: في سيناريو CIR، يواجه النموذج مزيجاً من الفئات الجديدة والفئات التي تم رؤيتها سابقاً عبر مهام متتالية. وخلافاً لـ CIL القياسي، حيث تكون الفئات جديدة تماماً، يفترض CIR أن على النموذج التعامل مع التعرض "المتكرر" للفئات القديمة أثناء تعلم فئات جديدة.
القيود: السيناريو هو خالٍ من الاسترجاع (rehearsal-free) فيما يتعلق بالبيانات المصنفة. لا يمكن للنموذج تخزين كميات كبيرة من البيانات المصنفة السابقة بسبب قيود الخصوصية والتخزين. بدلاً من ذلك، يتم تزويده ببيانات خارجية غير مصنفة وفيرة (مثل بيانات من الإنترنت) إلى جانب دفعات صغيرة من البيانات الجديدة المصنفة.
الهدف: تعظيم دقة التصنيف النهائية على مجموعة الاختبار مع الحفاظ على الاستقرار (منع النسيان الكارثي للفئات القديمة) واللدونة (التعلم السريع للمفاهيم الجديدة) دون الاعتماد على نماذج (exemplars) مخزنة للمهام السابقة.

2. المنهجية

يقترح المؤلفون إطار عمل مبني على نموذج أساسي من "التقاطع المتقاطع للإنتروبيا المتقاطعة" (local cross-entropy) وإعادة عرض الميزات (feature replay)، مع تعزيزه بمكونين أساسيين مصممين للاستفادة من البيانات غير المصنفة بفعالية.

أ. تقطير المعرفة متعدد المستويات (MLKD)

لضمان الاستقرار والحد من النسيان الكارثي، قدم المؤلفون آلية تقطير متطورة تستخرج المعرفة من عدة نماذج سابقة من منظورات مختلفة.

نهج النماذج المتعددة: بدلاً من التقطير من نموذج سابق واحد، يحافظ النظام على عدة نماذج سابقة. ويقوم باختيار الميزات واللوجيت (logits) بناءً على ثقة المخرجات لإنشاء مجموعة قوية (ensemble) من المعرفة.
المتوسط المتحرك الأسي (EMA): يتم تحديث جميع النماذج السابقة تدريجياً عبر الـ EMA مع النموذج الحالي ليعكس المعرفة الجديدة مع الحفاظ على الاستقرار التاريخي.
التقطير متعدد المستويات:
- تقطير مستوى الميزات (Feature-Level KD): يستخدم خسارة L2 لتقطير الميزات من النماذج السابقة. وتزداد قيمة وزن هذه الخسارة خطياً عبر المهام، حيث قد تفتقر ميزات المراحل المبكرة إلى المعلومات الكافية للمهام اللاحقة.
- تقطير مستوى اللوجيت (Logit-Level KD - القائم على الارتباط): يفشل تقطير اللوجيت القياسي لكل عينة على حدة بسبب تحولات التوزيع بين بيانات التدريب والبيانات الخارجية غير المصنفة. ولحل ذلك، استخدم المؤلفون مصفوفات جرام (Gram matrices) لتقطير الارتباطات:
  - ارتباط العينات (Instance Correlation): يلتقط العلاقات بين العينات داخل الدفعة ( $G = l \cdot l^T$ ).
  - ارتباط الفئات (Class Correlation): يلتقط العلاقات بين الفئات ( $M = l^T \cdot l$ ).
    يضمن هذا النهج أن يتعلم النموذج العلاقات الهيكلية للبيانات بدلاً من مجرد توقعات محددة لكل عينة، مما يعوض عن تحولات توزيع البيانات.

ب. التعلم الذاتي الخاضع للإشراف الديناميكي (Dynamic SSL)

لتعزيز اللدونة وتسريع تعلم الفئات الجديدة، يستخدم المؤلفون مجموعة البيانات غير المصنفة عبر التعلم الذاتي الخاضع للإشراف.

الآلية: يتم تطبيق خسارة تعلم ذاتي (تحديداً توقع الدوران - Rotation Prediction) على البيانات غير المصنفة لتشجيع استخراج ميزات عامة غير مرتبطة بمهمة محددة.
الوزن الديناميكي: قد يؤدي التطبيق الساذج للتعلم الذاتي (SSL) إلى تدهور الأداء في مهمة التصنيف الأساسية. ولتحقيق التوازن، قدم المؤلفون عامل وزن ديناميكي $\alpha = c \cdot \omega^t$ $α = c \cdot ω^{t}$ (حيث $t$ $t$ هو رقم المهمة و $\omega < 1$ $ω < 1$ ).
- مع زيادة عدد المهام، ينخفض وزن خسارة الـ SSL.
- يضمن ذلك تركيز النموذج بشدة على مهمة التصنيف الأساسية في المراحل المتأخرة مع الاستفادة من الـ SSL لتحقيق التعميم في المراحل المبكرة.

ج. دالة الخسارة النهائية

تجمع الخسارة الإجمالية عدة مكونات:

الإنتروبيا المتقاطعة غير المتزامنة ( $L_{ACE}$ ): تُحسب فقط على الفئات الموجودة في الدفعة الحالية.
خسارة الـ SSL الديناميكية ( $L_{SSL}$ ): تُطبق على البيانات غير المصنفة مع وزن ديناميكي.
خسارة قيد اللوجيت ( $L_{LC}$ ): من XDER، للمساعدة في تمييز الفئات من مهام مختلفة.
إعادة عرض الميزات ( $L_{der}$ ): تستخدم ذاكرة مؤقتة صغيرة لإعادة عرض الميزات.
تقطير الميزات ( $L_{featureKD}$ ) وتقطير اللوجيت ( $L_{logitKD}$ ): خسائر التقطير متعددة المستويات المقترحة.

3. المساهمات الرئيسية

إطار عمل MLKD: استراتيجية تقطير مبتكرة تجمع بين عدة نماذج سابقة، وتحديثات EMA، وتقطير لوجيت قائم على الارتباط (باستخدام مصفوفات جرام) للتعامل مع تحولات التوزيع في البيانات غير المصنفة.
استراتيجية SSL الديناميكية: طريقة لدمج التعلم الذاتي في التعلم المستمر باستخدام مخطط وزن ديناميكي يوازن بين اللدونة والاستقرار بمرور الوقت.
حل CIR خالٍ من الاسترجاع: يثبت أنه يمكن تحقيق أداء عالٍ في سيناريو CIR دون الحاجة لتخزين نماذج (exemplars) مصنفة، والاعتماد بدلاً من ذلك على البيانات الخارجية غير المصنفة ونقل المعرفة الفعال.
الأداء في التحدي: حقق المركز الثاني في تحدي CVPR 2024 5th CLVISION.

4. النتائج التجريبية

أُجريت التجارب على مجموعة فرعية من ImageNet-1K (130 فئة: طيور، حيوانات بحرية، حشرات) مع تدفق لـ 50 مهمة. كان النموذج المستخدم هو ResNet-18 مع قيود صارمة على الذاكرة (200 نموذج/exemplar) والوقت.

مقارنة الأداء:
- الضبط الدقيق (Fine-tuning): 5.82% (نسيان كارثي شديد).
- النموذج الأساسي (Baseline): 19.54%.
- الأساسي + Dynamic SSL: 23.82%.
- الأساسي + MLKD: 39.82%.
- الطريقة الكاملة (طريقتنا): 42.00%.
دراسات الاستئصال (Ablation Studies):
- مكونات MLKD: أدى إضافة EMA، وتقطير اللوجيت القائم على الارتباط (CLKD)، والنماذج السابقة المتعددة (MPM) إلى تحسين الدقة تدريجياً من 39.40% (تقطير الميزات فقط) إلى 42.00%.
- عدد النماذج: حقق استخدام 3 نماذج سابقة التوازن الأمثل (42.00%)؛ بينما أدى استخدام 4 نماذج إلى انخفاض طفيف في الأداء بسبب التكرار.
- الوزن الديناميكي: أدى تطبيق الوزن الديناميكي على الـ SSL إلى تحسين الدقة من 40.76% (الوزن الثابت) إلى 42.00%.
- اختيار الـ SSL: تفوق توقع الدوران (Rotation Prediction) البسيط على طرق التباين المعقدة (SimCLR, SimSiam, VICReg)، ويرجع ذلك على الأرجح إلى قيود التحدي المتعلقة بحجم الدفعة ووقت التدريب.

5. الأهمية

هذا العمل مهم لمجال التعلم المستمر لأن:

القابلية للتطبيق في الواقع: يعالج سيناريو CIR، الذي يعكس بشكل أفضل تدفقات البيانات في العالم الحقيقي حيث تختلط الفئات القديمة والجديدة، مقارنة بافتراض الفئات المنفصلة المثالي في CIL التقليدي.
كفاءة الخصوصية والتخزين: من خلال إثبات أن البيانات الخارجية غير المصنفة يمكن أن تحل محل النماذج المصنفة المخزنة للحفاظ على المعرفة، يوفر الأسلوب حلاً قابلاً للتطبيق في البيئات الحساسة للخصوصية حيث يُمنع تخزين بيانات المستخدمين السابقة.
المتانة تجاه تحول التوزيع: يوفر استخدام مصفوفات جرام لتقطير اللوجيت آلية قوية لنقل المعرفة حتى عندما يختلف توزيع البيانات غير المصنفة بشكل كبير عن توزيع التدريب.
أداء رائد (SOTA): يضع الأسلوب المقترح معياراً جديداً للتعلم المستمر الخالي من الاسترجاع، موضحاً أن التكامل الدقيق بين التعلم الذاتي والتقطير متعدد المستويات يمكن أن يتفوق بشكل كبير على النماذج الأساسية القياسية.