🤖 machine learning

C^2Prompt: Class-aware Client Knowledge Interaction for Federated Continual Learning

تقترح هذه الورقة البحثية C²Prompt، وهي طريقة تعلم مستمر اتحادية مبتكرة تخفف من النسيان الزماني والمكاني عبر إدخال آلية تعويض لتوزيع الفئات المحلية ومخطط تجميع محفز مدرك للفئات لتعزيز تماسك المعرفة لكل فئة عبر العملاء الموزعين.

المؤلفون الأصليون: Kunlun Xu, Yibo Feng, Jiangmeng Li, Yongsheng Qi, Jiahuan Zhou

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kunlun Xu, Yibo Feng, Jiangmeng Li, Yongsheng Qi, Jiahuan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مدرسة ضخمة وعالمية حيث يتوزع الطلاب (العملاء) في جميع أنحاء العالم، ويحاول مدير المدرسة (الخادم) تعليمهم جميعاً في وقت واحد. ومع ذلك، هناك قاعدتان عظيمتان:

الخصوصية: لا يمكن للطلاب مشاركة دفاتر ملاحظاتهم أو واجباتهم المدرسية مع أي شخص؛ يجب عليهم الحفاظ على خصوصية بياناتهم.
التعلم المستمر: المنهج الدراسي يتغير كل أسبوع. أسبوع عن القطط، والأسبوع التالي عن السيارات، ثم الطائرات.

الهدف هو أن يصنع المدير "عقلاً خارقاً" يعرف كل شيء عن هذه المواضيع دون أن ينسى المواضيع القديمة، حتى وإن كان الطلاب يتعلمون أشياء مختلفة في أوقات وطرق مختلفة.

هذا هو تحدي التعلم الاتحادي المستمر (FCL). تقترح الورقة البحثية التي قدمتها، C²Prompt، طريقة عبقرية جديدة لحل أكبر مشكلتين في هذا السيناريو: النسيان (نسيان الدروس القديمة) والارتباك (خلط الدروس الجديدة بالقديمة).

إليك كيف تحل الورقة البحثية هذه المشكلة، باستخدام تشبيهات بسيطة:

المشكلة: "الفصل الدراسي الفوضوي"

في الطرق السابقة، عندما كان المدير يحاول دمج معرفة الطلاب، كان يحدث أمران خاطئان:

مشكلة "اللهجات المختلفة" (فجوة التوزيع داخل الفئة):
تخيل درس "القطط". الطالب (أ) في اليابان لا يرى سوى القطط الفارسية المنفوشة. الطالب (ب) في البرازيل لا يرى سوى قطط الشوارق الضالة. عندما يحاولان تعليم المدير ماهية "القط"، تكون أوصافهما مختلفة جداً لدرجة أن المدير يصاب بالارتباك. لا يمكنهما الاتفاق على شكل القطة الحقيقي.

النتيجة: تصبح معرفة "القطط" ضعيفة وضبابية.

مشكلة "المعلم الخاطئ" (ارتباط المحفزات بين الفئات):
تخيل أن المدير يحاول دمج ملاحظات حول "القطط" و"السيارات". ولأن الطلاب مرتبكون بشأن ماهية "القط"، فإنهم يخلطون بالخطأ ملاحظات عن "السيارات" أثناء الحديث عن القطط. يقوم المدير بعد ذلك بمحاولة دمج هذه الملاحظات الفوضوية، فتتلوث معرفة "القطط" بمعرفة "السيارات".

النتيجة: ينسى النموذج المهام القديمة لأن المعلومات الجديدة تتصادم معها.

الحل: C²Prompt (نظام "الوعي بالفئة")

ابتكر المؤلفون، كونلون شو وفريقه، نظاماً يسمى C²Prompt. فكر في الأمر كمنح الطلاب أداتين خاصتين لإصلاح فوضى الفصل الدراسي.

الأداة الأولى: "المترجم العالمي" (تعويض توزيع الفئة المحلي)

التشبيه:
قبل أن يبدأ الطلاب درسناهم الأسبوعي، يرسل لهم المدير "ورقة غش عالمية". تقول هذه الورقة: "حسناً، عالمياً، القطة هي بنسبة 50% منفوشة و50% خشنة الشعر".

كيف تعمل: إذا حصل الطالب (أ) (الذي لا يرى سوى القطط المنفوشة) على هذه الورقة، فإنه يدرك: "أوه، أحتاج لتعديل فهمي ليشمل القطط الخشنة أيضاً". يقوم بتعديل نموذله الذهني ليتوافق مع المتوسط العالمي قبل أن يبدأ حتى في تعلم المهمة الجديدة.
الفائدة: الآن، عندما يتحدث الطالب (أ) والطالب (ب) مع المدير، فإنهما يتحدثان نفس "لغة القطط". الفجوة بين لهجاتهما المختلفة قد أُغلقت.

الأداة الثانية: "أمين المكتبة الذكي" (تجميع المحفزات الواعية بالفئة)

التشبيه:
بعد أن ينهي الطلاب دروسهم، يرسلون ملاحظاتهم إلى المدير. في الأيام الخوالي، كان المدير يلقي بكل الملاحظات في كومة واحدة ويمزجها معاً (مثل العصير المخلوط/Smoothie). إذا كتب طالب بالخطأ عن "السيارات" في كومة "القطط"، فإن العصير بأكه سيصبح طعمه مثل البنزين.

كيف تعمل: يستخدم النظام الجديد أميناً ذكياً للمكتبة. قبل خلط الملاحظات، يقوم الأمين بفحص "العلامات" (Tags) الموجودة على كل صفحة.
- "هل هذه الملاحظة عن القطط؟" -> نعم، ضعها في سلة القطط.
- "هل هذه الملاحظة في الواقع عن السيارات؟" -> لا، ابقها خارج سلة القطط.
  الأمين يخلط فقط الملاحظات ذات الصلة بموضوع محدد.
الفائدة: تظل معرفة "القطط" نقية. لا تتلوث بمعرفة "السيارات". هذا يمنع النموذج من الارتباك ونسيان ما تعلمه بالأمس.

النتيجة: "الطالب الخارق"

باستخدام هاتين الأداتين، يحقق نظام C²Prompt ثلاثة أشياء مذهلة:

يتذكر كل شيء: لا ينسى الدروس القديمة (النسيان الزمني) لأن المعرفة لا تختلط ببعضها.
يفهم الجميع: يتعامل مع طلاب من خلفيات مختلفة (النسيان المكاني) لأن "المترجم العالمي" يوحد رؤاهم.
يتعلم بشكل أسرع: لأن الملاحظات نظيفة ومنظمة، يمكن للمدير تعلم مواضيع جديدة بكفاءة أكبر بكثير.

لماذا يهم هذا في العالم الحقيقي؟

تخيل شبكة مستشفيات حيث تتعلم المستشفيات المختلفة تشخيص أمراض جديدة.

الخصوصية: لا يمكنهم مشاركة سجلات المرضى.
التعلم المستمر: قد يظهر فيروس جديد غداً، ويحتاجون لتعلمه فوراً دون نسيان كيفية علاج الإنفلونزا من العام الماضي.
C²Prompt: يضمن هذا النظام أن المستشفى (أ) (في منطقة ريفية) والمستشفى (ب) (في مدينة) يمكنهما التعلم معاً بفعالية، حتى لو كانت مجموعات المرضى لديهما تبدو مختلفة، ودون خلط أعراض الإنفلونزا مع الفيروس الجديد.

باختختصار: C²Prompt يشبه مجموعة دراسية فائقة التنظيم تضمن أن الجميع يتحدثون نفس اللغة وأنهم لا يشاركون إلا الملاحظات الصحيحة، مما يؤدي إلى مجموعة تتعلم بشكل أسرع، وتتذكر أكثر، ولا ترتبك أبداً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "C²Prompt: Class-aware Client Knowledge Interaction for Federated Continual Learning".

1. بيان المشكلة

يهدف التعلم المستمر الموحد (Federated Continual Learning - FCL) إلى تمكين العملاء الموزعين من التعلم من تدفقات المهام الناشئة باستمرار مع الحفاظ على خصوصية البيانات. ومع ذلك، يواجه الـ FCL تحدياً مزدوجاً:

النسيان الزمني (Temporal Forgetting): ينسى النموذج المهام التي تعلمها سابقاً مع تقديم مهام جديدة.
النسيان المكاني (Spatial Forgetting): يعاني النموذج من صعوبة في التكيف مع توزيعات البيانات غير المتجانسة عبر مختلف العملاء (بيانات Non-IID).

تحاول أساليب الـ FCL القائمة على "المحفزات" (Prompts) التخفيف من هذه المشكلات عن طريق نقل المحفزات الخاصة بالمهام بين العملاء والخادم المركزي. ومع ذلك، حدد المؤلفون خللاً حرجاً في النهج الحالي وهو: تماسك المعرفة على مستوى الفئات (Class-wise Knowledge Coherence). يتجلى هذا النقص في التماسك بطريقتين:

فجوة التوزيع داخل الفئة الواحدة (Intra-class Distribution Gap): يمتلك العملاء المختلفون توزيعات محلية متفاوتة لنفس الفئة. عند تجميع المحفزات، تؤدي هذه الفجوة إلى تدهور الدلالات (Semantics) المتعلمة، مما يجعل المحفز العالمي عبارة عن "متوسط مشوش" لا يناسب أي عميل بشكل جيد.
الارتباط بين المحفزات على مستوى الفئة (Inter-prompt Class-wise Relevance): غالباً ما تحتوي المحفزات من عملاء مختلفين على معرفة متضاربة حول العلاقات بين الفئات. يؤدي تجميعها دون مراعوة الصلة بالفئة إلى ارتباك المعرفة والتداخل مع المحفزات التاريخية، مما يفاقم كلاً من النسيان المكاني والزمني.

2. المنهجية: C²Prompt

يقترح المؤلفون إطار عمل C²Prompt (التفاعل المعرفي للعميل المدرك للفئة)، وهو مصمم لتعزيز تماسك المعرفة على مستوى الفئة صراحةً أثناء تواصل المحفزات. يعمل هذا الأسلوب في مرحلتين رئيسيتين لكل مرحلة تدريب ويتكون من أربع وحدات أساسية (كما هو موضح في الشكل 2 من الورقة):

أ. تقدير توزيع الفئة العالمي (Global Class Distribution Estimation)

في بداية مرحلة مهمة جديدة (الجولة 0)، يحسب العملاء الإحصائيات المحلية للفئات (المتوسط والانحراف المعياري) لبياناتهم. يتم رفع هذه الإحصائيات إلى الخادم، الذي يقوم بتجميعها باستخدام نظرية الاحتمالات لتقدير توزيع الفئة العالمي لكل فئة. يعمل هذا التوزيع العالمي كمرجع لمواءمة العملاء المحليين.

ب. تعويض التوزيع المحلي للفئة (Local Class Distribution Compensation - LCDC)

لمعالجة فجوة التوزيع داخل الفئة الواحدة، يقدم C²Prompt آلية تعويض التوزيع المحلي للفئة.

الآلية: يتعلم العملاء مجموعة من "محفزات التعويض" ( $P^c_{t,k}$ ) المصممة خصيصاً لإزاحة توزيع الميزات المحلية لفئة ما لتتماشى مع التوزيع العالمي المقدر.
دالة الخسارة: تُستخدم دالة خسارة الإنتروبيا المتقاطعة القائمة على التوزيع ( $L_c$ ) لتعظيم احتمالية الميزات المحلية تحت التوزيع الغاوسي العالمي.
الأثر: يضمن ذلك أن التمثيل الدلالي لفئة ما (مثل "سيارة") يكون متسقاً عبر جميع العملاء قبل بدء التعلم التمييزي، مما يقلل من "الفجوة التوزيعية" التي تسبب صراعات المعرفة.

ج. تعلم التمييز المحلي (Local Discriminativity Learning)

بمجرد تدريب محفزات التعويض وتجميدها، يتعلم العملاء محفزات التمييز ( $P^d_{t,k}$ ) لاكتساب معرفة المهمة الجديدة.

العملية: يستخدم النموذج كلاً من محفزات التعويض (لضمان الاتساق العالمي) والمحفزات التمييزية (لتعلم ميزات المهمة المحددة).
تسجيل المدرج التكراري (Histogram Recording): أثناء التدريب المحلي، يسجل العملاء مدرجاً تكرارياً للحالات ( $H_k$ ) لكل محفز، يتتبع درجة التقارب (درجة التشابه) بين المحفزات وفئات محددة. هذا يلتقط مدى صلة المحفز بفئة معينة محلياً.

د. تجميع المحفزات المدرك للفئة (Class-aware Prompt Aggregation - CPA)

لمعالجة الارتباط بين المحفزات على مستوى الفئة، يقوم الخادم بتنفيذ مخطط تجميع المحفزات المدرك للفئة بدلاً من التوسيط البسيط.

الآلية: يجمع الخادم المدرجات التكرارية للعملاء لحساب مصفوفة الارتباط بين المحفزات. تقدر هذه المصفوفة صلة المحفزات من العملاء المختلفين بناءً على تقاربها مع الفئات.
التجميع: يتم تجميع المحفزات باستخدام أوزان ديناميكية مشتقة من مصفوفة الارتباط هذه. يتم تعزيز المحفزات التي تشترك في صلة عالية بالفئة، بينما يتم كبح المعرفة المتضاربة أو غير ذات الصلة.
الأثر: يعمل هذا على تعزيز تجميع المعرفة ذات الصلة بالفئة بشكل انتقائي، مما يمنع دمج الدلالات المتضاربة ويقلل التداخل مع المهام القديمة.

3. المساهمات الرئيسية

إطار عمل C²Prompt: منهج خالٍ من الأمثلة (exemplar-free) يقلل في آن واحد من النسيان الزمني والمكاني من خلال نمذجة تماسك المعرفة على مستوى الفئة صراحةً.
تعويض التوزيع المحلي للفئة (LCDC): آلية مبتكرة تنقل الدلالات المحلية إلى النطاق العالمي، مما يحسن بشكل كبير الاتساق داخل الفئة عبر العملاء غير المتجانسين.
تجميع المحفزات المدرك للفئة (CPA): مخطط يستخدم تقارب الفئات لتقدير الصلة بين المحفزات، مما يولد أوزاناً ديناميكية لتخفيف صراعات المعرفة أثناء التجميع في جانب الخادم.
أداء رائد (State-of-the-Art): يحقق الأسلوب نتائج متفوقة على عدة معايير لـ FCL دون الحاجة لتخزين البيانات الخام أو النماذج التوليدية.

4. النتائج التجريبية

قام المؤلفون بتقييم C²Prompt على ثلاثة معايير قياسية: ImageNet-R، و DomainNet، و CIFAR-100.

مقاييس الأداء: يتفوق الأسلوب على النماذج المرجعية (Baselines) الرائدة (بما في ذلك Powder و Fed-CODAP و Fed-L2P والأساليب القائمة على LoRA) عبر جميع المقاييس:
- متوسط الدقة (Avg): تحسن بنسبة 2.51% في ImageNet-R و 2.90% في DomainNet مقارنة بأفضل نموذج سابق (Powder).
- مقياس النسيان (FM): حقق معدلات نسيان سالبة (مما يشير إلى أن المهام الجديدة ساعدت المهام القديمة) في مجموعات البيانات الصغيرة، وأقل معدل نسيان في مجموعات البيانات الكبيرة.
- القابلية للنقل (Transferability): أظهر تحسناً كبيراً في النقل الأمامي (FT) والنقل المشترك (CT)، مما يدل على تراكم أفضل للمعرفة.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من وحدتي LCDC أو CPA إلى انخفاض في الأداء، مما يؤكد أن كلاً من تعويض التوزيع وتجميع الفئات ضروريان ومتكاملان.
الكفاءة: يحافظ C²Prompt على تكلفة اتصالات منخفضة (مماثلة لـ Powder) ويضيف حِملاً ضئيلاً على المعلمات، حيث أن عدد محفزات التعويض قليل مقارنة بالمحفزات التمييزية.
التصور (Visualization): تظهر خرائط الانتباه أن C²Prompt يركز بشكل أكثر فعالية على المناطق التمييزية للصور مقارنة بالنماذج المرجعية، التي غالباً ما تركز على ميزات غير ذات صلة بالفئة.

5. الأهمية

تعالج هذه الورقة عقبة أساسية في التعلم المستمر الموحد: صراع المعرفة الناتج عن تجميع المحفزات عبر العملاء الذين لديهم بيانات غير متجانسة (Non-IID).

الرؤية النظرية: تسلط الضوء على أن تجميع المحفزات القياسي يفشل لأنه يتجاهل التماسك على مستوى الفئة للمعرفة التي يتم مشاركتها.
الأثر العملي: من خلال فصل محاذاة التوزيع (LCDC) عن التعلم التمييزي واستخدام التجميع المدرك للفئة (CPA)، يتيح C²Prompt تعلماً قوياً وطويل الأمد في بيئات موزعة تحافظ على الخصوصية دون التكلفة الحسابية العالية لإعادة التشغيل التوليدي (Generative Replay) أو الضبط الدقيق الكامل.
التطبيقات الأوسع: هذا النهج ذو صلة خاصة بسيناريوهات الحوسبة الطرفية (مثل إنترنت الأشياء والأجهزة المحمولة) حيث تكون البيانات غير متجانسة للغاية، والخصوصية ذات أهمية قصوى، ويجب أن تتكيف النماذج باستمرار مع المهام الجديدة.