ملخص تقني: PEP-FedPT

بيان المشكلة

تواجه التعلم الاتحادي (Federated Learning - FL) تحديات كبيرة عند تكييف نماذج المحولات الرؤية (Vision Transformers - ViTs) سابقة التدريب الضخمة مع المهام اللاحقة في ظل عدم تجانس البيانات. وبينما يوفر ضبط التلميح البصري (Visual Prompt Tuning - VPT) حلاً فعالاً من حيث المعلمات لضبط النموذج، إلا أن النهج الحالية تعاني في الموازنة بين التعميم (Generalization) والتخصيص (Personalization):

• ضبط التلميح العالمي (Global Prompt Tuning): تستخدم طرق مثل FedPR تلميحات مشتركة لجميع العملاء. ورغم أنها تتعمم بشكل جيد، إلا أنها تفشل في التكيف مع توزيعات بيانات العملاء شديدة التباين (non-iid)، مما يؤدي إلى "انحراف العميل" (client drift) وأداء دون المستوى الأمثل.
• ضبط التلميح المخصص (Personalized Prompt Tuning): تولد طرق مثل pFedPG تلميحات خاصة بكل عميل. ورغم أنها تتكيف جيداً مع البيانات المحلية، إلا أنها غالباً ما تعاني من الإفراط في التخصيص (overfitting)، مما يؤدي إلى ضعف القدرة على التعميم على العملاء غير المرئيين أو غير المشاركين. علاوة على ذلك، تفترض العديد من النهج المخصصة المشاركة الكاملة للعملاء في كل جولة، وهو أمر غير عملي في أنظمة التعلم الاتحادي الواقعية.
• النهج الهجينة الحالية (Existing Hybrid Approaches): تحاول طرق مثل SGPT سد هذه الفجوة باستخدام تلميحات خاصة بالمجموعات، لكنها تقدم تعقيداً في التحسين من خلال آليات اختيار غير قابلة للاشتقاق وعمليات تدريب ذات مرحلتين.

السؤال المركزي الذي يتم معالجته هو: هل يمكننا تحقيق تخصيص فعال بالاعتماد فقط على التلميحات المشتركة عالمياً؟

المنهجية: PEP-FedPT

يقترح المؤلفون PEP-FedPT (تقدير التلميح من النماذج الأولية لضبط التلميح الاتحادي)، وهو إطار عمل موحد يحقق التخصيص دون تخزين معاملات قابلة للتدريب تعتمد على العميل. الابتكار الجوهري هو التلميح المختلط السياقي للفئة (Class-Contextualized Mixed Prompt - CCMP).

1. بنية التلميح (Prompt Architecture)

يستخدم إطار العمل مجموعتين من المعلمات القابلة للتدريب المشتركة عالمياً عبر جميع العملاء:

• التلميحات المشتركة ($P_S$): تُدرج في الطبقة الأولى تماماً من نموذج ViT. وهي تلتقط التمثيلات منخفضة المستوى وغير المرتبطة بالفئات والمشتركة عبر المجال (manifold).
• التلميحات الخاصة بالفئة ($P_C$): مجموعة من التلميحات المقابلة لكل فئة، وتكون مشتركة عالمياً.

2. التلميح المختلط السياقي للفئة (CCMP)

بدلاً من إدراج تلميح ثابت واحد، يقوم PEP-FedPT بتوليد تلميح مختلط ($m$) لكل عينة مدخلة في الطبقات المتوسطة (تحديداً الطبقات 5 و6 و7 في التجارب). هذا التلميح المختلط هو مزيج ناعم (soft combination) من التلميحات العالمية الخاصة بالفئات، والموزونة بناءً على درجات مستمدة من:

• النماذج الأولية للفئات العالمية ($\mu$): مراكز الثقل المجمعة لتمثيلات رمز (CLS) لكل فئة، والتي يتم حسابها عن طريق متوسط رموز CLS لنقاط البيانات ضمن فئة معينة عبر العملاء. يتم تحديث هذه النماذج دورياً عبر المتوسط الاتحادي مع استخدام الزخم (momentum).
• الأولويات الفئوية للعميل ($\delta$): التوزيع التجريبي للتسميات (تكرار الفئات) الخاص ببيانات كل عميل محلي.

3. آلية خلط التلميح (Prompt Mixing Mechanism)

لكل مدخل $x$ عند العميل $k$، يقوم النظام بحساب متجه أوزان ناعم $s$ للتلميحات الخاصة بالفئات:

1. درجة التشابه: يتم حساب تشابه جيب التمام (cosine similarity) بين تمثيل رمز CLS للمدخل ($cls_{l-1}$) عند الطبقة $l$ والنماذج الأولية العالمية للفئات ($\mu$).
2. الوزن المرجح: يتم قياس هذه التشابهات بواسطة الأولويات الفئوية المحلية للعميل ($\delta$) ومعامل درجة الحرارة ($\tau$).
3. التطبيع (Normalization): يتم تطبيع الدرجات لتشكيل توزيع احتمالي.
4. الخلط: يتم حساب CCMP النهائي كمجموع مرجح للتلميحات العالمية الخاصة بالفئات: $m = P_C \times s$.

يسمح هذا لكل عميل بتخصيص التلميح ديناميكياً بناءً على توزيع بياناته المحلية والمدخل الحالي، باستخدام المعلومات العالمية فقط (التلميحات والنماذج الأولية) والإحصاءات المحلية (الأولويات)، دون نقل البيانات الخام أو أوزان النموذج الخاصة بالعميل.

4. الأسس النظرية

يقدم البحث مبررين نظريين لتصميم CCMP:

• تقليل الحد العلوي التربيعي (Quadratic Upper Bound Minimization): يثبت المؤلفون أن CCMP يقلل من حد علوي تربيعي لدالة الخسارة العالمية، بافتراض أن الخسارة سلسة ليبشيتز (Lipschitz smooth) وأن فضاء التلميح متراص (compact). استراتيجية الخلط المثلى تتماشى مع المتوسط المرجح لتلميحات الفئات بناءً على أولويات الفئات.
• مثالية الخطأ التربيعي المتوسط الأدنى (MMSE Optimality): يُظهر أن CCMP هو المقدر لـ "الخطأ التربيعي المتوسط الأدنى" (MMSE) لتمثيل الفئة الحقيقي بناءً على تمثيل رمز CLS الملاحظ.

المساهمات الرئيسية

1. إطار عمل موحد: تقديم PEP-FedPT، الذي يحسن بشكل مشترك التلميحات المشتركة والخاصة بالفئات لمعالجة عدم تجانس البيانات في التعلم الاتحادي لـ ViT، مما يحقق توازناً بين القدرة على التعميم والتخصيص.
2. استراتيجية خلط مبتكرة: تصميم CCMP، الذي يولد تلميحات لكل عينة كدالة للتلميحات العالمية الخاصة بالفئات، وتتم معالجتها بواسطة الأولويات الفئوية المحلية والنماذج الأولية العالمية. هذا يلغي الحاجة لتخزين التلميحات المحلية أو توليد تلميحات خاصة بالعميل من جانب الخادم.
3. رؤى نظرية: إثبات أن CCMP يقلل من حد علوي تربيعي للخسارة وأنه مثالي بمعنى MMSE.
4. التفوق التجريبي: التحقق الواسع من التفوق على النماذج المرجعية (baselines) في مختلف سيناريوهات عدم التجانس.

النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات CIFAR-100، و TinyImageNet، و DomainNet، و iNaturalist تحت ظروف مختلفة من عدم التجانس (التقسيمات المرضية وتوزيعات Dirichlet).

• الأداء: تفوق PEP-FedPT باستمرار على النماذج المرجعية (بما في ذلك FedVPT و FedPR و SGPT و pFedPG) من حيث متوسط الدقة وأسوأ دقة محلية.
  • في CIFAR-100 (التقسيم المرضي)، حقق متوسط دقة بنسبة 95.46%، متفوقاً على pFedPG (92.96%) و FedVPT-D (85.15%).
  • في TinyImageNet، حسن متوسط الدقة بنسبة 8.59% عن pFedPG.
• التعميم: في التقييمات المستبعدة (الاختبار على عملاء لم يشاركوا في التدريب)، حافظ PEP-FedPT على دقة عالية (93.71% على CIFar-100)، بينما فشلت الطرق المخصصة مثل pFedPG في التعميم (سُجلت كـ NA أو أقل بكثير).
• الكفاءة: تطلبت الطة عدداً أقل بكثير من جولات الاتصال (12 جولة للوصول إلى 8قة 83% على CIFAR-100) وحمولة اتصال أقل (4.6 مليون معلمة تم نقلها) مقارنة بـ SGPT (13 مليون) و FedVPT-D.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن الجمع بين التلميحات المشتركة و CCMP يحقق مكاسب كبيرة مقارنة باستخدام التلميحات المشتركة وحدها. كما أدى إدراج الأولويات الفئوية إلى تحسين الأداء بشكل أكبر، لا سيما في السيناريوهات المرضية.

الأهمية والادعاءات

يدعي البحث أن PEP-FedPT يضع أساساً قوياً لضبط التلميح الاتحادي الفعال والقابل للتعميم لـ Vision Transformers. تكمن أهميته الأساسية في حل المقايضة بين التخصيص والتعميم في التعلم الاتحادي:

• يحقق التخصيص من خلال الاستفادة من توزيعات البيانات المحلية (عبر الأولويات) لخلط التلميحات ديناميكياً.
• يحافظ على التعميم من خلال الاعتماد حصرياً على التلميحات والنماذج الأولية المشتركة عالمياً، مما يتجنب مشكلات الإفراط في التخصيص التي تعاني منها النماذج المخصصة بالكامل.
• يوفر القابلية للتوسع من خلال عدم اشتراط تخزين معاملات خاصة بكل عميل أو مشاركة كاملة للعميل، مما يجعله مناسباً للأجهزة الطرفية محدودة الموارد.

يشير المؤلفون إلى وجود قيود، وتحديداً أن الطريقة تعتمد على التقديرات التجريبية للأولويات الفئوية والنماذج الأولية، والتي قد تكون غير موثوقة في البيئات شبه الموجهة أو غير الموجهة، كما أن الميزة تتضاءل في توزيعات البيانات المتجانسة (IID) الصارمة حيث تتحول الطريقة فعلياً إلى Fed-VPT القياسي. ومع ذلك، في سياق التعلم الاتحادي غير المتجانس (non-IID)، يقدم النهج المقترح حلاً قوياً، ذا أساس نظري، ومتفوقاً تجريبياً.