💻 computer science

Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

تقترح هذه الورقة PRINCE، وهي آلية حوافز سعرية مبتكرة تنسق بين الأجهزة ذات المصالح الذاتية عبر مستأجرين متعددين للتعلم الاتحادي المنقسم لتنفيذ الضبط الدقيق لنماذج تأسيسية متنوعة بكفاءة عند حافة الشبكة، وذلك عبر الجمع بين التجميع المقاوم للانحياز، وتقييم المساهمة الموجه بالتقارب، وتحسين الاستراتيجية القائم على توازن ستيكلبرج.

المؤلفون الأصليون: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

نُشر 2026-01-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً توجد فيه عقول ذكاء اصطناعي عملاقة وفائقة الذكاء (تُسمى نماذج التأسيس - Foundation Models)، تشبه شيفاً فائق الذكاء يعرف كيفية طهي كل طبق في العالم. لكن هذا الشيف كبير ومكلف للغاية بحيث لا يمكن أن يتسع له مطبخ واحد (هاتفك أو ساعتك الذكية). لتعليم هذا الشيف وصفة جديدة محددة (مثل "كيفية صنع البيتزا المثالية" أو "كيفية فهم اللهجات التركية")، عليك تدريبه.

عادةً، يتطلب تدريب هذه العمالقة حواسيب ضخمة لا يملكها الأشخاص العاديون. كما أنك لا تريد إرسال صورك الخاصة أو ملاحظاتك الصوتية إلى خادم مركزي للقيام بالتدريب؛ بل تريد إبقاء بياناتك على جهازك الخاص.

المشكلة: "شد الحبل" من أجل المساعدين
يقدم هذا البحث نظاماً يسمى التعلم الفيدرالي المنقسم (Split Federated Learning - SFL). فكر في الأمر كعمل جماعي:

أنت (الجهاز المحلي): تقوم بأعمال التحضير الأولية السهلة (مثل تقطيع الخضروات).
خادم الحافة (Edge Server - كمبيوتر قوي قريب منك): يقوم بالمهام الشاقة (مثل طهي الصلصة المعقدة).
أنت لا ترسل مكوناتك الخام (البيانات الخاصة) إلى الخادم؛ بل ترسل فقط الخضروات المقطعة (النتائج الوسيطة).

ومع ذلك، هناك عقبة؛ ففي العالم الحقيقي، لا يوجد شيف واحد فقط يحتاج إلى المساعدة. هناك مستأجرون متعددون (شركات أو تطبيقات مختلفة) يحاولون جميعاً تدريب نماذج الذكاء الاصطناعي الخاصة بهم في نفس الوقت باستخدام نفس مجموعة الأجهزة المحلية (هاتفك، ساعتك، مكبر صوتك الذكي).

المستأجر (أ): يريد تدريب ذكاء اصطناعي للتعرف على صور الطعام.
المستأجر (ب): يريد تدريب ذكاء اصطناعي لتحليل مشاعر النصوص.
المستأجر (ج): يريد تدريب ذكاء اصطناٍ لنسخ الكلام (تحويل الكلام إلى نص).

كل هؤلاء المستأجرين يتنافسون على جذب انتباه جهازك. لكن جهازك "أنانِيّ" (بطريقة ذكية): فهو لا يريد العمل مجاناً؛ إذ لديه بطارية وطاقة محدودة. إذا عرض المستأجر (أ) دولاراً واحداً وعرض المستأجر (ب) 5 دولارات، فسيختار جهازك بطبيعة الحال المستأجر (ب).

يجادل البحث بأن الأساليب الحالية سيئة في هذا الصدد؛ فهي إما تتجاهل المنافسة بين المستأجرين أو تفشل في دفع المبلغ المناسب للأجهزة للحصول على أفضل النتائج. وهذا يؤدي إلى مشكلتين:

الانحياز: إذا قامت أجهزة معينة فقط بكل العمل، فسيصبح نموذج الذكاء الاصطناعي منحازاً (مثل شيف تعلم الطهي فقط من وصفات منطقة معينة).
عدم الكفاءة: يستغرق الذكاء الاصطناعي وقتاً طويلاً جداً للتعلم لأن الأجهزة الخطأ هي التي تعمل، أو لأن عدد الأجهزة التي تعمل غير كافٍ.

الحل: PRINCE (آلية الحوافز السعرية)
يقترح المؤلفون نظاماً جديداً يسمى PRINCE (آلية الحوافز السعرية). وإليك كيف يعمل، باستخدام تشبيه بسيط:

1. دار المزاد (اللعبة)
تخيل سوقاً حيث يحاول عدة ملاك عقارات (المستأجرون/الشركات) تأجير شققهم لمجموعة من المستأجرين (الأجهزة).

الملاك يريدون أفضل المستأجرين للحفاظ على نظافة مبانيهم وسعادتهم.
المستأجرون يريدون أعلى إيجار ولكنهم لا يريدون القيام بالكثير من العمل.
يعمل PRINCE كدلال مزاد ذكي؛ فهو يحسب بالضبط المبلغ الذي يجب على كل مالك عقار دفعه لكل مستأجر لتحقيق التوازن المثالي. إنه يضمن عدم تهميش أي مالك عقار، ويضمن تحفيز المستأجرين للعمل بجد.

2. قاعدة "العدالة" (التجميع المقاوم للانحياز)
في الماضي، إذا شارك جهاز بنسبة 50% فقط من الوقت، فغالباً ما كانت مساهمته تُتجاهل أو تُحسب بشكل غير صحيح، مما يفسد نموذج الذكاء الاصطناعي النهائي.

خدعة PRINCE: يستخدم صيغة رياضية خاصة (مثل "فلتر العدالة") تقول: "حتى لو حضرت نصف الوقت فقط، فسنحتسب مساهمتك كما لو كنت حاضراً طوال الوقت، لكننا سنعدل الرياضيات بحيث لا تضطرب النتيجة النهائية". هذا يضمن أن يتعلم الذكاء الاصطناعي بشكل صحيح حتى لو كانت الأجهزة مشغولة أو تنضم أحياناً فقط.

3. درجة "المساهمة"
قبل بدء التدريب، يتنبأ PRINCE بمدى مساعدة جهاز معين. هو لا ينتظر حتى النهاية ليرى من كان جيداً، بل يقدر ذلك مسبقاً بناءً على قوة الجهاز وجودة بياناته. يساعد هذا الملاك (الشركات) على تحديد المبلغ الذي يجب دفعه بدقة للحصول على أفضل المساعدين.

النتائج: السرعة والعدالة
اختبر المؤلفون هذا النظام مع أربعة أنواع مختلفة من مهام الذكاء الاصطناعي (التعرف على صور الطعام، تحليل النصوص، نسخ الكلام، والإجابة على الأسئلة) باستخدام 100 جهاز محاكى.

السرعة: جعل PRINCE تدريب الذكاء الاصطناعي أسرع بـ 3 مرات من أفضل الأساليب الموجودة حالياً. إنه يشبه الانتقال من طريق ريفي ضيق ومتعرج إلى طريق سريع.
الدقة: حقق باستمرار الأهداف المطلوبة (مثل الوصول إلى دقة 90% في التعرف على الصور) في الحالات التي فشلت فيها الطرق الأخرى أو استغرقت وقتاً طويلاً جداً.
التوازن: ضمن حصول جميع "الملاك" الأربعة على حصة عادلة من "المستأجرين"، بحيث لا يتم ترك أي نموذج ذكاء اصطناعي خلف الركب بينما يحصل نموذج آخر على كل المساعدة.

باخت طصار
يحل هذا البحث مشكلة "كثرة الطهاة في المطبخ الواحد". فهو يبتكر نظام دفع ذكي يسمح لمشاريع الذكاء الاصطناعي المختلفة بالتنافس بشكل عادل على مساعدة أجهزتك الشخصية. ومن خلال دفع المبلغ المناسب للأجهزة المناسبة واستخدام خدعة رياضية خاصة للحفاظ على عدم انحياز التعلم، فإنه يجعل تدريب نماذج الذكاء الاصطناعي العملاقة على "حافة الشبكة" (أي على أجهزتك المحلية) أسرع وأكثر عدلاً وكفاءة.

ملخص تقني: تحفيز التعلم الاتحادي المنقسم متعدد المستأجرين للنماذج التأسيسية عند حافة الشبكة

بيان المشكلة
تتطلب النماذج التأسيسية (FMs) مثل GPT-4 وBERT وLLaMA ضبطاً دقيقاً مكثفاً على بيانات متخصصة في مجالات معينة لتحقيق أداء عالٍ في المهام اللاحقة. ومع ذلك، تفتقر الأجهزة المحلية (مثل الهواتف الذكية والساعات الذكية) غالباً إلى الموارد الحسابية اللازمة للضبط الدقيق لكامل المعلمات (full-parameter fine-tuning)، بينما تمنع مخاوف الخصوصية خروج البيانات من الجهاز. يعالج التعلم الاتحادي المنقسم (SFL) هذه المشكلة عن طريق نقل جزء من العمليات الحسابية إلى خوادم الحافة، مما يتيح الضبط الدقيق التآزري بين الجهاز والحافة.

بينما يركز بحث التعلم الاتحادي المنقسم الحالي على سيناريوهات المستأجر الواحد، فإن شبكات الحافة العملية تستضيف بشكل متزايد مستأجرين متعددين يتنافسون على نفس مجموعة الأجهزة المحلية لدعم مهام متنوعة لاحقة (مثل تصنيف الصور، تحليل المشاعر، وتحويل الكلام إلى نص). يفرض هذا البيئة متعددة المستأجرين ثلاثة تحديات حرجة:

المشاركة المستقلة للأجهزة: تختار الأجهزة المحلية ذات المصلحة الذاتية المهام بناءً على الحوافز، مما قد يؤدي إلى انحياز البيانات حيث تهيمن مجموعة فرعية من الأجهزة على مهام محددة.
تقييم مساهمة الأجهزة: يصعب التنبؤ بمدى تأثير مستوى مشاركة الجهاز على أداء النموذج التأسيسي النهائي قبل اكتمال عملية التدريب، مما يعيق تصميم استراتيجيات تحفيز فعالة.
التنافس بين المستأجرين: يتنافس مستأجرون متعددون على الأجهزة عالية الجودة، مما يتطلب آلية لموازنة المشاركة وضمان الأداء العادل لجميع المستأجرين.

إن آليات التحفيز الحالية مصممة إلى حد كبير للتعلم الاتحادي (FL) أو التعلم الاتحادي المنقسم القياسي (SFL) ذي المستأجر الواحد، وتفتقر إلى الاستراتيجيات المصممة خصيصاً لتنسيق الأجهزة ذات المصلحة الذاتية عبر مهام الضبط الدقيق للنماذج التأسيسية متعددة المستأجرين.

المنهجية
يقترح المؤلفون إطار عمل PRINCE (آلية حافز السعر)، وهو إطار مبتكر مصمم لتوجيه مستأجري SFL المتعددين في تقديم حوافز سعرية استراتيجية لاستقطاب مشاركة الأجهزة عالية الجودة. تعتمد المنهجية على ثلاث مكونات أساسية:

تجميع SFL عالمي مقاوم للانحياز:
لمعالجة المشاركة المستقلة للأجهزة، يقدم البحث مخطط تجميع نموذج عالمي غير منحاز. وخلافاً لـ FedAvg القياسي الذي يفترض المشاركة الكاملة، يقوم هذا المخطط بإعادة وزن تحديثات النماذج من الأجهزة المشاركة باستخدام مقلوب احتمالات مشاركتها ( $1/q_{i,j}$ ). يضمن ذلك بقاء النموذج التأسيسي العالمي غير منحاز تجاه سيناريو المشاركة الكاملة للأجهزة، حتى عندما تنضم الأجهزة للمهام بشكل احتمالي.
حد تقارب SFL لتقييم المساهمة:
لحل تحدي تقييم مساهمات الأجهزة دون إكمال التدريب، اشتق المؤلفون حداً رياضياً دقيقاً لتقارب SFL. يرتبط هذا الحد تحليلياً بخسارة النموذج التأسسي العالمي المتوقعة ( $q_{i,j}$ )، وعدم تجانس البيانات المحلية، وحجم التدرجات. يعمل هذا الحد النظري كبديل للخسارة العالمية المتوقعة، مما يسمح لمستأجري SFL بتقدير تأثير استراتيجيات التسعير المختلفة على أداء النموذج التأسيسي قبل التنفيذ.
نمذجة لعبة ستيكلبيرج ولعبة الازدحام:
تتم نمذجة التفاعل بين مستأجري SFL والأجهزة المحلية كلعبة ستيكلبيرج متعددة القادة ومتعددة التابعين (Multi-Leader Multi-Follower Stackelberg Game):

القادة (مستأجرو SFL): يحددون استراتيجيات التسعير المثلى ( $P_i$ ) لتقليل خسارة النموذج التأسسي العالمي المتوقعة ضمن ميزانية دفع محددة.
التابعون (الأجهزة المحلية): يستجيبون باختيار مستويات المشاركة ( $q_{i,j}$ ) لمهام مختلفة لتعظيم منفعتهم (الدفع ناقص تكلفة الحوسبة).
التنافس بين المستأجرين: يتم نمذجة التنافس بين المستأجرين على الأجهزة المشتركة كلعبة ازدحام (Congestion Game). يقوم المستأجرون بتعديل استراتيجيات التسعير الخاصة بهم بشكل تكراري لتحسين خسارتهم العالمية، وصولاً إلى توازن ناش (NE) ضمن لعبة الازدحام، والذي يتوافق مع توازن ستيكلبيرج (SE) للنظام بأكمله.

تم اقتراح خوارزمية لامركزية لتنفيذ هذه اللعبة، حيث يقوم المستأجرون والأجهزة بتحديث استراتيجياتهم بشكل تكراري حتى الوصول إلى توازن ستيكلبيرج (SE).

المساهمات الرئيسية

أول استكشاف لـ SFL متعدد المستأجرين للنماذج التأسيسية: يعد هذا البحث الأول الذي يستكشف آليات تحفيز فعالة لـ SFL متعدد المستأجرين مصممة خصيصاً للضبط الدقيق للنماذج التأسيسية عبر نماذج بيانات متنوعة (النصوص، الصور، والصوت).
تصميم مقاوم للانحياز: قدم البحث مخطط تجميع عالمي يلغي انحيازات النماذج الناتجة عن المشاركة الاحتمالية والمستقلة للأجهزة.
حد تقارب نظري: يوفر اشتقاق حد تقارب SFL الصارم أداة تحليلية للمستأجرين لتقييم مساهمات الأجهزة وتصميم استراتيجيات التسعير دون معرفة مسبقة بالأداء النهائي للنموذج.
آلية PRINCE: تطوير خوارزمية لامركزية لتحفيز السعر تعتمد على نظرية لعبة ستيكلبيرج ولعبة الازدحام، والتي تحقق تقارباً في زمن محدد نحو التوازن الأمثل، مما يوازن بين التنافس بين المستأجرين وحوافز الأجهزة.

النتائج التجريبية
قيم المؤلفون آلية PRINCE باستخدام عمليات محاكاة لأربعة مستأجري SFL ممثلين (ViT لتصنيف الصور، BERT لتحليل المشاعر، Whisper لتحويل الكلام إلى نص، وLLaMA للإجابة على الأسئلة) عبر 100 جهاز محلي.

تسريع الأداء: سرعت PRINCE عملية الضبط الدقيق للنماذج التأسيسية بما يصل إلى 3.07 ضعفاً مقارنة بالأساليب الرائدة (FedPEPE، FAIR، وMSDA).
دقة الهدف: حققت PRINICE باستمرار مستهدفات الأداء لجميع المهام اللاحقة. وفي المقابل، فشلت المعايير المرجعية مثل FAIR وMSDA في الوصول إلى دقة الأهداف لمهام محددة (مثل الإجابة على الأسئلة وتحويل الكلام إلى نص) ضمن المواعيد النهائية المعقولة.
المقارنة مع FL: مقارنة بالتعلم الاتحادي الكلاسيكي (FedPEFT)، حققت PRINCE دقة الهدف بشكل أسرع بنسبة 31.36% في المتوسط، مما يسلط الض الضوء على كفاءة التآزر بين الجهاز والحافة في SFL لأعباء عمل النماذج التأسيسية المحدودة الموارد.
المتانة: حافظت الآلية على تحسين متوازن عبر المستأجرين وأظهرت تقارباً في زمن محدد (بمتوسط 42 تكراراً) بغض النظر عن حجم النظام.

الأهمية
يزعم البحث أن PRINCE توفر أساساً متيناً للتبني الواسع لـ SFL في شبكات الحافة لضبط النماذج التأسيسية. ومن خلال معالجة التعقيدات المحددة للبيئات متعددة المستأجرين — وتحديداً سلوك الأجهزة المستقل، وتقييم المساهمة، والتنافس بين المستأجرين — تضمن آلية PRINCE تنفيذ المهام اللاحية المتنوعة بكفاءة وعدالة مع الحفاظ على خصوصية البيانات. يعمل هذا العمل على سد الفجوة بين تصميم الحواف النظرية والمتطلبات العملية لنشر الذكاء الاصطناعي واسع النطاق والمحافظ على الخصوصية عند حافة الشبكة.

أبحاث مشابهة