🤖 machine learning

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

يعالج FedProxy تحديات حماية الملكية الفكرية، وضمان الخصوصية، وتخفيف فقدان الأداء في الضبط الدقيق للنماذج اللغوية الكبيرة عبر التعلم الاتحادي من خلال تقديم إطار عمل يستخدم نموذجاً لغوياً صغيراً وسيطاً (Proxy SLM) قوياً ومضغوطاً كبديل عالي الدقة للتدريب التعاوني، يليه آلية دمج خالية من التدريب لتحقيق أداء يقارب أداء التدريب المركزي.

المؤلفون الأصليون: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيف عبقرياً (النموذج اللغوي الكبير، أو LLM) يعرف كيفية طهي كل طبق في العالم. هذا الشيف موهوب للغاية لدرجة أنه سرٌ محمي بعناية من قبل سلسلة مطاعم شهيرة (الخادم/Server).

الآن، تخيل أنك تريد من هذا الشيف أن يتعلم كيفية طهي الأطباق المحلية والإقليمية باستخدام وصفات من آلاف الطهاة المنزليين (العملاء/Clients) الذين يعيشون في مناطق مختلفة من العالم.

إليك المشكلة:

سر الشيف: لن يسمح المطعم للطهاة المنزليين برؤية كتاب الوصفات الرئيسي الخاص بالشيف (حماية الملكية الفكرية).
خصوصية الطهاة المنزليين: لا يريد الطهاة المنزليون إرسال وصفات عائلاتهم السرية إلى المطعم (خصوصية البيانات).
حجم المطبخ: يمتلك الطهاة المنزليون مطابخ صغيرة وبسيطة، ولا يمكنهم التعامل مع موقد ضخم ذو قدرة صناعية (قيود موارد العميل).
تضارب الأذواق: إذا قمت بمجرد خلط جميع وصفات الطهاة المنزليين معاً، فقد تتضارب النكهات، مما يؤدي إلى إفساد الطبق (عدم تجانس البيانات).

حاولت الأساليب الحالية حل هذه المشكلات عبر إعطاء الطهاة المنزليين "مساعداً" صغيراً وضعيفاً (مهايئ/adapter) لتعديل طريقة طبخ الشيف، لكن الورقة البحثية تجادل بأن هذا المساعد ضعيف جداً لتعلم النكهات المحلية المعقدة بفعالية.

إليك "FedProxy": الحل الجديد

تقترح المؤلفات نظاماً ذكياً جديداً يسمى FedProxy. فكر في الأمر كخدعة سحرية من ثلاث خطوات تحل جميع المشكلات المذكورة أعلاه.

الخطوة 1: "الشيف الصغير" (الضغط/Compression)

بدلاً من إرسال كتاب الوصفات الرئيسي الضخم والكامل إلى الطهاة المنزليين (وهو أمر كبير جداً ويشكل خطراً أمنياً)، يقوم المطعم بإنشاء "شيف صغير" عالي الجودة (نموذج لغوي وسيط/Proxy Small Language Model).

كيف يعمل: يستخدم المطعم وصفات عامة وعامة لتقليص الشيف الرئيسي العملاق إلى نسخة أصغر ومحمولة.
التشبيه: تخيل أخذ موسوعة مكونة من 1000 صفحة وتلخيصها في دليل جيب عالي الجودة مكون من 300 صفحة. إنه صغير بما يكفي ليُحمل في حقيبة ظهر (يناسب هاتف الطاهي المنزلي) ولكنه لا يزال يحتفظ بالجوهر والمنطق الأساسي للشيف العبقري الأصلي.
لماذا هو أفضل: هذا "الشيف الصغير" قوي بما يكفي لتعلم أشياء جديدة، على عكس "المساعد" الضعيف المستخدم في الأساليب السابقة.

الخطوة 2: "مأدبة دبلوماسية" (التجميع الاتحادي/Federated Aggregation)

الآن، يأخذ الطهاة المنزليون هذا "الشيف الصغير" ويعلمونه وصفاتهم المحلية باستخدام مكوناتهم الخاصة والخاصة. لكن هنا تكمن العقبة: بعض الطهاة يحبون الطعام الحار، والبعض الآخر يحب الحلو، والبعض يكره الكزبرة. إذا قمت بمجرد خلط تحديثاتهم بشكل أعمى، فسوف يرتبك "الشيف الصغير".

يقدم FedProxy دبلوماسياً ذكياً (الخادم/Server) لإدارة هذه المأدبة:

رصد التضاربات: ينظر الدبلوماسي إلى ما يطبخه الجميع. إذا كان الطاهي (أ) يضيف الملح والطاهي (ب) يضيف السكر إلى نفس المكان، فإن الدبلوماسي يلاحظ هذا "التضارب".
الدمج الذكي: بدلاً من مجرد متوسط النكهات، يستخدم الدبلوماسي استراتيجية خاصة (تسمى H-TIES و PCR) لتقرير من سيؤثر على الطبق النهائي.
- إذا اتفق الجميع على نكهة ما، يتم تعزيزها.
- إذا كان هناك طاهيان يتنازعان على نكهة ما، يقوم النظام بتخفيف حدة التضارب حتى لا يصبح طعم الطبق غريباً.
النتيجة: يتعلم "الشيف الصغير" نسخة متوازنة ولذيذة من جميع الأطباق المحلية دون أن تغادر أي وصفة سرية منازل أصحابها.

الخطوة 3: "الملحق السحري" (دمج المعرفة/Knowledge Fusion)

بمجرد أن يتعلم "الشيف الصغير" كل هذه النكهات المحلية الجديدة، كيف نعيد هذه المعرفة إلى "الشيف الخارق" الأصلي؟

الطريقة القديمة: سيتعين عليك إعادة تدريب "الشيف الخارق" من البداية، وهو أمر يستغرق وقتاً طويلاً ويكلف ثروة.
طريقة FedProxy: بما أن "الشيف الصغير" قد بُني باستخدام أجزاء من "الشيف الخارق"، يمكنك ببساطة توصيل (Plug) المعرفة الجديدة لـ "الشيف الصغير" مباشرة في دماغ "الشيف الخارق".
التشبيه: يشبه الأمر ترقية إحصائيات شخصية في لعبة فيديو. لا تحتاج إلى إعادة بناء الشخصية؛ أنت فقط تستبدل درعها القديم بالدرع الجديد الذي قمت بصياغته للتو. يصبح "الشيف الخارق" فوراً خبيراً في المأكولات المحلية دون الحاجة أبداً لإعادة تعلم الأساسيات.

لماذا يعد هذا أمراً هاماً؟

الخصوصية: لا يرى المطعم أبداً مكونات الطهاة المنزليين.
الأمن: لا يرى الطهاة المنزليون أبداً كتاب الوصفات الرئيسي الكامل، بل يرون فقط "الشيف الصغير" المضغوط والآمن.
الأداء: كانت الأساليب السابقة تشبه محاولة رسم لوحة فنية باستخدام قلم تلوين شمعي. أما FedProxy فيمنحهم فرشاة عالية الجودة، مما ينتج لوحة تبدو جيدة جداً كما لو كان "الشيف الخارق" قد طبخها جميعاً في مطبخ واحد ضخم (التدريب المركزي/Centralized Training).

باخت-القول: FedProxy هو طريقة ذكية وآمنة وفعالة لتعليم نموذج ذكاء اصطناعي ضخم أشياء جديدة باستخدام بيانات من العديد من الأشخاص، دون انتهاك الخصوصية، أو تسريب الأسرار، أو إرهاق أجهزة الكمبيوتر الخاصة بهم. إنه يحول فوضى البيانات المتضاربة إلى ترقية متناغمة وعالية الأداء.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "FedProxy: الضبط الدقيق الموحد للنماذج اللغوية الكبيرة عبر نماذج لغوية صغيرة وسيطة ودمج مدرك للتباين".

1. بيان المشكلة

تعالج الورقة البحثية "الثلاثية" (trilemma) الخاصة بالتعلم الموحد (Federated Learning) للنماذج اللغوية الكبيرة (LLMs)، والتي تتضمن موازنة ثلاثة أهداف متضاربة:

حماية الملكية الفكرية (IP Protection): منع تعرض النموذج اللغوي الكبير المملوك للخادم (Server) بالكامل للعملاء.
خصوصية العميل (Client Privacy): ضمان بقاء بيانات العملاء محلية وخاصة.
الأداء على البيانات غير المتجانسة (Performance on Heterogeneous Data): الحفاظ على أداء عالٍ للنموذج رغم التوزيعات الإحصائية غير المتجانسة (non-IID) للبيانات عبر العملاء.

محدودية الطرق الحالية:
تحاول الأساليب المتطورة الحالية مثل الضبط خارج الموقع (Offsite-Tuning - OT) ومتغيراتها الموحدة (FedOT, FedBiOT) حل هذه المشكلة عن طريق تدريب محولات (adapters) خفيفة الوزن فقط في جانب العميل مع إبقاء الهيكل الأساسي (backbone) مجمدًا ومخفيًا. ومع ذلك، حدد المؤلفون عقبة أساسية: تفتقر هذه المحولات خفيفة الوزن إلى قدرة التمثيل (representation capacity) الكافية، مما يؤدي إلى فجوات كبيرة في الأداء مقارنة بالضبط الدقيق المركزي، خاصة في البيئات غير المتجانسة.

2. المنهجية: إطار عمل FedProxy

يقدم FedProxy نموذج تحسين مدفوع بالبديل (surrogate-driven optimization paradigm). فبدلاً من تدريب محولات صغيرة، يقوم بضغط النموذج اللغوي الكبير المملوك إلى نموذج لغوي صغير وسيط (Proxy SLM) قوي وموحد. يعمل هذا النموذج الوسيط كبديل عالي الدقة للضبط الدقيق التعاوني. يعمل إطار العمل عبر ثلاث مراحل متميزة:

المرحلة 1: التمثيل الفعال عبر الضغط الموجه من الخادم

الهدف: إنشاء نموذج لغوي صغير وسيط ( $f_\phi$ ) يتسم بكفاءة الموارد من النموذج اللغوي الكبير ( $f_\theta$ ) دون الكشف عن الملكية الفكرية الكاملة للنموذج.
الآلية: يستخدم الخادم مجموعة بيانات عامة ( $D_{pub}$ ) لإجراء تقليم هيكلي (structured pruning) على النموذج اللغوي الكبير.
المقياس: يستخدم مقياس تأثير الكتلة (Block Influence - BI) لتقدير أهمية كل كتلة من كتل الـ Transformer بناءً على تأثيرها على تمثيلات الحالة الخفية (hidden state representations).
النتيجة: يتم الاحتفاظ بالكتل التي تسجل أعلى درجات BI لتشكيل نموذج لغوي صغير وسيط مدمج ( $|\phi| \ll |\theta|$ )، والذي يتم توزيعه بعد ذلك على جميع العملاء. يضمن ذلك احتفاظ النموذج الوسيط بالمعرفة الهيكلية للهيكل الأساسي مع ملاءمته لقيود موارد العملاء.

المرحلة 2: التحسين القوي عبر التجميع المخفف للتداخل

الهدف: معالجة عدم تجانس البيانات وتضارب المعلمات (parameters) أثناء التدريب الموحد.
الآلية: استراتيجية تجميع مكونة من ثلاث خطوات لكل جولة اتصالات:
1. التحليل من جانب الخادم: يحسب الخادم متجهات المهام (Task Vectors) (التحديثات) ويحسب تشابه جيب التمام الزوجي لاستخلاص:
  - معامل عدم التجانس ( $h_k$ ): يقيس مدى انحراف العميل عن المجموعة.
  - الوزن التكيفي ( $w_k$ ): يعطي الأولوية للعملاء الذين لديهم توافق قوي.
  - درجة صراع مستوى المعلمة ( $C_d$ ): تقيس حجم الاختلاف في إشارات التحديث لمعلمات محددة.
2. التنظيم من جانب العميل (PCR): يدمج العملاء درجات الصراع في دالة الخسية المحلية الخاصة بهم. يتم معاقبتهم على الابتعاد عن النموذج العالمي في المعلمات ذات الصراع العالي، مما يشجع على التوافق في المعلمات المتوافقة مع السماح بالتخصيص في المعلمات المتصارعة.
3. دمج TIES المدرك لعدم التجانس (H-TIES): يقوم الخادم بدمج التحديثات باستخدام نهج TIES-Merging معدل:
  - التناثر (Sparsification): يتم جعل تحديثات العملاء شديدي عدم التجانس أكثر تناثرًا (تقليل معدل الاحتفاظ).
  - التحجيم (Scaling): يتم وزن التحديثات بناءً على قوة التوافق.
  - حل الصراع: لكل بُعد من أبعاد المعلمة، يتم أخذ متوسط التحديثات التي تتوافق فقط مع الإشارة المهيمنة (الموجبة أو السالبة)، مما يؤدي فعليًا إلى إلغاء التدرجات المتعارضة.

المرحلة 3: الدمج السلس عبر "الإضافة" الخالية من التدريب

الهدف: دمج المعرفة المتعلمة من النموذج اللغوي الصغير الوسيط في النموذج اللغوي الكبير الأصلي.
الآلية: بما أن النموذج الوسيط هو شبكة فرعية مباشرة من النموذج اللغوي الكبير (خريطة معمارية $\phi \subset \theta$ )، فإن إطار العمل يقوم بعملية استبدال مباشر للمعلمات.
العملية: تقوم الطبقات المحدثة من النموذج الوسيط الذي تقارب (converged) باستبدال الطبقات المقابلة لها في النموذج اللغوي الكبير الأصلي.
الفائدة: هذه عملية خالية من التدريب لا تسبب أي تأخير إضافي في الاستدلال (inference latency) على النموذج الضخم، على عكس طرق الدمج أثناء فك التشفيد (decoding-time fusion).

3. المساهمات الرئيسية

إطار عمل FedProxy: حل شامل يحل ثلاثية (الملكية الفكرية-الخصوصية-الأداء) عبر استبدال المحولات الضعيفة بنموذج لغوي صغير وسيط مدمج وقوي.
خوارزميات H-TIES و PCR: خوارزميات مبتكرة لـ التجميع المدرك لعدم التجانس.
- يقوم PCR بتوجيه التدريب المحلي الواعي للصراع.
- يقوم H-TIES بدمج التحديثات في جهة الخادم بشكل مدرك لعدم التجانس، مما يخفف بفعالية من تداخل المعلمات في الأنظمة الموحدة المتنوعة.
التحليل النظري: تقدم الورقة حداً نظرياً لخطأ الدمج، حيث تفككه إلى عدم مثالية النموذج الوسيط، وتشوه الضغط، وتقريب الفضاء الجزئي (subspace approximation)، مما يبرر استراتيجية الاستبدال المباشر للمعلمات.
التفوق التجريبي: أظهرت التجاروات المكثفة أن FedProxy يتفوق بشكل كبير على الأساليب القائمة على OT ويقترب من أداء الضبط الدقيق المركزي.

4. النتائج التجريبية

تم تقييم إطار العمل على نموذجي LLaMA2-7B و Mistral-7B عبر سيناريوهين: متجانس (IID) وغير متجانس (Non-IID) للمهام (اختبارات QA و GLUE).

مكاسب الأداء:
- في البيئات غير المتجانسة (ضغط 50%)، حقق FedProxy دقة في الأسئلة والأجوبة (QA) بلغت 0.6011 و دقة GLUE بلغت 0.7944 (LLaMA2-7B).
- يمثل هذا تحسنًا هائلاً مقارنة بـ FedOT (على سبيل المثال، تحسن مطلق قدره +12.6% في QA).
- وصل FedProxy إلى ~90-91% من أداء الضبط الدقيق المركزي (CentSFT)، بينما تأخرت الأساليب القائمة على OT بشكل ملحوظ.
مقايضة التكلفة مقابل الأداء:
- بينما يتطلب FedProxy اتصالات وتدريبًا أكثر كثافة من جانب العميل (بسبب تدريب نموذج وسيط أكبر مقارنة بالمحولات الصغيرة)، فإن تكلفة الاتصال الأولية مماثلة لـ OT.
- مكاسب الأداء تبرر الاستثمار الإضافي في الموارد، مما يقلص الفجوة مع التدريب المركزي.
دراسات الاستئصال (Ablation Studies):
- أدى حذف PCR أو H-TIES إلى انخفاض كبير في الأداء، مما يثبت أن كلا المكونين ضروريان.
- تفوق FedProxy حتى على خط أساس أقوى حيث تم تدريب محاكي OT أيضًا (FedOT-ET)، مما يؤكد الميزة المعمارية للنموذج الوسيط على الهياكل القائمة على المحولات.
- حماية الملكية الفكرية: أدى النموذج الوسيدي المدمج الأولي إلى أداء أقل بكثير من النموذج اللغوي الكبير الأصلي (Zero-Shot)، مما يؤكد أن النموذج المضغوط لا يسرب الملكية الفكرية الكاملة.

5. الأهمية والتأثير

معيار جديد: يضع FedProxy معيارًا جديدًا للتكيف الموحد عالي الأداء والآمن للنماذج اللغوية الكبيرة، مما يثبت إمكانية تحقيق تكيف عالي الدقة دون الكشف الكامل عن النموذج.
الانتشار العملي: تسمت آلية الدمج "الإضافية" (plug-in) بترقية فورية لقدرات النموذج اللغوي الكبير دون الحاجة لإعادة التدريب أو تحمل عبء الاستدلال، مما يجعله مناسبًا جدًا للتطبيقات الصناعية في العالم الحقيقي.
القابلية للتوسع: من خلال معالجة عقبة الأداء في طرق OT الحالية، يجعل FedProxy الضبط الدقيق الموحد للنماذج اللغوية الكبيرة حلاً قابلاً للتطبيق في المجالات الحساسة للخصوصية (مثل التمويل والرعاية الصحية) حيث لا يمكن مركزية البيانات.

المحدودية: يشير المؤلفون إلى أن نسب الضغط العالية (>50%) تؤدي إلى تدهور الأداء بسبب فقدان القدرة. بالإضافة إلى ذلك، فإن استراتيجية التجميع الحالية تتوسع تربيعيًا ( $O(K^2)$ ) مع عدد العملاء، مما يشير إلى الحاجة إلى بحث الجيران الأقرب التقريبي أو التجميع الهرمي للنشر على نطاق واسع جدًا.