Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach
تقترح هذه الورقة إطار عمل FedAS-LoRA، وهو إطار تعلم اتحادي يختار بشكل تكيفي ما إذا كان سيشارك عامل LoRA من جانب المدخلات أو جانب المخرات عبر العملاء بناءً على مقياس جديد لـ "كفاية الفضاء الجزئي المشترك المدرك للرتبة" (RSS)، وبالتالي يقلل من بقايا الإسقاط ويعزز أداء الضبط الدقيق.
المؤلفون الأصليون:Xinyi Xu, Bingnan Xiao, Shuang Qin, Gang Feng, Tony Q. S. Quek
تخيل عالماً حيث تُعد الحواسيب العملاقة فائقة الذكاء (التي تُسمى نماذج اللغات الكبيرة) هي العباقرة الجدد في عصرنا، وهي قادرة على كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. لكن تكمن العقبة هنا في أن هؤلاء العباقرة ضخام جداً لدرجة أنهم لا يمكنهم الاستقرار في هاتف أو حاسوب محمول واحد، ولا يمكننا ببساطة نسخ ولصق بيانات المذكرات الخاصة لكل شخص في عقل مركزي واحد لتعليمهم حِيلاً جديدة. وهنا يأتي دور "التعلم الاتحادي" (Federated Learning). إنه يشبه مجموعة من الأصدقاء يحاولون تعلم رقصة جديدة معاً دون أن يغادر أي منهم غرفة معيشته أبداً. كل واحد منهم يتدرب على بياناته الخاصة، ويرسل فقط حركات الرقص (وليس الموسيقى أو الغرفة) إلى مدرب مركزي، الذي يمزجها جميعاً ليصنع روتين رقص جماعي أفضل.
ولجعل درس الرقص هذا فعالاً، يستخدم العلماء حيلة ذكية تسمى "LoRA" (التكيف منخفض الرتبة). فبدلاً من إعادة تدريب العقل العملاق بأكمله، يقومون بإرفاق "عجلات تدريب" صغيرة ومرنة (لنسمِهما العامل أ والعامل ب) بالنموذج. العامل (أ) هو بمثابة مترجم يحول المدخلات (موسيقى الرقص) إلى شفرة سرية، والعامل (ب) هو الراقص الذي يحول هذه الشفرة إلى الحركات الفعلية. السؤال الكبير الذي طرحه الباحثون هو: في رقصة جماعية، هل يجب على الجميع مشاركة نفس المترجم (العامل أ) والاحتفاظ براقصيهم الخاصين (العامل ب)، أم يجب عليهم مشاركة نفس الراقصين والاحتفاظ بمترجميهم الخاصين؟ لفترة طويلة، اختار الناس طريقة واحدة فقط وتمسكوا بها، بافتراض أنها ستكون دائماً الأفضل. لكن هذه الورقة البحثية تشير إلى أن هذا يشبه افتراض أن الجميع يجب أن يرتدوا أحذية بنفس المقاس لمجرد أنهم جميعاً بشر.
اكتشف المؤلفون في هذه الورقة، شيني شي وتيم عملهم، أنه لا توجد طريقة واحدة "مثلى" لمشاركة عجلات التدريب هذه. فقد تبين أن ما إذا كان ينبغي عليك مشاركة المترجم أو مشاركة الراقص يعتمد كلياً على البيانات المحددة التي يعمل عليها الفريق ومدى تعقيد خطوات الرقص (الرتبة أو الـ "rank" الخاصة بالتكيف). وجدوا أنه إذا أجبرت الجميع على مشاركة المترجم بينما هم في الواقع بحاجة لمشاركة الراقص (أو العكس)، سينتهي الأمر بالمجموعة بروتين متخبط وغير متناسق. ولحل هذه المشكلة، اخترعوا طريقة جديدة تسمى FedAS-LoRA. قبل بدء التدريب حتى، تستخدم هذه الطريقة "كشافاً" خاصاً (مقياس يسمونه RSS) لاستطلاع البيانات واتخاذ القرار: "حسناً، بالنسبة لهذه المجموعة وهذا المهمة المحددة، يجب أن نشارك العامل أ"، أو "كلا، بالنسبة لهذه المهمة، يجب أن نشارك العامل ب".
فكر في الأمر كمدرب رقص ذكي، ينظر إلى الراقصين والأغنية قبل أن تبدأ الموسيقى، ليقرر من يجب أن يشارك أحذيته ومن يجب أن يشارك ملاحظات الكوريغرافيا الخاصة به. إذا كانت الأغنية خاصة جداً بأسلوب كل راقص، فقد يقول المدرب: "احتفظوا بملاحظاتكم الخاصة، ولكن دعونا نستخدم جميعاً دليل إيقاع واحداً". وإذا كانت الأغنية عامة ولكن الراقصين لديهم حركات مختلفة تماماً، فقد يقول: "دعونا نستخدم جميعاً نفس الكوريغرافيا، ولكن احتفظوا بأدلة الإيقاع الخاصة بكم". ومن خلال اتخاذ هذا الخيار بشكل ديناميكي، تفوقت طريقتهم باستمرار على الطرق القديمة الجامدة. وفي اختبارات على مهام لغوية متنوعة، حققت طريقتهم التكيفية دقة متوسطة بلغت 90.77%، متفوقة على أفضل طريقة سابقة بنسبة تقارب 1 بالمائة. كما أثبتوا رياضياً أن هذا النهج المرن مستقر ولن يتسبب في انهيار المجموعة، حتى لو تغيب بعض الراقصين عن التدريب أو انضموا متأخرين. تظهر الورقة أن قاعدة "المقاس الواحد يناسب الجميع" في مشاركة أجزاء النموذج هذه هي قاعدة مكسورة، وأن مستقبل تعلم الذكاء الاصطناعي الفعال يكمن في القدرة على المرونة لاختيار الاستراتيجية المناسبة للمهمة.
ملخص تقني: إعادة التفكير في مشاركة العوامل في التعلم الاتحادي لتقنية LoRA
بيان المشكلة في التعلم الاتحادي (FL)، يواجه الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) عبر تقنية التكيف منخفض الرتبة (LoRA) تحديًا حرجًا يُعرف باسم "عدم تطابق التجميع" (aggregation mismatch). تمثل طريقة LoRA القياسية تحديثات النموذج كحاصل ضرب عاملين منخفضي الرتبة، ΔWi=BiAi. وفي بيئة اتحادية تضم N من العملاء، فإن مجرد حساب متوسط العوامل بشكل مستقل (N1∑Bi⋅N1∑Ai) لا يساوي متوسط التحديثات (N1∑BiAi).
تعتمد النهج الحالية للتخفيف من حدة ذلك غالبًا على استراتيجيات مشاركة عوامل "محددة مسبقًا" (hard-coded)، مثل تثبيت عامل مشترك A عبر جميع العملاء مع إبقاء B محليًا (Share-A/Local-B)، أو العكس (Share-B/Local-A). ومع ذلك، يوضح البحث أن لا كلا الاستراتيجيتين مثالية بشكل مطلق. إذ يعتمد اختيار الجانب المراد مشاركته على توزيع البيانات، ورتبة LoRA، وإعدادات النظام. ويمكن أن يؤدي التعيين الثابت إلى أداء دون المستوى لأنه يفشل في مراعاة عدم التماثل الهيكلي بين فضاءات التمثيل في جانب المدخلات وجانب المخرجات المطلوبة لمختلف العملاء.
المنهجية يقترح المؤلفون إطار عمل FedAS-LoRA (التعلم الاتحادي التكيفي لمشاركة العوامل في التكيف منخفض الرتبة)، وهو إطار يختار استراتيجية المشاركة بشكل تكيفي قبل بدء التدريب.
الرؤية النظرية (بديل المربعات الصغرى): يحلل البحث عدم التماثل الهيكلي لعوامل LoRA باستخدام بديل المربعات الصغرى (least-squares surrogate). ويكشف ما يلي:
استراتيجية Share-A/Local-B تفرض فضاء مدخلات مشترك برتبة r عبر العملاء. ويتحدد الأداء بناءً على متبقي الإسقاط (projection residual) للتحديثات المطلوبة على فضاء المدخلات المشترك هذا.
استراتيجية Share-B/Local-A تفرض فضاء مخرجات مشترك برتبة r عبر العملاء. ويتحدد الأداء بناءً على متبقي الإسقاط على فضاء المخرجات المشترك هذا. الاستراتيجية المفضلة هي تلك التي تقلل من إجمالي متبقي الإسقاط عبر العملاء.
مقياس كفاية الفضاء الفرعي المشترك المرتبط بالرتبة (RSS): لتحديد جانب المشاركة الأمثل دون الحاجة للتدريب، صمم المؤلفون مقياس RSS. يستخدم هذا المقياس التمثيلات المستخرجة من نموذج خلفي (backbone) ثابت لتقييم ما إذا كان فضاء مدخلات عالمي برتبة r كافيًا لالتقاط توزيعات البيانات المحلية.
يقارن المقياس بين "طاقة التمثيل" (التي يتم التقاطها عبر التباين من الدرجة الثانية) لفضاء مدخلات عالمي برتبة r مقابل الطاقة التي تحتفظ بها الفضاءات الفرعية المحلية برتبة r.
يتم معايرة العتبة τ(r) باستخدام إعادة تعيين العينات العشوائية وإعادة أخذ العينات بطريقة Bootstrap لمراعاة أخطاء التقدير.
قاعدة القرار: إذا تجاوز فقدان الطاقة (عجز RSS) عند استخدام فضاء مدخلات عالمي العتبة المحددة، يختار النظام استراتيجية Share-B/Local-A. خلاف ذلك، يختار Share-A/Local-B.
تحليل التقارب: يقدم البحث إثباتًا نظريًا على أن FedAS-LoRA يتقارب نحو منطقة جوارية مستقرة تحت أي مشاركة للعملاء (المشاركة الجزئية). وينطبق التحليل على كلتا استراتيجيتي المشاركة، مما يظهر أن التكرارات تستوفي حد تقارب يعتمد على عدد الجولات، والخطوات المحلية، وانحراف عينة العميل.
المساهمات الرئيسية
المقارنة القائمة على الإسقاط: يقدم البحث أول مقارنة رسمية بين Share-A/Local-B و Share-B/Local-A، موضحًا أنهما يمثلان متبقيات الإسقاط لجانب المدخلات وجانب المخرات على التوالي. وهذا يفسر سبب فشل الاستراتيجيات الثابتة في البيئات الاتحادية المتنوعة.
إطار العمل التكيفي (FedAS-LoRA): إطار عمل مبتكر يختار العامل المشترك ديناميكيًا بناءً على خصائص البيانات بدلاً من فرض سياسة ثابتة.
مقياس خالٍ من التدريب (RSS): تصميم مقياس RSS الذي يحدد جانب المشاركة الأمثل بكفاءة باستخدام تمثيلات النموذج الخلفي الثابت فقط، مما يتجنب الحاجة إلى تدريب أولي.
ضمانات التقارب: إثبات نظري لتقارب الطريقة المقترحة تحت أي مشاركة للعملاء، بما يتجاوز افتراض المشاركة الكاملة الشائع في الأعمال السابقة.
النتائج التجريبية أُجريت التجارب على مهام فهم اللغة الطبيعية (مجموعة اختبار GLUE: MNLI, SST-2, QNLI, QQP, RTE) ومهام توليد اللغة الطبيعية (GSM8K مع نموذج LLaMA3-8B).
الأداء: تفوق FedAS-LoRA باستمرار على النماذج المرجعية (بما في ذلك Standard LoRA، و FFA-LoRA، و FedDPA-LoRA، و FedSA-LoRA) عبر مهام متنوعة. وفي مجموعة اختبار GLUE، حقق FedAS-LoRA متوسط دقة بلغ 90.77%، متفوقًا على FedSA-LoRA بنسبة 0.93 نقطة مئوية.
المتانة: أظهرت الطريقة أداءً فائقًا في ظل ظروف متغيرة، بما في ذلك:
أخذ عينات العملاء: إعدادات أخذ العينات الموحدة وغير الموحدة. ضاء التباين في البيانات (Non-IID) (توزيع Dirichlet).
رتب LoR: ظل الأداء تنافسيًا عبر الرتب r∈{2,4,8,16}، مما يؤكد أنه لا توجد سياسة مشاركة واحدة مثالية لجميع الرتب.
العمومية: كانت الطريقة فعالة عبر متغيرات مختلفة من LoRA (مثل rsLoRA و VeRA) وأحجام نماذج مختلفة (RoBERTa-large و LLaMA3-8B).
الأهمية يزعم البحث أن أهمية هذا العمل تكمن في تحدي الافتراض القائل بأن استراتيجية مشاركة عامل واحدة كافية لجميع سيناريوهات LoRA الاتحادية. ومن خلال إثبات أن الاستراتيجية المثلى تعتمد على التفاعل بين توزيع البيانات ورتبة LoRA، يقدم المؤلفون حلاً تكيفيًا ومبنياً على أسس سليمة. يوفر مقياس RSS آلية عملية وخالية من التدريب لتعزيز أداء الضبط الدقيق في البيئات الاتحادية محدودة الموارد، مما يضمن توافق العامل المشترك مع المتطلبات الهيكلية الأساسية لبيانات العملاء.