Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?

ملخص تقني: هل يمكن لدمج LoRA دعم المهام عابرة المجالات في التعاون بين السحابة والحافة؟

صياغة المشكلة
تعتمد النماذج اللغوية الكبيرة (LLMs) المستضافة سحابياً بشكل متزايد على التكيف منخفض الرتبة (LoRA) للضبط الدقيق الخاص بمجالات معينة. ومع ذلك، في سيناريوهات التعاون الواقعية بين السحابة والحافة، تكون بيانات المجال موزعة عبر أجهزة حافة متعددة ولا يمكن رفعها إلى السحابة بسبب قيود الخصوصية (مثل اللائحة العامة لحماية البيانات - GDPR). وهذا يستلزم نموذجاً تقوم فيه أجهزة الحافة بتدريب محولات LoRA محلية، والتي يتم رفعها ثم دمجها في السحابة لتمكين حل المشكلات عابرة المجالات.

تحدد الورقة البحثية عقبتين أساسيتين في النهج الحالي لهذه المشكلة:

1. عدم التوافق في الموارد: تفترض الطرق الحالية ضمنياً أن أجهزة الحافة قادرة على تشغيل وضبط نماذج لغوية كبيرة بحجم السحابة. ومن الناحية العملية، تفتقر أجهزة الحافة (مثل الهواتف المحمولة التي تحتوي على حوالي 6 جيجابايت من ذاكرة الوصول العشوائي) إلى الذاكرة والقدرة الحسابية لاستضافة نماذج ضخمة (مثل 7 مليار بارامتر أو أكثر)، مما يجعل التكيف المحلي المباشر غير ممكن.
2. عدم كفاية التقييم: تُقيم طرق دمج LoRA الحالية (مثل FedAvg و FFA-LoRA) بشكل أساسي في مهام أحادية المجال أو في إعدادات متعددة المهام حيث تنتمي عينات الاختبار إلى مجال واحد فقط. وهي تفشل في معالجة المهام "الحقيقية" عابرة المجالات حيث تتطلب استعلامات معينة دمجاً مشتركاً للمعرفة من مجالات متميزة متعددة (على سبيل المثال، الجمع بين الفلسفة وعلم الأحياء).

المنهجية
لمعالجة هذه القيود، اقترح المؤلفون إطار عمل شاملاً ومعياراً جديداً:

1. إطار عمل (التقليم-التدريب-الاستعادة) [Prune-Train-Recover]: لحل مشكلة عدم التوافق في الموارد، اقترح المؤلفون مساراً يتكون من ثلاث خطوات:

   • التقليم (Prune): يتم تقليم النموذج اللغوي الكبير المستضاف سحابياً هيكلياً إلى نموذج لغوي صغير (SLM) مدمج ومناسب للنشر على أجهزة الحافة.
   • التدريب (Train): تقوم أجهزة الحافة بإجراء ضبط دقيق لـ LoRA بكفاءة المعلمات على النموذج المقلّم باستخدام بياناتها المحلية الخاصة.
   • الاستعادة (Recover): يتم رفع محولات LoRA الناتجة إلى السحابة، حيث يتم ربطها مرة أخرى بفضاء المعلمات الأصلي عبر الحشو الصفري (استعادة الأبعاد الكاملة) قبل عملية الدمج.

2. معيار MMLU-CD: قدم المؤلفون معيار MMLU-CD، وهو معيار عابر للمجالات تم إنشاؤه عن طريق إقران عينات من مجالات موضوعات MMLU المختلفة (العلوم الإنسانية، العلوم الاجتماعية، العلوم والتكنولوجيا - STEM) واستخدام DeepSeek-R1 لتوليد أسئلة اختيار من متعدد متماسكة تتطلب استدلالاً مشتركاً عبر المجالات. وهذا يسمح بتقييم صريح لقدرات حل المشكلات عابرة المجالات.

3. LoRA-CR (حل النزاع): يكشف التقييم التجريبي أن طرق الدمج الحالية تفشل في المهام عابرة المجالات، وغالباً ما يكون أداؤها أقل من النموذج الأساسي. ويعزو المؤلفون ذلك إلى نزاعات التمثيل (representation conflicts) بين محولات LoRA المدربة على مجالات مختلفة، حيث تلغي التحديثات على طول الاتجاهات الكامنة المشتركة بعضها البعض. وللتخفيف من ذلك، اقترحوا LoRA-CR، وهو وحدة معالجة مسبقة قابلة للتركيب والتشغيل (plug-and-play) تقوم بـ:

   • إسقاط تحديثات LoRA المستعادة في فضاء كامن مشترك عبر تحليل القيم المفردة (SVD).
   • قياس النزاعات حسب الاتجاه باستخدام مقياس يعتمد على تشابه جيب التمام (cosine similarity).
   • كبح التحديثات المتعارضة أو غير المتوافقة بشكل انتقائي مع الحفاظ على الإشارات المتسقة الخاصة بالمجال قبل خطوة الدمج النهائية.

النتائج الرئيسية

• فشل الطرق الحالية: تحت إطار عمل (التقليم-التدريب-الاستعادة) المقترح، تم تقييم ثلاثة من طرق دمج LoRA التمثيلية (FedAvg، FFA-LoRA، FedSA-LoRA) على معيار MMLU-CD. كانت النتائج سلبية: في 7 من أصل 9 حالات تقييم عابرة للمجالات، كان أداء النماذج المدمجة أقل من النموذج الأساسي (Base LLM) دون أي دمج.
• فعالية LoRA-CR: أدى دمج وحدة LoRA-CR المقترحة إلى تحسين الأداء بشكل كبير. عبر ثلاثة إعدادات عابرة للمجالات وثلاث طرق دمج، تحسن الأداء في 8 من أصل 9 حالات، حيث تراوحت متوسط المكاسب بين 1.12% و3.34%.
• تقليل النزاع: أدى إدخال LoRA-CR إلى تقليل متوسط درجة النزاع في الاتجاه بنسبة 0.2% تقريباً، مما يثبت كمياً تخفيف نزاعات التمثيل.
• المتانة: لوحظ أن مكاسب الأداء لـ LoRA-CR تزداد بشكل مطرد مع ارتفاع نسب التقليم، مما يشير إلى أن حل النزاع يصبح أكثر أهمية مع تقييد القدرة التمثيلية للمحولات.

الأهمية والادعاءات
تزعم الورقة أنه بينما يعد دمج LoRA نموذجاً واعداً للتعاون بين السحابة والحافة للحفاظ على الخصوصية، فإن الطرق الحالية غير كافية للمهام عابرة المجالات بسبب نزاعات المعلمات غير المحلولة. ويؤكد المؤلفون أن:

• تخفيف النزاع أمر بالغ الأهمية: إن عدم قدرة الطرق الحالية على التعامل مع نزاعات التمثيل هو عامل تم التغاضي عنه إلى حد كبير، مما يمنع التكامل الفعال للمعرفة عابرة المجالات.
• الجدوى عبر التقليم: نجح إطار عمل (التقليم-التدريب-الاستعادة) في سد الفجوة بين النماذج الضخمة السحابية وأجهزة الحافة محدودة الموارد، مما سمح بتقييم واقعي لمشكلة الدمج.
• ضرورة المعايير الجديدة: التقييمات القياسية أحادية المجال غير كافية؛ إذ يلزم وجود معايير صارمة عابرة للمجالات مثل MMLU-CD للكشف عن حدود استراتيجيات الدمج الحالية.

تخلص الورقة إلى أن الدمج الواعي بالنزاع هو تحدٍ جوهري في التعاون بين السحابة والحافة لنماذج LLM، وأن وحدات بسيطة لحل النزاع مثل LoRA-CR ضرورية لإطلاق إمكانات المعرفة الموزعة للمجالات في الاستدلال المعقد عابر المجالات.