Federated Co-tuning Framework for Large and Small Language Models
تقدم الورقة البحثية FedCoLLM، وهو إطار عمل اتحادي فعال من حيث المعلمات يتيح التعزيز المعرفي المتبادل بين النماذج اللغوية الكبيرة في جانب الخادم والنماذج اللغوية الصغيرة في جانب العميل من خلال محولات خفيفة الوزن، مما يحقق مكاسب أداء كبيرة لكليهما مع الحفاظ على خصوصية البيانات وتقليل العبء الحسابي إلى أدنى حد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك بروفيسوراً فائق الذكاء (النموذج اللغوي الكبير، أو LLM) يعرف كل شيء عن العالم ولكنه يعيش في جامعة فاخرة وباهظة التكالل. ولديك أيضاً مجموعة من المتدربين المحليين (النماذج اللغوية الصغيرة، أو SLMs) يعملون في محلات صغيرة ومحلية، يعرفون أسرار أحيفتهم الخاصة ولكنهم يفتقرون إلى الرؤية الشاملة.
المشكلة هي:
- البروفيسور لا يستطيع مغادرة الجامعة لزيارة المحلات لأن ذلك مكلف جداً ويستغرق وقتاً طويلاً.
- المتدربون لا يستطيعون إرسال وصفات محلاتهم السرية (البيانات الخاصة) إلى البروفيسور خوفاً من السرقة أو التسريب.
- إذا حاول المتدربون التعلم بمفردهم، فسيظلون صغاراً. وإذا حاول البروفيسور التعلم من الجميع في وقت واحد، فسيكون الأمر ثقيلاً وبطيئاً للغاية.
FedCoLLM هو الحل العبقري الجديد الذي يربط بينهم دون كسر الميزانية أو خرق قواعد الخصوصية. إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. خدعة "الدفتر الصغير" (الضبط الفعال للمعلمات)
عادةً، لتعليم روبوت عملاق مهارة جديدة، عليك إعادة كتابة دماغه بالكامل. هذا يشبه محاولة إعادة طلاء ناطحة سحاب كاملة فقط لتغيير لون الباب الأمامي. هذا أمر ثقيل جداً!
يستخدم FedCoLLM تقنية LoRA adapters، وهي تشبه الدفاتر الصغيرة والخفيفة.
- بدلاً من إعادة كتابة دماغ البروفيسور، نقوم فقط بإعطاء البروفيسور والمتدربين هذه الدفاتر الصغيرة.
- هم يكتبون تعلماتهم الجديدة في هذه الدفاتر فقط.
- الفائدة: إنه سريع جداً، رخيص، ويتطلب طاقة قليلة جداً. الأمر يشبه إرسال بطاقة بريدية بدلاً من شحن شاحنة نقل بالكامل.
2. "المصافحة السرية" (حماية الخصوصية)
يمتلك المتدربون بيانات حساسة (مثل قوائم العملاء أو الأسرار التجارية) التي لا يمكنهم إظهارها للبروفሰور.
- في FedCoLLM، لا يرسل المتدربون بياناتهم الخام أبداً إلى البروفيسور.
- بدلاً من ذلك، يتعلمون من بياناتهم الخاصة، ويكتبون فقط التغييرات في "دفاترهم"، ويرسلون تلك الصفحات فقط إلى البروفيسور.
- يقوم البروفيسور بخلط كل هذه الصفحات معاً (باستخدام "خلاط سحري" آمن يسمى التجميع الآمن - Secure Aggregation) لإنشاء دفتر ملاحظات عالمي.
- النتيجة: يتعلم البروفيسور الأنماط دون أن يرى أبداً اسماً واحداً لعميل خاص. الأمر يشبه تعلم الوصفة من خلال تذوق الطبق النهائي، دون رؤية مطبخ الطباخ أبداً.
3. "الطريق ذو الاتجاهين" (الضبط المشترك المتبادل)
هذا هو الجزء السحري. عادةً، تتدفق المعرفة في اتجاه واحد: النماذج الكبيرة تعلم النماذج الصغيرة. لكن FedCoLLM يجعل الأمر طريقاً ذا اتجاهين.
- الخطوة أ: من الأعلى إلى الأسفل (من البروفيسور إلى المتدرب): يشارك البروفيسور "دفتر ملاحظاته العالمي" مع المتدربين. يقرأه المتدربون، مما يجعلهم أكثر ذكاءً ومعرفة بالعالم بشكل فوري.
- الخطوة ب: من الأسفل إلى الأعلى (من المتدرب إلى البروفيسور): يأخذ المتدربون تلك المعرفة، ويمزجونها مع أسرارهم المحلية، ويرسلون دفاترهم المحدثة مرة أخرى.
- التقطير (Distillation): يجلس البروفيسور والمتدربون معاً (افتراضياً) ويقارنون الملاحظات باستخدام مجموعة بيانات خاصة. يتعلم البروفيسور "خبرة الشارع" والتفاصيل الدقيقة من المتدربين، بينما يتعلم المتدربون "الثقافة النظرية" من البروفيسور.
لماذا يعد هذا أمراً مهماً؟
- للمحلات الصغيرة (العملاء): يحصلون على مساعد فائق الذكاء يعرف احتياجات عملهم المحددة، مدعوماً بذكاء اصطناعي ضخم، ولكن دون الحاجة إلى كمبيوتر يكلف ملايين الدولارات لتشغيله.
- للجامعة الكبيرة (الخادم): يصبح البروفيسور أكثر ذكاءً وتخصصاً، ويتعلم أشياء لم يكن يعرفها من قبل، دون أن يضطر أبداً لمغادرة المبنى أو رؤية أي من بيانات الأشخاص الخاصة.
- للجميع: يوفر قدراً هائلاً من المال والكهرباء لأنهم لا ينقلون ملفات ضخمة، بل يتبادلون فقط ملاحظات صغيرة وفعالة.
باختاًصر: FedCoLLM يشبه نادي كتاب عالمي حيث يلتقي مؤلف مشهور ومجموعة من الكتاب المحليين. يشارك المؤلف أسلوبه في الكتابة، ويشارك الكتاب المحليون قصصهم المحلية، وهم جميعاً يكتبون بضع صفحات في دفتر مشترك. يصبح الجميع أفضل في الكتابة، ولا يضطر أحد للكشف عن مذكراته الخاصة، ولا يحتاجون للسفر للقاء بعضهم البعض.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.