Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients
تقترح الورقة البحثية FedSLM، وهو إطار عمل جديد للتعلم الاتحادي يُمكّن العملاء ذوي الموارد المحدودة من ضبط النماذج التأسيسية باستخدام نماذج ذاتية الاحتواء مضغوطة تعتمد على تحليل القيم المفردة (SVD) وبروتوكول تجميع ثنائي المراحل، محققاً أداءً فائقاً مع تقليل متطلبات الذاكرة بشكل كبير مع الحفاظ على دقة التمثيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تكون فيه أذكى الحواسيب في الغرفة كبيرة جداً بحيث لا يمكن أن تتسع في جيب أي شخص. هذه هي "النماذج التأسيسية" (Foundation Models)، وهي عقول ذكاء اصطناعي ضخمة تدربت على محيطات من البيانات لفهم اللغة، والصور، والعالم من حولها. إنها قوية للغاية، لكنها أيضاً نهمة للذاكرة، حيث تتطلب خوادم ضخمة ومكلفة لتشغيلها. وفي الوقت نفسه، فإن الأشخاص الذين يمتلكون بالفعل المعلومات الأكثر قيمة وسرية — مثل الأطباء مع سجلات المرضى أو البنوك مع البيانات المالية — غالباً ما يمتلكون حواسيب متواضعة لا يمكنها حتى تحميل هذه العقول العملاقة. وهذا يخلق حالة من الجمود المحبط: الخبراء لديهم البيانات ولكن ليس لديهم القدرة الذهنية، والقدرة الذهنية عالقة في خادم لا يستطيع رؤية البيانات.
ولحل هذه المشكلة، يستخدم العلماء تقنية تسمى "التعلم الاتحادي" (Federated Learning). فكر في الأمر كأنها مجموعة من الطلاب يحاولون حل لغز معاً دون إظهار قطعهم الخاصة للمعلم أبداً. فبدلاً من إرسال بياناتهم الخاصة إلى موقع مركزي، يرسلون فقط "أفكارهم" أو "تعديلاتهم" إلى المعلم، الذي يجمعها لجعل عقل جماعي أكثر ذكاءً. ومع ذلك، عندما يكون "المعلم" نموذجاً عملاقاً بمليارات المعلمات، فإن مجرد إرسال التعديلات يصبح كابوساً لوجستياً إذا كانت حواسيب الطلاب ضعيفة لدرجة أنها لا تستطيع حتى استيعاب جزء صغير من النموذج العملاق. التحدي يكمن في معرفة كيفية السماتد لتمكين هذه الحواسيب الضعيفة من التعلم من العملاق دون كسر أجهزتها أو فقدان سحر معرفة العملاق.
هنا يأتي دور FedSLM، وهي طريقة جديدة اقترحها باحثون تعمل مثل مترجم ذكي وطاهٍ ماهر. المشكلة الجوهرية التي يعالجونها هي "عدم التماثل في الموارد": المؤسسات التي تمتلك أفضل البيانات (المستشفيات، البنوك) غالباً لا تستطيع تشغيل نموذج الذكاء الاصطناعي الكامل لأنه يتطلب الكثير من الذاكرة. حاولت الحلول الحالية إصلاح ذلك إما عن طريق تقليص حجم النموذج (مما أدى أحياناً إلى كسر ذكائه) أو عن طريق تدريب أجزاء صغيرة فقط منه (مما كان لا يزال يتطلب تحميل النموذج الكامل، مما يهدر الذاكرة). تأخذ FedSLM نهجاً مختلفاً، وهو نهج هيكلي أكثر.
النتيجة الرئيسية التي توصل إليها الباحثون هي أنه يمكنك تفكيك نموذج الذكاء الاصطناعي العملاق إلى قطع أصغر وذاتية الاحتواء باستخدام خدعة رياضية تسمى تحليل القيم المفردة (SVD). تخيل النموذج العملاق كنسيج (تابستري) ضخم ومعقد. بدلاً من محاولة نسخ النسيج بأكمله على نول صغير، تقوم FedSLM بتقطيع النسيج إلى خيوته الأساسية (الفضاءات الفرعية منخفضة الرتبة) وتمنح كل عميل نولاً صغيراً يمكن إدارته يحتوي فقط على تلك الخيوط. بعد ذلك، يتعين على العملاء فقط نسج "محول" (Adapter) خفيف الوزن (رقعة صغيرة من الخيط الجديد) على نولهم للتعلم من بياناتهم الخاصة. ولأن جميع العملاء ينسجون على أنوال مشتقة من نفس النسيج الأصلي، فإن أنماطهم تتناسب مع بعضها البعض بشكل مثالي.
بمجرد أن ينتهي العملاء من نسج رقعاتهم، يجمعها الخادم. ولكن هنا يكمن الجزء الذكي: الخادم لا يقوم فقط بلصق الرقع الصغيرة معاً. بل يقوم أولاً بإعادة بناء نسخ كاملة الحجم من الأنماط من كل مجموعة من العملاء، ثم يمزجها في نموذج عالمي واحد متماسك. وأخيراً، لضمان أن النتيجة النهائية ليست مجرد نسخة ضبابية من الرقع الصغيرة، يستخدم الخادم طريقة تعليم "من الضعيف إلى القوي". فهو يعامل النماذج الصغيرة المجمعة كـ "معلم ضعيف"، ويستخدم تقنية "فقدان الثقة" (confidence-loss) الخاصة لتعليم "الطالب القوي" (نموذج الخادم كامل النطاق) كيفية تعلم المعرفة الجديدة دون نسخ أخطاء المعلم الضعيف أو "آثار الضغط" (compression artifacts).
تجادل الورقة البحثية صراحة ضد فكرة أنه يجب عليك إما تحميل النموذج الكامل على كل عميل (وهو أمر مستحيل للكثيرين) أو الاعتماد فقط على إرسال مخرجات نصية (مما يؤدي إلى فقدان الكثير من التفاصيل الدقيقة). وقد أظهروا أن طريقتهم تحافظ على السلامة الهيكلية للنموذج بينما تسمح للعملاء بالعمل بنحو 50% من ذاكرة وحدة معالجة الرسومات (GPU) المطلوبة للنموذج الكامل. وفي تجاربهم على مهام اللغة الطبيعية واللغة المرئية، تفوقت FedSLM باستمرار على الطرق الموجودة، حتى عندما كانت البيانات غير منظمة وغير متساوية التوزيع. وقد قاس الباحثون أن العملاء الذين يستخدمون نماذجهم المضغوطة يمكنهم العمل بنصف تكلفة الذاكرة تقريباً مع الاستمرار في تحقيق أداء قوي، وغالباً ما استعادوا بل وتجاوزوا دقة النموذج الأصلي غير المضغوط في مهام محددة.
إن الثقة في هذه النتائج تأتي من الاختبارات المكثفة على معايير مثل ARC وHellaSwag والمجموعات البيانية الطبية، حيث أظهرت الطريقة تحسينات واضحة على مناهج التعلم الاتحادي الأخرى. ويشير المؤلفون إلى أن هذا النهج ينجح في سد الفجوة بين الحاجة إلى الخصوصية، والقيود المفروضة على الأجهزة، والرغبة في الحصول على ذكاء اصطناعي متخصص وقوي، مما يثبت أنك لست بحاجة إلى حاسوب خارق للمساهمة في بناء عقل خارق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.