pFedMMA: Personalized Federated Fine-Tuning with Multi-Modal Adapter for Vision-Language Models
تقترح الورقة البحثية pFedMMA، وهو إطار عمل للتعلم الاتحادي المخصص يستخدم محولات متعددة الأنماط مع إسقاط مشترك عالميًا لتحقيق أفضل مستويات التوازن بين التخصيص والتعميم لنماذج الرؤية واللغة مع الحفاظ على كفاءة الاتصال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً فائق الذكاء وعالمياً (وهو نموذج الرؤية واللغة، مثل CLIP)، تعلم الطبخ من خلال تذوق ملايين الأطباق من كل الثقافات على وجه الأرض. هذا الطباخ بارع في التعرف على "الطماطم" أو "الكلب" بمجرد النظر إلى صورة وقراءة وصف لها.
ومع ذلك، هناك مشكلة: الخصوصية والتخصيص.
في العالم الحقيقي، لا يمكننا ببساطة إرسال جميع صور عائلاتنا الخاصة أو سجلاتنا الطبية إلى مطبخ هذا الطباخ المركزي. وهنا يأتي دور التعلم الاتحادي (Federated Learning). فبدلاً من إرسال البيانات، نقوم بإرسال "ملاحظات الطباخ" ذهاباً وإياباً. ولكن هنا تكمن العقبة: كل عائلة (أو "عميل") لديها أذواق مختلفة. هناك عائلة تحب الطعام الحار؛ وأخرى تكره الكزبرة. إذا حاول الطباخ صنع طبق "مثالي" للجميع، سينتهي به الأمر بصنع طبق باهت المذاق للجميع.
المشكلة في الحلول الحالية
المحاولات السابقة لحل هذه المشكلة كانت تشبه إعطاء كل عائلة مجموعة مختلفة من الملاحظات اللاصقة (تسمى "المطالبات" أو Prompts) لإخبار الطباخ بما يجب فعله.
- المشكلة: كتبت بعض العائلات ملاحظات محددة جداً لمطابخها الخاصة لدرجة أن الطباخ نسي كيف يطبخ لأي شخص آخر. إذا طلبت من الطباخ طبخ طبق لشخص غريب (فئة "جديدة")، سيصاب الطباخ بالارتباك لأن الملاحظات كانت غريبة جداً.
- النتيجة: براعة في الطبخ لعائلتك الخاصة، وفشل ذريع في الطبخ لأي شخص آخر.
الحل: pFedMMA (نظام "المحول العالمي")
يقترح مؤلفو هذه الورقة نظاماً جديداً يسمى pFedMMA. بدلاً من مجرد الملاحظات اللاصقة، هم يمنحون الطباخ مجموعة من الأدوات المطبخية القابلة للتخصيص (المحولات/Adapters) التي تُركب مباشرة على أدوات الطباخ الموجودة لديه.
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. الأداة المكونة من ثلاثة أجزاء
تخيل أن الأداة لها ثلاثة أجزاء:
- المقبض المحلي (التدني/Down-Projection): هذا الجزء فريد لعائلتك فقط. فهو يضبط الأداة لتناسب ارتفاع منضدة مطبخك الخاص ورف التوابل المفضل لديك. هذا الجزء لا يتم مشاركته أبداً. يبقى خاصاً بك لكي تخصص تجربتك بشكل مثالي.
- الجوهر العالمي (الإسقاط المشترك/Shared Projection): هذا هو "عقل" الأداة. وهو موصل عالمي صغير يساعد الأداة على فهم الفرق بين "قطة" و"كلب" بطريقة منطقية للجميع. هذا الجزء يتم مشاركته مع الطباخ المركزي.
- الفوهة المحلية (الرفع/Up-Projection): هذا جزء فريد آخر يصب الصلصة النهائية تماماً كما تحب عائلتك. ومثل المقبض، يظل هذا الجزء خاصاً.
2. كيف يتعلمون معاً
في هذا النظام الجديد:
- التدريب المحلي: تقوم كل عائلة بتعديل المقابض والفوهات الخاصة بها لتعلم أذواقها المحددة. يفعلون ذلك في مطابخهم الخاصة دون إخبار أي شخص بما يفعلونه.
- المشاركة العالمية: بين الحين والآخر، يرسلون فقط الجوهر العالمي إلى الطباخ المركزي.
- السحر: يقوم الطباخ بخلط كل هذه "الجواهر العالمية" معاً لإنشاء فهم مشترك فائق الذكاء للعالم. ثم يرسل الطباخ هذا الجوهر المحسن للجميع.
3. لماذا هو أفضل؟
- أفضل ما في العالمين: لأن لديك مقابضك الفريدة، فإن النظام رائع في التخصيص لبياناتك المحددة (التخصيص). ولأنكم جميعاً تتشاركون نفس "الجوهر العالمي"، فإن النظام يتعلم لغة مشتركة تعمل مع الأشياء الجديدة التي لم يسبق له رؤيتها (التعميم).
- الكفاءة: بما أنهم يرسلون فقط "الجوهر العالمي" الصغير ذهاباً وإياباً، فالأمر يشبه إرسال بطاقة بريدية بدلاً من مكتبة كاملة. هذا يوفر قدراً هائلاً من عرض النطاق الترددي والوقت.
النتيجة في العالم الحقيقي
اختبرت الورقة هذا النظام على 11 مجموعة بيانات مختلفة (مثل التعرف على الزهور، الحيوانات الأليفة، الطعام، والقوام).
- الطرق القديمة: إما عرفت ذوق عائلتك تماماً لكنها فشلت مع الغرباء، أو عرفت كيف تطبخ للجميع لكن مذاقها كان سيئاً لعائلتك.
- pFedMMA: وجد التوازن المثالي. لقد تعلم تفضيلات عائلتك المحددة، ومع ذلك ظل يعرف كيف يطبخ وجبة لذيذة لغريب يطرق الباب.
باختاًختصار
pFedMMA يشبه منح كل مستخدم بدلة مفصلة خصيصاً (الأجزاء المحلية) لتناسب جسده، ولكن جميع البدلات مصنوعة باستخدام نفس نمط القماش عالي الجودة (الجزء المشترك) الذي يضمن أن تبدو جميعها جيدة وتناسب النمط العام للعالم. إنه يسمح للذكاء الاصطناعي بأن يكون شخصياً بعمق وذكياً على نطاق واسع في آن واحد، دون الحاجة لمشاركة البيانات الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.