Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning
تقترح هذه الورقة البحثية وتقيم إطار عمل للضبط الدقيق الاتحادي باستخدام طرق كفؤة في استخدام المعلمات (LoRA، وQLoRA، وIA3) على بيانات خاصة غير متماثلة التوزيع (non-IID) عبر مجالات الرعاية الصحية والتمويل، مما يثبت تحقيقها لأداء يضاهي التدريب المركزي مع التفوق على التعلم المنعزل، وتقديم حلول موفرة للطاقة لتكييف النماذج اللغوية الكبيرة دون مشاركة البيانات الحساسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: فتح "الخزائن المغلقة" للمعرفة
تخيل أن المعلومات الأكثر قيمة في العالم (مثل السجلات الطبية التفصيلية للمرضى أو سجلات العملاء المصرفية الخاصة) مغلقة داخل آلاف الخزائن المنفصلة وعالية التأمين. هذه الخزائن مملوكة لمستشفيات وبنوك مختلفة.
حالياً، تم تدريب نماذج الذكاء الاصطناوي "الأكثر ذكاءً" (نماذج اللغات الكبيرة أو LLMs) على بيانات عامة، مثل الكتب والمواقع الإلكترونية المتاحة للجميع. ولكن لكي تصبح هذه النماذج جيدة حقاً في وظائف محددة — مثل تشخيص الأمراض النادرة أو رصد الاحتيال المالي — فإنها تحتاج إلى التعلم من تلك الخزائن المغلقة.
المشكلة: لا يمكن فتح هذه الخزائن ودمجها في غرفة واحدة ضخمة بسبب قوانين الخصوصية وقواعد الأمن. لا يمكنك نقل البيانات؛ بل يجب أن تبقى حيث هي.
الحل: تقترح هذه الورقة طريقة تجعل هذه الخزائن "تتحدث" مع بعضها البعض دون أن تفتح أبوابها أبداً. إنهم يستخدمون طريقة تسمى التعلم الاتحادي (Federated Learning). فكر في الأمر كأنه مجموعة من الطهاة الذين يمتلك كل منهم وصفة عائلية سرية. بدلاً من إرسال وصفاتهم إلى مطبخ مركزي (وهو أمر محظور)، يقوم كل منهم بطهي جزء صغير من الطبق في مطبخه الخاص، ثم يرسلون فقط "ملاحظات التذوق" إلى رئيس طهاة، الذي يمزج تلك الملاحظات معاً لإنشاء وصفة رئيسية، ثم يرسل تلك الوصفة الرئيسية مرة أخرى إلى الجميع. لا أحد يرى مكونات الآخر أبداً، لكن الجميع ينتهي بهم الأمر بتقديم طبق أفضل.
التجربة: سباق بين ثلاثة فرق
قام الباحثون بإعداد مسابقة لمعرفة مدى فعالية طريقة "مشاركة الوصفات" هذه مقارنة بطريقتين أخريين لتدريب الذكاء الاصطناعي. وقد اختبروا ذلك في مجالين رفيعي المستوى: الطب (الإجابة على أسئلة الامتحانات الطبية) والتمويل (تحليل مشاعر الأخبار المالية).
لقد قارنوا بين ثلاثة فرق:
- فريق "الكل في واحد" (المركزي): خرقوا القواعد ونقلوا جميع البيانات إلى غرفة واحدة ضخمة لتدريب الذكاء الاصطناعي. هذا هو "المعيار الذهبي" للأداء، ولكنه عادة ما يكون غير قانوني في الحياة الواقعية.
- فريق "الذئب المنفرد" (المؤسسة الواحدة): قام كل خزانة بتدريب ذكاء اصطناعي خاص بها باستخدام كومتها الصغيرة من البيانات فقط. لم يتحدثوا مع أحد.
- الفريق "التعاوني" (الاتحادي): هذا هو التركيز الرئيسي للورقة. احتفظت الخزائن ببياناتها مغلقة ولكنها شاركت "ملاحظات التعلم" الخاصة بها (تحديثات النموذج) لبناء ذكاء اصطناعي واحد ذكي معاً.
النتائج: الفريق التعاوني يفوز (تقريباً)
كانت النتائج مشجعة للغاية:
- أفضل من العمل المنفرد: تفوق "الفريق التعاوني" (الاتحادي) دائماً تقريباً على فرق "الذئب المنفرد". من خلال مشاركة ملاحظات التعلم الخاصة بهم، تعلموا من تجارب بعضهم البعض الفريدة.
- جيد تقريباً مثل فريق "الكل في واحد": بشكل مفاجئ، كان أداء الفريق التعاوني قريباً جداً من أداء الفريق الذي لديه كل البيانات في غرفة واحدة. لم يفقدوا الكثير من الدقة، على الرغم من أنهم لم يروا أبداً البيانات الخام من الخزائن الأخرى.
- تحدي "البيانات غير المتماثلة" (Non-IID): في العالم الحقيقي، لا تكون البيانات مختلطة بشكل مثالي. فقد يشهد مستشفى ما معظم حالات القلب، بينما يشهد آخر معظم حالات العظام. لقد قام الباحثون بمحاكاة هذا الواقع "الفوضوي". وحتى مع هذه البيانات غير المتساوية، نجح الفريق التعاوني في التعلم بفعالية.
الأدوات: اختيار "أدوات الطبخ" الصحيحة
لجعل هذا العمل ممكناً دون الحاجة إلى حواسيب فائقة في كل خزانة، استخدم الباحثون أدوات تدريب "فعالة" خاصة تسمى PEFT (الضبط الدقيق الفعال للمعلمات). وقد اختبروا ثلاث أدوات مختلفة، وقارنوها بأنواع مختلفة من أدوات المطبخ:
- LoRA (الخلاط شديد التحمل): أعطت هذه الأداة أفضل النتائج من حيث دقة الأداء الصافية. إنها تشبه خلاطاً قوياً يصنع كعكة مثالية، ولكنه يتطلب الكثير من الكهرباء (الذاكرة) ويرسل ملاحظات كبيرة بين المطابخ (تكلفة الاتصال).
- QLoRA (الخلاط الموفر للطاقة): هذه نسخة من الخلاط تستخدم كهرباء أقل. كانت جيدة تقريباً مثل الخلاط شديد التحمل ولكنها تطلبت ذاكرة أقل بكثير. وهذا يعد فوزاً كبيراً للمستشفيات أو البنوك التي لا تمتلك خوادم ضخمة.
- IA3 (الملعقة الصغيرة): ترسل هذه الأداة أصغر الملاحظات بين المطابخ، مما يجعلها الأسرع في التواصل. ومع ذلك، لم تجعل الكعكة لذيذة تماماً مثل الأداتين الأخريين. إنها رائعة إذا كان لديك اتصال إنترنت بطيء، ولكن قد تضحي بالقليل من الجودة.
زاوية الذكاء الاصطناعي الأخضر: توفير الطاقة
نظرت الورقة أيضاً في جانب "الأخضر". إن تدريب الذكاء الاصطناعي يستهلك الكثير من الطاقة.
- QLoRA كانت الفائزة في توفير الذاكرة (الكهرباء)، مما يجعلها خياراً "أخضر" لتشغيل هذه النماذج على أجهزة أصغر.
- IA3 كانت الفائزة في توفير عرض النطاق الترددي (الاتصال)، مما يجعلها فعالة للشبكات ذات السرعات المحدودة.
الخلاصة
تثبت هذه الورقة أننا لسنا بحاجة لكسر قوانين الخصوصية لبناء ذكاء اصطناعي أكثر ذكاءً. فمن خلال استخدام الضبط الدقيق الاتحادي (Federated Fine-Tuning)، يمكن للمؤسسات التعاون لإنشاء نماذج ذكاء اصطناعي متخصصة وقوية تفهم الطب والتمويل بعمق، كل ذلك مع إبقاء البيانات الخاصة مغلقة بأمان داخل جدرانها الخاصة.
النتيجة الرئيسية: يمكنك الحصول على كعكتك (الأداء العالي) والاستمتاع بها أيضاً (الحفاظ على خصوصية البيانات)، بشرط اختيار الأداة المناسبة (مثل QLoRA أو LoRA) للمهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.