Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage
تقترح هذه الورقة إطار عمل ثنائي الطبقات يعمل على فصل التصديق على البيانات الوصفية القائم على البلوكشين عن التخزين المجزأ خارج السلسلة، وذلك لتمكين الضبط الدقيق الاتحادي للنماذج اللغوية الكبيرة عبر المؤسسات بشكل موثوق وفعال من حيث التكلفة وقابل للتحقق دون المساس بخصوصية البيانات أو سلامة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي الحديث، تُعد النماذج اللغوية الكبيرة، وهي أنظمة قادرة على فهم وتوليد نصوص تشبه النصوص البشرية، أقوى الأدوات المتاحة. يتم تدريب هذه النماذج على كميات هائلة من البيانات، ولكن هذه البيانات غالباً ما تكون محبوسة في صوامع خاصة. فالمستشفيات تحتفظ بسجلات مرضى حساسة، والبنوك تحرس السجلات المالية، والحكومات تحمي معلومات المواطنين. وبسبب قوانو الخصوصية الصارمة والمخاوف الأمنية، لا تستطيع هذه المؤسسات ببساطة مشاركة بياناتها لتدريب ذكاء مشترك وأفضل. وهذا يخلق معضلة: كيف يمكن للمؤسسات التعاون لتحسين هذه الأدوات القوية دون الكشف عن معلوماتها الخاصة أبداً؟ تكمن الإجابة في طريقة تسمى "التعلم الاتحادي" (Federated Learning). فبدلاً من نقل البيانات إلى حاسوب مركزي، ينتقل نموذج الحاسوب إلى البيانات. تقوم كل مؤسسة بتدريب النموذج على معلوماتها المحلية الخاصة وترسل فقط التعديلات الرياضية الصغيرة المحدثة إلى منسق مركزي. هذا يحافظ على سلامة البيانات الخام، ولكنه يطرح مشكلة جديدة: كيف تثق في التحديثات التي تتلقاها؟ إذا أرسلت مؤسسة تحديثاً فاسداً أو مزيفاً، أو إذا سُرقت ملفات وتم التلاعب بها أثناء النقل، فقد يتعرض النموذج المشترك بأكمله للخطر. علاوة على ذلك، فإن تخزين هذه التحديثات الضخمة أمر صعب؛ فهي كبيرة جداً بحيث لا يمكن الاحتفاظ بها في سجل عام، ومع ذلك فهي تحتاج إلى سجل دائم وغير قابل للتغيير لإثبات أنها حقيقية.
لقد طور الباحثون إطار عمل جديد لحل لغز الثقة والتخزين هذا، من خلال الجمع بين تقنيتين متميزتين لإنشاء نظام آمن للتعاون بين المؤسسات. صمم الفريق، بقيادة شياولي لي وزملاؤها في جامعة هوبي للفنون والعلوم، نظاماً يقسم المهمة إلى جزأين: شهادة موثوقة ومخزن تخزين آمن. إنهم يستخدمون "سلسلة كتل اتحادية" (Consortium Blockchain)، وهي عبارة عن سجل رقمي مشترك تديره مجموعة من المؤسسات المعروفة والموثوقة، لتعمل بمثابة الشهادة. ومع ذلك، بدلاً من كتابة ملفات النموذج الضخمة مباشرة على هذا السجل — وهو أمر سيكون بطيئاً ومكلفاً ومستحيلاً تقنياً بالنسبة للبيانات الكبيرة — فإنهم يكتبون فقط بصمة فريدة وصغيرة للملف. هذه البصمة، المعروفة باسم "الهاش التشفيري" (Cryptographic Hash)، تعمل كختم للأصالة. فإذا تغير حتى بت واحد من ملف النموذج، تتغير البصمة تماماً، مما ينبه الجميع إلى أنه قد تم التلاعب بالملف. أما بيانات النموذج الفعلية، والتي قد يصل حجمها إلى عدة ميجابايت، فيتم تخزينها خارج سلسلة الكتل في نظام تخزين موزع ومرن. هذا الفصل يسمح للنظام بإبقاء السجل صغيراً وسريعاً مع ضمان بقاء البيانات الثقيلة متاحة وآمنة.
ولجعل التخزين خارج سلسلة الكتل قوياً، قام الباحثون بتقسيم كل ملف نموذج إلى قطع أصغر، أو "شظايا" (Shards)، قبل إرسالها إلى التخزين. تخيل وثيقة كبيرة يتم تقطيعها إلى عدة صفحات؛ إذا فُقدت صفحة واحدة أو تضررت، فلا تزال الصفحات الأخرى قابلة للاستخدام لاستعادة الوثيقة بأكملة. هذه الشظايا مشفرة بحيث لا يمكن إلا للأطراف المصرح لها قراءتها، ويتم نسخها إلى مواقع مستقلة متعددة. تم تصميم النظام بحيث إذا فشلت عقدة تخزين واحدة، أو حتى إذا تعطلت مجموعة كاملة من العقد بسبب انقطاع التيار الكهربائي أو مشكلة في الشبكة، فإن النسخ الأخرى في مواقع مختلفة تضمن عدم ضياع الملف أبداً. عندما ترغب مؤسسة في استرداد تحديث نموذج، يتحقق النظام من سلسلة الكتل أولاً لتأكيد هوية الملف ثم يجلب الشظايا من شبكة التخزين. يمكن للمستلم بعد ذلك التحقق من أن القطع تطابق البصمة الأصلية المسجلة على سلسلة الكتل. تتضمن هذه العملية كلاً من الفحوصات غير المتصلة بالإنترنت (Offline)، حيث يتم التحقق من الملف دون الحاجة إلى اتصال بالإنترنت، والفحوصات المتصلة بالإنترنت (Online)، والتي تؤكد أن الملف لا يزال صالحاً ولم يتم إلغاؤه.
اختبر الفريق إطار العمل هذا باستخدام نوع محدد من تحديثات النماذج الفعالة يسمى "LoRA"، والذي يعدل فقط جزءاً صغيراً من معاملات النموذج اللغوي الكبير. أجروا تجارب باستخدام عشر منظمات مشاركة، في محاكاة لسيناريو واقعي حيث يتم توزيع البيانات بشكل غير متساوٍ. اختبروا مستويات مختلفة من تعديل النموذج لمعرفة أي منها سينتج أفضل النتائج. أظهرت التجارب أن تكويناً معيناً، حيث تم تعديل النموذج برتبة ثمانية (Rank of eight)، حقق أعلى درجة أداء في المهام غير المرئية، حيث وصل إلى درجة 4.40 على مقيلة من عشر درجات. تفوق هذا التكوين على الإعدادات الأخرى، مما يشير إلى أنه قدم أفضل توازن لهذا النوع من التدريب التعاوني. والأهم من ذلك، قاس البحث تكلفة وسرعة طريقة التخزين الجديدة الخاصة بهم مقابل الأساليب التقليدية. وجدوا أن تخزين البيانات الوصفية الصغيرة فقط على سلسلة الكتل قلل من التكلفة الحسابية، المعروفة باستهلاك الغاز (Gas Consumption)، بمعامل يزيد عن 10,000 مقارنة بمحاولة تخزين ملف الـ 8.8 ميجابايت كاملاً مباشرة على السلسلة. وبينما تم تخزين الملف الكامل خارج سلسلة الكتل، نجح النظام أيضاً في تسريع عملية التخزين بنسبة تقارب 30 بالمائة عن طريق رفع شظايا الملف بالتوازي بدلاً من رفعها واحداً تلو الآخر.
تثبت النتائج أن فصل إثبات هوية الملف عن الملف نفسه هو حل عملي لمستقبل الذكاء الاصطناعي التعاوني. فمن خلال إبقاء البيانات الثقيلة خارج سلسلة الكتل واستخدام نظام تخزين مجزأ وآمن للملفات الفعلية، أنشأ الباحثون سير عمل يتسم بالموثوقية والكفاءة. يضمن النظام إمكانية تتبع كل تحديث للنموذج وصولاً إلى مصدره والتحقق من سلامته دون إغراق الشبكة أو كشف البيانات الخاصة. وبينما كان الوقت الإجمالي لإكمال دورة كاملة من التخزين والتحقق أطول قليلاً بسبب الخطوات الإضافية للتجزئة والتحقق، فإن الخفض الهائل في التكلفة والزيادة في الموثوقية يجعل هذا النهج قابلاً للتطبيق في الاستخدام الواقعي. يشير هذا العمل إلى أنه بينما تصبح المؤسسات أكثر استعداداً للتعاون في مجال الذكاء الاصطناعي، يمكنها القيام بذلك دون التضحوج بالأمن أو الخصوصية، بشرط امتلاك نظام يمكنه التحقق من صحة البيانات دون الحاجة إلى الاحتفاظ بكل شيء في مكان واحد. يوفر إطار العمل هذا مساراً للمستقبل حيث يمكن للمؤسسات بناء نماذج أفضل معاً، واثقة من أن المساهمات حقيقية وأن البيانات تظل آمنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.