FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs
يُعد FedLNS إطار عمل من جانب الخادم يعمل على التخفيف من حدة التلاعب العدائي في التدريب الاتحادي للنماذج اللغوية الكبيرة من خلال فحص تحديثات العملاء الضارة عبر تحليل خفيف الوزن لتغيرات معاملات طبقة التطبيع، محققاً متانة فائقة عبر بنيات نماذج متنوعة دون الحاجة إلى تبادل بيانات إضافية أو أمثلة هجوم مصنفة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء المساعدات الذكية، وأدوات البحث، ومعينات الكتابة التي نستخدمها كل يوم. تتعلم هذه الأنظمة من خلال قراءة كميات هائلة من النصوص، ولكن الكثير من المعلومات الأكثر قيمة محجوزة في أماكن خاصة: مثل الرسائل الشخصية، أو السجلات الطبية، أو وثائق الشركات المملوكة. ولتعليم نموذج ما باستخدام هذه البيانات الخاصة دون رؤية البيانات نفسها، يستخدم الباحثون طريقة تسمى "التعلم الاتحادي" (Federated Learning). في هذا الإعداد، يسافر النموذج إلى البيانات بدلاً من العكس؛ حيث يرسل الكمبيوتر المركزي نسخة من النموذج الحالي إلى العديد من الأجهزة المختلفة، ويقوم كل جهاز بالتدريب على معلوماته الخاصة، ثم يرسل فقط التغييرات التي تعلمها. بعد ذلك، يقوم الكمبيوتر المركزي بدمج هذه التغييرات لإنشاء نموذج أكثر ذكاءً وتحديثاً. تحمي هذه العملية الخصوصية، لكنها تخلق ثغرة أمنية جديدة: وهي أن الكمبيوتر المركزي لا يمكنه رؤية ما حدث على الأجهزة المحلية. فقد يتظاهر جهاز غير نزيه بأنه يتعلم من بيانات خاصة بينما يتم تلقيمه في الواقع تعليمات كاذبة، مما يخدع الكمبيوتر المركزي لتبني دروس ضارة تؤدي إلى تدهور قدرة النموذج على التحدث أو الكتابة بشكل صحيح.
لقکد طور فريق من الباحثين طريقة جديدة لرصد هذه التحديثات غير النزيهة قبل أن تتمكن من إلحاق الضرر بالنموذج العالمي. أطلقوا على نظامهم اسم "FEDLNS"، وهي طريقة تعمل مثل نقطة تفتيش أمنية للمعلومات المتدفقة عائدة إلى الخادم المركزي. وبدلاً من محاولة فحص كل جزء من تحديثات النموذج الضخمة — والتي قد تحتوي على مليارات الأرقام وتكون معقدة للغاية بحيث لا يمكن فحصها بدقة — يركز الباحثون على مجموعة صغيرة ومحددة من الأرقام داخل النموذج. تتحكم هذه الأرقام في كيفية قياس وإزاحة فهم النموذج الداخلي للغة، وتعمل بمث de بصمة لكيفية تعديل النموذج. ومن خلال مراقبة كيفية تغير هذه الأرقام المحددة، يمكن للخادم بناء ملف تعريف لما يبدو عليه التعلم الصادق والطبيعي. وعندما يرسل جهاز ما تحديثاً، يقارن الخادم بصمته مع سجل البصمات من الأجهزة الأخرى؛ فإذا بدت تغييرات الجهاز مختلفة جداً عن بقية المجموعة، يقوم النظام بتصنيفه كجهاز مشبوه ويضعه جانباً، مما يمنع التحديث السيئ من الاختلاط بالنموذج النهائي.
اختبر الباحثون هذا النهج على ثلاثة أنواع مختلفة من النماذج اللغوية، تتراوح بين تلك التي تتنبأ بالكلمة التالية في الجملة، وصولاً إلى تلك التي تملأ الكلمات المفقودة، وأخيراً النماذج الكبيرة المشابهة لتلك التي تشغل برامج الدردشة الحديثة. وقاموا بمحاكاة سيناريو حيث كانت نسبة تصل إلى أربعين بالمائة من الأجهزة المشاركة خبيثة، تحاول عمداً إفساد النموذج عبر تعليمه ارتباطات خاطئة بين الكلمات. وفي ظل هذه الظروف الصعبة، نجح النظام الجديد في تصفية التحديثات الضارة. وقد أظهرت النماذج التي تدربت باستخدام هذه الحماية أداءً أفضل بكثير من تلك التي تدربت باستخدام طرق السلامة الحالية. وتحديداً، ارتكبت النماذج المحمية أخطاءً أقل عند التنبؤ بالكلمة التالية، مما أظهر انخفاضاً في الارتباك بنسبة تصل إلى ثمانية عشر بالمائة مقارنة بأفضل طريقة أخرى. كما أظهرت أيضاً تراجعاً في عدم اليقين بشأن خياراتها، مما يعني أنها كانت أقل عرضة لإنتاج جمل مربكة أو غير منطقية.
وما يجعل هذا الاكتشاف مفيداً بشكل خاص هو أنه لا يتطلب من الخادم المركزي امتلاك قائمة بالجهات الفاعلة السيئة المعروفة، كما أنه لا يحتاج إلى كاشف منفصل مدرب مسبقاً للإمساك بالكاذبين. فالنظام يتعلم ما هو طبيعي ببساطة من خلال مراقبة مجموعة الأجهزة بمرور الوقت؛ فهو ينتظر حتى يرى عدداً كافياً من الأجهزة المختلفة لبناء صورة موثوقة للسلوك الصادق، ومن ثم يبدأ في عملية الفحص. ووجد الباحثون أنه كلما راقب النظام عدداً أكبر من الأجهزة قبل البدء في الفحص، كان أداؤه أفضل، رغم أنه لا يزال بإمكانه العمل بفعالية مع رؤية جزئية للمجموعة. والأهم من ذلك، أن هذه الحماية تتم بالكامل من جانب الخادم؛ إذ لا تحتاج الأجهزة التي ترسل التحديثات إلى تغيير برامجها أو إرسال أي معلومات إضافية، مما يجعل الطريقة سهلة الإضافة إلى الأنظمة الحالية دون إبطائها.
تؤكد الدراسة أنه من الممكن تأمين التعلم الاتحادي دون التضحية بالخصوصية أو طلب بيانات موثوقة. فمن خلال التركيز على بصمة مدمجة ومرتبطة بالبنية الهيكلية بدلاً من النموذج بأكمله، أنشأ الباحثون درعاً خفيف الوزن يوقف التلاعب الضار قبل انتشاره. وفي عمليات المحاكاة التي أجروها، تفوق هذا النهج باستمرار على ست تقنيات سلامة شائعة أخرى عبر مختلف توزيعات البيانات وأنواع النماذج. وتشير النتائج إلى أنه من خلال مراقبة التحولات الداخلية الدقيقة للنموذج، يمكننا الحفاظ على نزاهة التعلم التعاوني حتى عندما يحاول جزء كبير من المشاركين خداع النظام. وهذا يوفر مساراً عملياً نحو بناء ذكاء اصطناعي أكثر موثوقية يمكنه التعلم من البيانات الخاصة دون أن يكون من السهل خداعه من قبل الجهات الفاعلة السيئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.