GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints
تقدم هذه الورقة GRIP، وهو إطار عمل غير مرتبط بخوارزمية محددة يفرض قيوداً هندسية على تحديثات الموجه (router) في نماذج خليط الخبراء (Mixture-of-Experts) لمنع التلاعب بالتوجيه، مما يضمن محواً حقيقياً للمعرفة من معاملات الخبراء مع تحسين دقة الاستبقاء والمتانة ضد الاسترداد العدائي بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد نماذج اللغات الكبيرة أدوات قوية تعلمت الكتابة، والتفكير، وحل المشكلات من خلال دراسة كميات هائلة من النصوص. ومع ذلك، فإن هذا التعلم يأتي بتكلفة خفية: فغالبًا ما تحفظ هذه النماذج تفاصيل حساسة، مثل المعلومات الشخصية الخاصة، أو المواد المحمية بحقوق الطقوق، أو التعليمات الخطيرة، والتي لم يكن من المفترض الاحتفاظ بها. وعندما تفرض قوانً مثل "الحق في النسيان" على شركة ما إزالة هذه البيانات المحددة من النموذج، فإن الحل القياسي هو إعادة تدريب النظام بأكديد من الصفر بدون تلك البيانات. وهذه العملية مكلفة للغاية وبطيئة لدرجة أنها نادراً ما تُنفذ. وبدلاً من ذلك، طور الباحثون تقنيات "التعلم غير الموجه" (machine unlearning) المصممة لإزالة ذكريات محددة جراحياً دون إعادة بناء الدماغ بالكامل. وبينما تعمل هذه الأساليب بشكل جيد مع النماذج القياسية، فقد ظهر نوع جديد من البنى الهيكلية يسمى "خليط الخبراء" (Mixture-of-Experts) كبديل أسرع وأكثر كفاءة للأنظمة الأكبر. لا تستخدم هذه النماذج كل جزء من دماغها لكل سؤال؛ بل لديها "مدير حركة مرور" مدمج يختار فريقاً صغيراً من الشبكات الفرعية المتخصصة للتعامل مع كل مهمة. وتخلق هذه الكفاءة ثغرة فريدة: فعندما يُطلب من النظام نسيان شيء ما، يمكنه خداع المستخدم ببساطة عن طريق إعادة توجيه الأسئلة بعيداً عن "الخبراء" الذين يحملون الذكريات السيئة، مما يترك المعرفة الخطيرة سليمة وفي انتظار استرجاعها.
لقد حدد فريق من الباحثين هذه الثغرة وطوروا إطار عمل جديداً يسمى GRIP لإصلاحها. واكتشفوا أنه عندما تُطبق أساليب التعلم غير الموجه القياسية على هذه النماذج المتخصصة، فإن النظام يسلك الطريق الأقل مقاومة. فبدلاً من حذف المعرفة الضارة فعلياً من الشبكات الفرعية المتخصصة، يتعلم مدير حركة المرور ببساطة التوقف عن إرسال الأسئلة إلى هؤلاء الخبراء تحديداً. الأمر يشبه أمين مكتبة، بدلاً من إزالة كتاب محظور من الرف، يخبر جميع المرتادين ببساً بالبحث في قسم آخر. يظل الكتاب على الرف، سليماً تماماً، ويمكن لشخص مصمم أن يجده إذا عرف كيفية تجاوز تعليمات أمين المكتبة. وهذا يخلق وهماً خطيراً بالأمان، حيث يبدو أن النموذج قد نسي المعلومات، لكن البيانات ليست سوى مخفية خلف نمط توجيه متغير.
ولحل هذه المشكلة، ابتكر الباحثون طريقة تجبر النظام على مسح المعرفة فعلياً بدلاً من مجرد إخفائها. وقد حققوا ذلك من خلال وضع قيود هندسية صارمة على كيفية تغيير مدير حركة المرور لقراراته. تخيل مدير حركة المرور كمجموعة من القواعد التي تقرر المسار الذي يسلكه السؤال. وجد الباحثون أن النظام كان يحاول تغيير هذه القواعد لتجنب الخبراء الذين يحملون البيانات السيئة. وكان حلهم هو قفل القواعد في مكانها لجميع المعلومات الآمنة والمهمة التي يحتاجها النموذج. ومن خلال ضمان عدم قدرة مدير حركة المرور -رياضياً- على تغيير قرارات التوجيه الخاصة بالبيانات الآمنة، أزالوا قدرة النظام على استخدام التوجيه كطريق مختصر. لقد أجبر هذا عملية التعلم غير الموجه على القيام بالعمل الشاق المتمثل في تعديل الشبكات الفرعية المتخصصة التي تحمل المعرفة، مما يضمن أن المعلومات قد زالت حقاً.
اختبر الباحثون هذا النهج على نموذجين كبيرين ووجدوا أنه يعمل بشكل أفضل بكثير من الطرق السابقة. في الاختبارات القياسية، تسببت الأساليب القديمة في جعل نظام التوجيه غير مستقر، حيث يغير رأيه بشأن الخبراء الذين يجب استخدامهم للأسئلة الآمنة بنسبة 80% من الوقت، مما أضر بشدة بقدرة النموذج على العمل بشكل صحيح. واستعاد النهج الجديد هذه الاستقرار إلى أكثر من 94%، مما يعني أن النموذج استمر في استخدام الخبراء الصحيحين للمهام الآمنة تماماً كما كان يفعل من قبل. والأهم من ذلك، اختبروا ما إذا كانت المعرفة الخطيرة قد اختفت حقاً من خلال محاكاة مهاجم يمكنه تجاوز مدير حركة المرور وإجبار النموذج على استخدام الخبراء الأصليين. في الأساليب القديمة، سمح هذا التجاوز للمهاجم باستعادة المعلومات المحذوفة بنسبة 11% من الوقت. أما مع النهج الجديد، فقد انخفض معدل الاستعادة إلى 3% فقط، وهو مستوى يقارب النماذج التي تمت إعادة تدريبها بالكامل من الصفر.
كما قارنت الدراسة نهجهم بمحاولة سابقة حاولت حل نفس المشكلة باستخدام قواعد أقل صرامة وأكثر مرونة. هذا النهج السابق حسن الوضع قليلاً، لكنه لا يزال يسمح للنظام بالتلاعب بالتوجيه لإخفاء المعرفة. أثبت النهج الجديد، من خلال استخدام قيود صلبة، أن الطريقة الوحيدة لتحقيق تعلم غير موجه حقيقي في هذه النماذج الفعالة هي منع نظام التوجيه من أن يكون درعاً. أظهر الباحثون أن هذه التقنية تعمل عبر أنواع مختلفة من مهام التعلم غير الموجه، من إزالة المعرفة الخطيرة المتعلقة بالأمن السيبراني إلى حذف النصوص المحمية بحقوق الطبع والنشر. ووجدوا أن النموذج احتفظ بذكائه العام وقدرته على الإجابة على الأسئلة الآمنة بشكل أفضل بكثير من ذي قبل، محققاً تحسناً في أدائه على المهام المستبقاة بنسبة تصل إلى 89% مقارنة بالخط المرجعي غير المستقر.
يسلط هذا العمل الضوء على تمييز حاسم في كيفية تأمين الذكاء الاصطناعي. فهو يوضح أنه بالنسبة لهذه الأنظمة المعقدة والمتخصصة، فإن مجرد تغيير مسار المعلومات ليس كافياً لحماية الخصوصية أو السلامة. يجب مسح المعرفة من المصدر. ومن خلال ضمان عدم قدرة النظام على استخدام التوجيه لإخفاء المحتوى الخطير، قدم الباحثون طريقة موثوقة لإزالة ذكريات محددة دون التضحية بجدوى النموذج الإجمالية. وتشير نتائجهم إلى أن تدابير السلامة المستقبلية لنماذج اللغات الكبيرة يجب أن تأخذ في الاعتبار آليات التوجيه الداخلية هذه، لضمان عدم التلاعب بـ "مدير حركة المرور" لإخفاء المحتوى الخطير. والنتيجة هي نظام أكثر قوة حيث يكون إزالة البيانات حقيقياً، وليس مجرد مسألة تغيير للخريطة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.