Understanding Machine Unlearning Through the Lens of Mode Connectivity
تقدم هذه الورقة مفهوم ترابط الأنماط في عملية نسيان البيانات (MCU) لتحليل هندسة التحسين لنسيان الآلة، كاشفةً أن النماذج المنسية غالباً ما تستقر في أحواض منخفضة الخسارة ومتصلة بآليات تختلف عن إعادة التدريب، مع تقديم رؤى حول مقاييس الخصوصية، والتقدم غير الخطي للنسيان، وتحسين المتانة من خلال التجميع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقلًا رقميًا فائق الذكاء، نموذج تعلم آلي، قد قرأ الإنترنت بأكمله. إنه يعرف كل شيء، من كيفية خبز كعكة إلى الوصفة السرية لكعكة مشهورة. ولكن بعد ذلك، يطلب منه شخص ما أن ينسى وصفة تلك الكعكة لأنها محمية بحقوق الطأليف، أو ربما لأنها أصبحت قديمة. لا يمكنك ببساطة حذف بضعة أسطر من الكود البرمجي؛ فقد نسج هذا العقل تلك المعرفة في بنيته الجوهرية. وإذا حاولت انتزاعها، فقد تكسر بالخطأ قدرته على خبز الكعكة أو الإجابة على الأسئلة البسيطة. هذا هو العالم المعقد لـ "النسيان الآلي" (Machine Unlearning): فن جعل الذكاء الاصطناعي ينسى أشياء محددة دون تدمير ذكائه العام.
لفهم كيف يعمل هذا، ينظر العلماء إلى "مشهد الخسارة" (loss landscape). فكر في هذا المشهد كأرض تضاريسية جبلية عملاقة، حيث يمثل ارتفاع الأرض مدى سوء أداء الذكاء الاصطناعي في مهمته. يسعى الذكاء الاصطناعي للعثور على أعمق وادٍ (أدنى نقطة) حيث يرتكب أقل عدد من الأخطاء. عادةً، إذا قمت بتدريب نموذجين مختلفين من الذكاء الاصطناعي من الصفر، فقد ينتهي بهما المطاف في وديان مختلفة. لكن اكتشافًا رائعًا يسمى "اتصال الأنماط" (Mode Connectivity) أظهر أن هذه الوديان المنفصلة غالبًا ما تكون متصلة بمسارات سلسة ومنخفضة. يمكنك الانتقال من حل ذكاء اصطناعي واحد إلى آخر دون الحاجة أبدًا لتسلق تلة شديدة الانحدار. يسأل هذا البحث سؤالًا جديدًا: إذا أخذنا ذكاءً اصطناعيًا واحدًا وأجبرناه على نسيان شيء ما، فهل سينتهي به المطاف في وادٍ لا يزال متصلاً بنسخ أخرى "منسية" من نفسه؟ وهل يظل المسار بينهما سلسًا، أم يتحول إلى منحدر وعر ومكسور؟
قرر الباحثان، جالي تشينج وهادي أميري، استكشاف ذلك عبر تقديم مفهوم جديد يسمى "اتصال الأنماط في النسيان" (Mode Connectivity in Unlearning - MCU). لقد تعاملا مع عملية النسيان وكأنها رحلة عبر خريطة. وبدلاً من مجرد التحقق مما إذا كان الذكاء الاصطناعي قد نسي الشيء الصحيح، نظرا إلى "التضاريس" بين نسختين مختلفتين من الذكاء الاصطناعي الذي نسي. ووجدا أنه بالنسبة للعديد من الطرق، يكون المسار بالفعل سلسًا. يمكنك الانزلاق من نموذج "منسي" إلى آخر دون أن يتذكر الذكاء الاصطناعي فجأة الوصفة السرية أو يفقد قدرته على خبز الكعكة. إن مشهد النسيان غالبًا ما يكون واديًا واسعًا ومسطحًا بدلاً من كونه مجموعة من الحفر المعزولة.
ومع ذلك، فإن الرحلة ليست دائمًا هي نفسها. يكشف البحث أن كيفية تعليم الذكاء الاصطناعي النسيان أمر بالغ الأهمية. إذا استخدمت حيلًا تدريبية مختلفة — مثل تغيير ترتيب الدروس (التعلم المنهجي/curriculum learning) أو استخدام طريقة رياضية أكثر تعقيدًا (التحسين من الدرجة الثانية/second-order optimization) — فقد ينتهي بك الأمر في وديان مختلفة تمامًا غير متصلة ببعضها البعض. الأمر يشبه اتخاذ طريقين مختلفين للوصة نفسها؛ أحدهما قد يكون طريقًا سريعًا سلسًا، بينما الآخر قد يكون طريقًا ترابيًا وعرًا يؤدي إلى حي مختلف تمامًا.
أحد أكثر الاكتشافات إثارة للدهشة هو أنه حتى عندما يبدو نموذجان "منسيان" متطابقين على الورق (أي أنهما في نفس الوادي السلس)، يمكنهما التصرف بشكل مختلف تمامًا في الخفاء. وجد الباحثون أنه بينما كان النموذجان يؤديان بشكل مشابه في الاختبارات القياسية، إلا أن مستويات "الخصوصية" لديهما كانت تتذبذب بشدة. فقد يكون أحد النموذجين آمنًا من المتسللين الذين يحاولون خداعه لتذكر السر، بينما قد يكون توأمه في نفس الوادي مسربًا للمعلومات بشكل خطير. وهذا يشير إلى أنه مجرد كون الذكاء الاصطناعي يبدو وكأنه قد نسي، لا يعني أنه آمن حقًا.
كما كشف البحث عن نمط غريب في كيفية حدوث النسيان. فالنسيان لا يحدث دفعة واحدة. في الباوية، يتوقف الذكاء الاصطناعي عن تكرار الكلمات الدقيقة للسر (مثل توقف الببغاء عن قول عبارة معينة)، لكنه لا يزال يحتفظ بالفكرة الأساسية. وفقط لاحقًا، مع المضي قدمًا في المسار، يبدأ في فقدان المعرفة العميقة حقًا. الأمر يشبه توقف الذكاء الاصطناعي عن قول "وصفة الكعكة هي..." بينما لا يزال يعرف كيفية خبزها، حتى ينسى الوصفة تمامًا في النهاية.
أخيرًا، يقترح المؤلفون أن هذه "السلاسة" في المسار هي أداة مفيدة. فإذا كان المسار بين نموذجين منسيين وعرًا ومليئًا بالعوائق، فهذا يعني أن مهمة النسيان كانت صعبة حقًا. أما إذا كان المسار سلسًا، فقد كانت المهمة أسهل. وقد أظهروا أيضًا أنه من خلال خلط النماذج من نقاط مختلفة على هذا المسار السلس، يمكنك إنشاء ذكاء اصطناعي فائق القوة يصعب خداعه لتذكر السر مرة أخرى.
باختصار، هذا البحث لا يخبرنا فقط إذا كان بإمكان الذكاء الاصطناعي أن ينسى، بل يعطينا خريطة لـ كيفية نسيانه. إنه يوضح لنا أن مشهد النسيان معقد، أحيانًا يكون سلسًا وأحيانًا وعرًا، وأن الطريقة التي نتنقل بها تغير كل شيء حول مدى أمان وموثوقية نماذج الذكاء الاصطناعي المنسية لدينا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.