What to Forget in Unlearning? Forget Set Curation for Language Models
تقدم هذه الورقة CleanSlate، وهو معيار مرجعي يوضح أن تنسيق مجموعات النسيان يمثل تحدياً جوهرياً في مرحلة ما قبل عملية "إلغاء التعلم الآلي"، حيث تفشل طرق الاختيار البسيطة في كبح المحتوى المستهدف، بينما تتسبب الاستراتيجيات المفرطة في القوة في أضرار جانبية كبيرة لقدرات النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تُضغط فيه مكتبات المعرفة البشرية الهائلة في برنامج كمبيوتر واحد فائق الذكاء. هذا البرنامج، المعروف باسم "النموذج اللغوي"، يتعلم من خلال قراءة تريليونات الكلمات من الكتب والمواقع الإلكترونية والأغاني. يصبح بارعاً في ذلك لدرجة أنه يمكنه محاكاة أسلوب شاعر أو إكمال جملة من رواية شهيرة. ولكن في بعض الأحيان، يحتاج مالكو هذه البرامج إلى إزالة معلومات محددة. ربد يكون قد استُخدمت أغنية دون إذن، أو أن قصة خاصة تم حفظها عن طريق الخطأ. الهدف هو جعل الكمبيوتر "ينسى" ذلك المحتوى المحدد دون الحاجة إلى حذف ذاكرته بالكامل والبدء من جديد. تسمى هذه العملية "إلغاء التعلم الآلي" (machine unlearning). لسنوات، ركز الباحثون على آليات كيفية حذف البيانات بمجرد معرفة الكلمات المستهدفة بدقة. لقد تعاملوا مع قائمة الكلمات المراد نسيانها كنقطة انطلاق بسيطة، بافتراض أنه إذا أخبرت الكمبيوتر أن ينسى جملة معينة، فسيفعل ذلك ببساطة.
ومع ذلك، تشير دراسة جديدة من جامعة ستانفورد إلى أن هذا الافتراض يغفل خطوة حاسمة وصعبة. فقد أدرك الباحثون أنه في العالم الحقيقي، نادراً ما تأتي طلبات نسيان شيء ما مع قائمة دقيقة من الكلمات. قد يطلب مستخدم من النموذج التوقف عن غناء أغنية معينة، لكن هذه الأغنية موجودة في ذاكرة الكمبيوتر بأشكال عديدة ومختلفة. قد تظهر في الكلمات الرسمية، ولكنها تظهر أيضاً في مقال إخباري يقتبس سطراً منها، أو في منتدى للمعجبين يناقش اللحن، أو في ملف برمجي يخزن النص، أو في مراجعة تذكر اللازمة (القرار). الكمبيوتر لا يعرف الأغنية من نسخة واحدة مثالية فحسب؛ بل يعرفها من سحابة متفرقة من هذه الإشارات المتنوعة. يسأل البحث الجديد سؤالاً جوهرياً: كيف تجد كل تلك القطع المتناثرة لأغنية أو كتاب داخل مكتبة ضخمة من النصوص، حتى تتمكن من إخبار الكمبيوتر بنسيانها؟ أطلق الفريق على هذه الخطوة المفقودة اسم "تنسيق مجموعة النسيان" (forget set curation)، ووجدوا أن الخطأ فيها يمكن أن يتسبب في فقدان الكمبيوتر لأكثر بكثير من مجرد الأغنية غير المرغوب فيها.
وللتحقيق في ذلك، بنى الباحثون أرضية اختبار أطلقوا عليها اسم "CLEANSLATE". قاموا بجمع آلاف الأغاني من قائمة "بيلبورد هوت 100" الممتدة من عام 1970 إلى 2025، بالإضافة إلى خمسين كتاباً. ثم اختبروا مدى نجاح طرق مختلفة في تحديد أجزاء النص المحددة التي يجب إزالتها. وقارنوا بين نهجين رئيسيين. اعتمد النهج الأول على أدوات البحث القياسية، تشبه الطريقة التي قد يستخدم بها الشخص محرك بحث للعثين عن كتاب. بحثت هذه الأدوات عن تطابقات دقيقة للكلمات أو العبارات. أما النهج الثاني فكان أكثر هجوماً: فقد بحث مباشرة في أجزاء النص المحددة التي من المرجح أن يعيد الكمبيوتر إنتاجها واختارها للإزالة، مما يعني تجاوز خطوة البحث لاستهداف مناطق المشكلة بدقة.
كشفت النتائج عن تعقيد مفاجئ. فعندما استخدم الباحثون أدوات البحث القياسية للعثور على النص، كانت النتائج ضعيفة في كثير من الأحيان. استمر الكمبيوتر في غناء الأغنية أو إلقاء الكتاب، حتى بعد أن قامت أدوات البحث بإزالة النسخ الواضحة. حدث هذا لأن الكمبيوتر تعلم الأغنية من مصادر صغيرة ومتفرقة فاتتها أدوات البحث. إن "بصمة" الأغنية ليست مجرد كلماتها الرسمية؛ بل هي شبكة منتشرة من الاقتباسات والإشارات والقصاصات الموزعة عبر الإنترنت. وعندما حاول الباحثون أن يكونوا أكثر شمولاً واستهدفوا نوافذ النص الدقيقة التي يستخدمها الكمبيوتر لتوليد الأغنية، واجهوا نوعاً آخر من المشكلات. لقد نجحوا في منع الكمبيوتر من غناء الأغنية، ولكن من خلال القيام بذلك، ألحقوا الضرر بقدرة الكمبيوتر على تذكر أشياء أخرى. أصبح النموذج أسوأ في الإجابة على الأسئلة المتعلقة بحقائق الأغنية، كما فقد بعض مهاراته العامة، مثل القدرة على التفكير المنطقي أو حل المسائل الرياضية.
أظهرت الدراسة أن اختيار النص الذي يجب إزالته ليس مجرد تفصيل تقني؛ بل هو جزء رئيسي من الحل نفسه. وجد الباحثون أن نفس قائمة النص المراد نسيانه يمكن أن تؤدي إلى نتائج مختلفة تماماً اعتماداً على الخوارزمية المستخدمة لحذفه. في بعض الحالات، الطريقة التي نجحت تماماً مع نموذج كمبيوتر معين تسببت في ضرر كبير لنموذج آخر. وهذا يعني أنه لا يمكنك ببساه اختيار قائمة كلمات وافتراض أن عملية الحذف ستكون نظيفة. إن عملية اختيار البيانات وعملية الحذف مرتبطان بعمق. إذا اخترت القليل جداً، فسيظل السلوك غير المرغوب فيه قائماً. وإذا اخترت الكثير، أو النوع الخاطئ من النصوص، فإنك تخاطر بمحو المعرفة القيمة وإضعاف ذكاء الكمبيوتر العام.
في نهاية المطاف، تشير الدراسة إلى أن فكرة وجود قائمة بسيطة ومثالية للأشياء التي يجب نسيانها هي مجرد وهم. في الواقع الفوضوي لكيفية تعلم هذه النماذج، يتم دعم الأغنية أو الكتاب بواسطة شبكة واسعة وغير مرئية من النصوص. ولنسيان محتوى ما حقاً دون إيذاء بقية عقل النموذج، يجب أن يتم اختيار البيانات بعناية فائقة، مع مراعاة كيفية تعلم نموذج كمبيوتر معين لهذا المحتوى بالضبط. وتخلص الدراسة إلى أن "إلغاء التعلم" العملي لا يمكن حله بمجرد تحسين أدوات الحذف؛ بل يتطلب طريقة جديدة للتفكير في كيفية إيجاد واختيار البيانات في المقام الأول. إن الطريق نحو المستقبل يتضمن تصميم نظام يتم فيه التخطيط لاختيار ما يجب نسيانه وطريقة نسيانه معاً، مما يضمن قدرة الكمبيوتر على التخلي عن طلب محدد دون فقدان قدرته على فهم العالم من حوله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.