💬 NLP

Deep Contrastive Unlearning for Language Models

تقترح هذه الورقة البحثية DeepCUT، وهو إطار عمل لتعلم الآلة العميق (machine unlearning) يعمل على تحسين الفضاء الكامن للنماذج اللغوية باستخدام التعلم التبايني العميق لإزالة بيانات تدريب محددة بفعالية مع الحفاظ على جودة التنبؤ، مما يعالج أوجه القصور في الأساليب الحالية التي تتجاهل التوزيعات الهندسية للعينات.

المؤلفون الأصليون: Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

نُشر 2026-08-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في العصر الرقمي، تُسجل حياتنا بشكل متزايد في هيئة نصوص: منشورات وسائل التواصل الاجتماعي، السجلات الطبية، الوثائق القانونية، ورسائل البريد الإلكتروني الخاصة. وتُدرب النماذج اللغوية الكبيرة، وهي برامج حاسوبية قوية يمكنها الكتابة والترجمة والإجابة على الأسئلة، على محيطات شاسعة من هذه البيانات التي أنشأها البشر. فهي تتعلم من خلال قراءة الملايين من هذه الأمثلة، ممتصةً أنماط اللغة والمعرفة لتصبح أدوات مفيدة للغاية. ومع ذلك، فإن هذا الاعتماد على بيانات من العالم الحقيقي يخلق مشكلة كبيرة؛ فإذا قرر شخص ما أنه لم يعد يرغب في استخدام معلوماته الخاصة، أو إذا تبين أن قطعة من البيانات غير صحيحة أو حساسة، فإن الطريقة الحالية لإزالتها هي حذف البيانات وإعادة عملية التدريب بأكملها من الصفر. وبالنسبة للنماذج التي استغرقت أسابيع في التدريب على مليارات الكلمات، فإن هذا يشبه حرق مكتبة كاملة لمجرد إزالة كتاب واحد؛ فهذا الأمر بطيء للغاية، ومكلف جداً، وغالباً ما يكون من المستحيل القيام به بسرعة عندما يمارس الناس حقهم في النسيان.

ولحل هذه المشكلة، يعمل الباحثون على تطوير مجال يسمى "النسيان الآلي" (machine unlearning). والهدف هو تعليم النموذج كيفية نسيان معلومات محددة دون الحاجة إلى إعادة تدريبه بالكامل. تخيل طالباً حفظ كتاباً مدرسياً؛ يهدف النسيان الآلي إلى جعل هذا الطالب ينسى فصلاً معيناً مع تذكره لكل شيء آخر، وكل ذلك دون إرساله للعودة إلى المدرسة لعام دراسي جديد. وبينما توجد بعض الطرق للقيام بذلك بالنسبة للصور أو البيانات البسيطة، فإن تطبيق ذلك على عالم اللغة المعقد والدقيق قد أثبت صعوبته. تركز معظم المحاولات الحالية فقط على الإجابات النهائية التي يقدمها النموذج، حيث تحاول توجيه المخرجات بحيث لا تذكر الموضوع المراد نسيانه. لكن هذا النهج غالباً ما يترك الذاكرة الأساسية للبيانات سليمة، مخبأة في أعماق الحسابات الداخلية للنموذج، وجاهزة للظهور مرة أخرى.

اقترح فريق من الباحثين في جامعة RMIT طريقة جديدة تسمى DeepCUT، والتي تتبع نهجاً مختلفاً من خلال النظر مباشرة إلى كيفية تنظيم النموذج للمعلومات داخل عقله الخاص. فبدلاً من مجرد تعديل الإجابات النهائية، يقوم DeepCUT بإعادة تنظيم الخريطة الداخلية حيث يخزن النموذج معرفته. قام الباحثون بتدريب نموذج لغوي على أربع مجموعات بيانات مختلفة من العالم الحقيقي، تتراوح من منشورات وسائل التواصل الاجتماعي المليئة بالضجيج إلى الأدبيات الطبية الحيوية الدقيقة. ثم طلبوا من النموذج نسيان أجزاء محددة من هذه البيانات، تتراوح من واحد بالمائ^ة إلى عشرة بالمائ^ة من إجمالي مجموعة التدريب. ولاختبار مدى نجاح عملية النسيان، قاموا بقياس مدى قدرة النموذج على الاستمرار في الإجابة على الأسئلة المتعلقة بالبيانات التي كان من المفترض أن ينساها، ومدى قدرته على الاحتفاظ بقدرته على التعامل مع البيانات التي كان من المفترض أن يحتفظ بها.

أظهرت النتائج أن الطرق السابقة كانت غالباً غير فعالة أو غير مكتملة. فالاستمرار ببساطة في تدريب النموذج على البيانات المتبقية، وهي تقنية تُعرف باسم "النسيان الكارثي" (catastrophic forgetting)، فشل في محو الذكريات المحددة للنص المزال؛ إذ ظل النموذج يتذكر البيانات المحظورة بدقة عالية. أما استراتيجية أخرى شائعة، تتضمن تقسيم البيانات إلى قطع أصغر وإعادة تدريب الأجزاء المتأثرة فقط، فقد نجحت في إزالة البيانات ولكنها أضرت بشكل كبير بذكاء النموذج العام، مما جعله أقل دقة في المهام العامة. وفي المقابل، نجحت طريقة DeepCUT في محو الذكريات المحددة مع الحفاظ على الأداء العام للنموذج سليماً. وعند اختبارها على البيانات التي كان من المفترض نسيانها، انخفضت دقة نموذج DeepCUT بشكل كبير، مما يشير إلى أنه قد نسي المعلومات حقاً. وفي الوقت نفسه، حافظ على دقة عالية في البيانات التي كان من المفترض أن يتذكرها، حيث قدم أداءً يضاهي أداء نموذج تمت إعادة تدريبه بالكامل من الصفر.

يكمن سر هذا النجاح في كيفية تلاعب هذه الطريقة بالفضاء الداخلي للنموذج. فقد عامل الباحثون نقاط البيانات كنقاط مواقع على خريطة. ولجعل النموذج ينسى معلومة محددة، قاموا بدفع تلك المعلة بعيداً عن مجموعتها الخاصة وسحبها لتقترب من مجموعات مختلفة، مما أدى فعلياً إلى بعثرة هويتها الفريدة داخل ذاكرة النموذج. تضمن هذه العملية عدم قدرة النموذج على التعرف على السمات المحددة التي جعلت تلك البيانات متميزة، مع ترك بقية الخريطة دون مساس. وقد أثبتت التجارب أن هذا النهج لم يكن فعالاً في إزالة البيانات فحسب، بل كان أيضاً أسرع بكثير من إعادة تدريب النموذج بالكامل. ومن خلال التركيز على الترتيب الهندسي للمعلومات داخل النموذج، وجد الباحثون طريقة لإزالة الذكريات غير المرغوب فيها جراحياً، مما يوفر مساراً عملياً لحماية الخصوصية في عصر الذكاء الاصطناعي.

ملخص تقني: التعلم التبايني العميق للنسيان في النماذج اللغوية

بيان المشكلة

يعتمد التقدم السريع للنماذج اللغوية الكبيرة (LLMs) على التدريب باستخدام كميات هائلة من بيانات الويب، بما في ذلك المحتوى الذي ينشئه المستخدمون والذي قد يحتوي على معلومات شخصية حساسة أو مواد محمية بحقوق الطبع والنشر. وبينما تُظهر النماذج اللغوية الكبيرة قدرات قوية، إلا أنها تشكل مخاطر كبيرة تتعية خصوصية المستخدم وحماية البيانات، لا سيالما في ظل اللوائح مثل القانون العام لحماية البيانات (GDPR) الذي يفرض "الحق في النسيان".

يتمثل التحدي الجوهري في النسيان الآلي (machine unlearning): وهو عملية إزالة تأثير عينات تدريب محددة من النموذج دون إعادة تدريب النموذج بالكامل من البداية. وتعد إعادة التدريب أمراً مكلفاً حوسبياً بالنسبة للنماذج اللغوية الكبيرة نظراً لحجمها والوقت المطلوب لدورات التدريب. تركز أساليب النسيان الحالية للنماذج اللغوية الكبيرة بشكل أساسي على تخفيف تأثير العينات المراد نسيانها على توزيعات مخرجات النموذج (مثل احتمالات التصنيف). ومع ذلك، فإن هذه الأساليب غالباً ما تفشل في مراعاة أو تحسين التوزيعات الهندسية للعينات داخل الفضاء الكامن (latent space) للنموذج بشكل صريح. وبناءً على ذلك، قد لا تنجح بفعالية في محو الميزات التمييزية للبيانات المراد نسيانها، مما يؤدي إلى بقاء آثار ذاكرة متبقية.

المنهجية: DeepCUT

لمعالجة هذه القيود، يقترح المؤلفون التعلم التبايني العميق للضبط الدقيق (DeepCUT). يعمل هذا الإطار من خلال التحسين المباشر للفضاء الكامن لنموذج لغوي تم ضبطه بدقة لتسهيل نسيان عينات محددة مع الحفاظ على أداء النموذج على البيانات المتبقية.

تتكون المنهجية من ثلاثة مكونات رئيسية:

ترميز المدخلات وتعزيزها:
- يستخدم الإطار مشفر نماذج لغوية كبيرة مدرب مسبقاً لخرائط الجمل المدخلة إلى فضاء تضمين كامن.
- لتسهيل التعلم التبايني ضمن دفعة مصغرة (mini-batch)، يستخدم المؤلفون تعزيز البيانات (data augmentation) عبر تقنية "الإسقاط" (dropout) القياسية. من خلال تمرير عينة عبر طبقة dropout مرتين مع أقنعة مختلفة، يقومون بتوليد رؤى متعددة لعينة مرجعية واحدة. وهذا يضمن توفر عينات إيجابية (من نفس الفئة) داخل الدفعة، حتى عندما يكون حجم الدفعة صغيراً أو عندما تكون الفئة المحددة غير ممثلة بشكل كافٍ.
هدف النسيان التبايني:
- على عكس التعلم التبايني التقليدي الذي يسحب العينات الإيجابية معاً ويدفع السلبية بعيداً، يقوم DeepCUT بعكس هذا المنطق بالنسبة للبيانات المراد نسيانها ( $D_f$ ).
- بالنسبة لعينة مرجعية $x_f$ في مجموعة النسيان، يتم ضبط النموذج لـ دفع تضمينها الكامن بعيداً عن حالات فئتها الخاصة ( $D_y$ ) وسحبها لتقترب من حالات الفئات المختلفة ( $D_{\neg y}$ ).
- يتم تحقيق ذلك باستخدام فقدان تبايني معدل (مستوحى من فقدان FoCL)، ويُصاغ كالتالي:
  $L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$
- تعمل هذه العملية على تغيير التمثيل المتعلم للبيانات المراد نسيانها، مما يؤدي فعلياً إلى محو ميزاتها التمييزية الفريدة ونقلها نحو حدود القرار للفئات الأخرى.
التحسين المشترك:
- لمنع النسيان الكارثي (catastrophic forgetting) للبيانات المتبقية ( $D_r$ )، يتم دمج فقدان النسيان ( $L_f$ ) مع فقدان الإنتروبيا المتقاطعة القياسي ( $L_{CE}$ ) للعينات المستبقاة.
- دالة الهدف النهائية هي:
  $L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$
- هنا، $\gamma$ هو معلمة فائقة (hyperparameter) توازن بين الاحتفاظ بالمعرفة المفيدة وإزالة بيانات محددة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

تقديم الإطار: اقتراح DeepCUT، وهو إطار فعال للنسيان مصمم لنسيان عينات محددة في النماذج المدربة من خلال العمل مباشرة على الفضاء الكامن.
تحسين الفضاء الكامن: نهج مبتكر مستوحى من التعلم التبايني يعمل على تحسين توزيع العينات داخل الفضاء الكامن. يضمن هذا محو الميزات التمييزية الخاصة بالعينات المراد نسيانها، بدلاً من مجرد تعديل احتمالات المخرجات.
التحقق التجريبي: تجارب واسعة النطاق على مجموعات بيانات واقعية تثبت أن DeepCUT يمكنه نسيان عينات محددة بكفاءة دون إضعاف القدرة التنبؤية للنموذج على البيانات المتبقية.

النتائج التجريبية

قام المؤلفون بتقييم DeepCUT على أربع مجموعات بيانات مرجعية عبر مجالين: وسائل التواصل الاجتماعي (WNUT16, WNUT17) والمعلومات الحيوية (NCBI-Disease, ChEMU). تمت مقارنة النموذج بعدة خطوط أساس (baselines):

إعادة التدريب (Retrain): النسيان الدقيق عبر إعادة التدريب الكامل (الحقيقة الأرضية).
الضبط الدقيق (Fine-tune): الضبط الدقيق القياسي على البيانات المتبقية (بالاعتماد على النسيان الكارثي).
تدرج عكسي (Reverse Gradient): عكس التدرجات لمجموعة النسيان.
SISA: تقنية التجزئة، العزل، التقطيع، والتجميع.

النتائج الرئيسية:

فعالية النسيان: حقق DeepCUT باستمرار أدنى دقة على "مجموعة النسيان" عبر جميع مجموعات البيانات والإعدادات (معدلات إزالة 1% و10%)، متفوقاً بشكل كبير على خطوط الأساس مثل "التدرج العكسي". على سبيل المثال، في WNUT16 مع معدل إزالة 1%، خفض DeepCUT دقة مجموعة النسيان إلى 32.25%، وهي أقل (مما يشير إلى نسيان أكثر فعالية) من الـ 54.55% التي حققها نموذج إعادة التدريب، ومن الـ 99.14% التي حققها أسلوب الضبط الدقيق القياسي.
الحفاظ على الأداء: حافظ DeepCUT على دقة عالية في "المجموعة المستبقاة" و"مجموعة الاختبار"، وهي نتائج مقاربة لنموذج إعادة التدريب ومتفوقة على SISA (الذي عانى من انخفاض الدقة بسبب تجزئة البيانات).
الكفاءة: من حيث وقت التشغيل، كان DeepCUT أسرع بكثير من خط الأساس "إعادة التدريب" وأكثر كفاءة من نهج "الضبط الدقيق" الذي تطلب دورات (epochs) مكثفة لتحقيق نسيان جزئي. بينما كان SISA سريعاً، إلا أنه أثر سلباً على دقة النموذج الإجمالية.

الأهمية والادعاءات

تزعم الورقة أن DeepCUT يمثل خطوة مهمة للأمام في النسيان الآلي للنماذج اللغوية الكبيرة من خلال نقل التركيز من التخفيف على مستوى المخرجات إلى التحسين الهندسي في الفضاء الكامن. يجادل المؤلفون بأن الأساليب الحالية تفشل في معالجة توزيع العينات في الفضاء الكامن بشكل صريح، مما يؤدي إلى نسيان غير مكتمل. ومن خلال التلاعب المباشر بالتضمينات الكامنة لمحو الميزات التمييزية، يقدم DeepCUT حلاً أكثر مبدئية ودقة وكفاءة. وتشير النتائج إلى أن التلاعب التبايني بالفضاء الكامن هو نهج قابل للتطبيق ومتفوق لضمان الامتثال للخصوصية في النماذج اللغوية واسعة النطاق دون التكاليف الباهظة لإعادة التدريب الكامل.