💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

تجادل هذه الورقة بأن عملية "إلغاء التعلم" (unlearning) في النماذج اللغوية يجب أن تُصمم لتناسب وظائف محددة بدلاً من معاملتها كمهمة متجانسة، حيث تثبت من خلال تجارب على نماذج بحجم 7-8 مليار بارامتر أن أهدافاً متميزة — وتحديداً نهج قائم على "الجيوبين" (cosine) تم تعلمه مسبقاً للمعرفة الخطيرة، ومنهج قائم على "المسبار متعدد الطبقات" (multi-layer probe) للسمية — تحقق نتائج فائقة لأهدافها الخاصة.

المؤلفون الأصليون: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل النماذج اللغوية الكبيرة (LLMs) كطلاب موهوبين للغاية، ولكنهم متهورون قليلاً، وقد قرأوا كل شيء تقريباً على الإنترنت. إنهم بارعون في كتابة القصص والإجابة على الأسئلة، لكنهم اكتسبوا أيضاً بعض العادات السيئة: أحياناً يعرفون أسراراً خطيرة (مثل كيفية صنع قنبلة)، وأحياناً يستخدمون لغة فظة أو سامة.

تجادل الورقة البحثية بأن محاولة "محو" (unlearning) هذه العادات السيئة ليست مهمة واحدة تناسب الجميع. تماماً كما يستخدم المعلم أساليب مختلفة لمنع الطالب من الغش في اختبار الرياضيات مقابل منعه من أن يكون فظاً مع زملائه، يحتاج باحثو الذكاء الاصطناعي إلى أدوات مختلفة لمشاكل مختلفة.

إليك تفصيل لنهجهم باستخدام تشبيهات بسيطة:

1. المشكلة الجوهرية: المقاس الواحد لا يناسب الجميع

يقول المؤلفون إن "المحو" (تعليم الذكاء الاصطناد نسيان أشياء محددة) لا ينبغي معاملته كمهمة واحدة عامة.

المعرفة الخطيرة تشبه طالبًا حفظ حقيقة خطيرة محددة (مثلاً: "كيفية صنع سم"). يتم تخزين هذا في النموذج مثل ملف محدد في مكتبة.
السمية (Toxicity) تشبه سلوك الطالب السيئ أو ميله لكونه فظاً. هذا ليس مجرد حقيقة واحدة؛ بل هو "جو" أو نمط منتشر عبر شخصية الطالب بالكامل.

وتزعم الورقة أنه نظرًا لأن هاتين المشكلتين مخزنتان بشكل مختلف داخل "دماغ" الذكاء الاصطناعي، فأنت بحاجة إلى استراتيجيتين مختلفتين لإصلاحهما.

2. الاستراتيجية (أ): لنسيان الحقائق الخطيرة (نهج "جيب التمام" - Cosine)

عندما يعرف الذكاء الاصطناي حقائق خطيرة، جرب المؤلفون طريقة جديدة تعتمد على الاتجاه بدلاً من المسافة.

الطريقة القديمة (L2 Loss): تخيل أنك تحاول تحريك سيارة لعبة بعيداً عن منحدر. كانت الطريقة القديمة تقيس المسافة الدقيقة بين السيارة والمنحدر. إذا تحركت السيارة بوصة واحدة، كان ذلك يُحتسب كتقدم. ولكن إذا كانت السيارة ضخمة، فإن تحريكها بوصة واحدة قد لا يكون كافياً.
الطريقة الجديدة (Cosine Loss): يقترح المؤلفون أنه لا ينبغي لنا الاهتمام بالمسافة الدقيقة. بدلاً من ذلك، يجب أن نهتم بـ الاتجاه الذي تواجهه السيارة. إذا كانت السيارة تواجه المنحدر، فنحن نديرها 180 درجة لتواجه الاتجاه المعاكس. حتى لو كانت لا تزال قريبة من الحافة، فهي الآن تشير بعيداً عن الخطر.
النتيجة: استخدموا أيضاً "مدرباً ذكياً" (تعلم ميتا - meta-learning) يكتشف تلقائياً مدى قوة دفع السيارة لتدويرها دون جعلها تنسى كيفية القيادة (المعرفة العامة). وقد نجح هذا بشكل جيد جداً لإزالة الحقائق الخطيرة.

3. الاستراتيجية (ب): لنسيان السمية (نهج "الطبقات المتعددة")

عندما يكون الذكاء الاصطناعي ساماً، فشلت طريقة "تدوير السيارة". لماذا؟ لأن السمية ليست مخزنة في مكان واحد محدد؛ بل هي مثل بقعة تغلغلت في نسيج دماغ الذكاء الاصطناعي عبر طبقات عديدة.

المشكلة: إذا قمت بفرك بقعة واحدة فقط على قميص ملطخ، فستظل البقعة موجودة.
الحل: بنى المؤلفون "منظفاً متعدد الطبقات". نظروا إلى دماغ الذكاء الاصطناعي في أعماق مختلفة (الطبقات المبكرة، والمتوسطة، والمتأخرة) ووجدوا أن "إشارة السمية" تبدو مختلفة عند كل مستوى.
المنهج: قاموا بتدريب كواشف خاصة (probes) عند طبقات مختلفة للعثور على مكان اختباء السمية بالضبط. ثم دفعوا الذكاء الاصطناعي لتغيير سلوكه في كل تلك الطبقات في وقت واحد، مما أدى فعلياً إلى فرك البقعة من القميص بالكامل، وليس مجرد نقطة واحدة.

4. بطاقة النتائج: S-Unlearning

كيف تعرف ما إذا كان الذكاء الاصطناعي قد أصبح أفضل؟ لا يمكنك القول ببساطة "إنه أقل سمية"، لأن ذلك قد يعني أنه توقف أيضاً عن كون مفيراً.
أنشأ المؤلفون درجة جديدة تسمى S-Unlearning.

تخيل ميزانًا ذا كفتين. على كفة واحدة يوجد "مدى جودة إزالة الأشياء السيئة؟" وعلى الكفة الأخرى يوجد "مدى جودة الحفاظ على الأشياء الجيدة؟".
درجة S-Unlearning هي مثل مساحة المستطيل الناتج عن هذين الجانبين. أنت تريد مستطيلاً كبيراً (إزالة عالية للأشياء السيئة وَ احتفاظ عالٍ بالأشياء الجيدة). إذا أزلت الأشياء السيئة ولكنك جعلت الذكاء الاصطناعي غير قادر على التحدث، فسيتقلص مستطيلك إلى الصفر.

5. ماذا وجدوا؟

اختبروا هذا على أربعة نماذج مختلفة مفتوحة المصدر (مثل Llama و Mistral و Qwen).

للحقائق الخطيرة: كانت طريقتهم الجديدة "القائمة على الاتجاه" أفضل من الطرق السابقة في جعل الذكاء الاصطناعي ينسى المعلومات الخطيرة دون فقدان ذكائه العام.
للسمية: كان "المنظف متعدد الطبقات" الخاص بهم أكثر فعالية بكثير من محاولة استخدام نفس الطريقة المستخدمة للحقائق الخطيرة. ووجدوا أن السمية موزعة بالفعل، ويجب استهداف طبقات متعددة لإصلاحها.
الخلاصة الكبرى: لا يمكنك استخدام "عصا سحرية" واحدة لإصلاح جميع مشاكل الذكاء الاصطناعي. يجب أن تفهم كيف يخزن الذكاء الاصطناعي المشكلة (كحقيقة محددة أو كسلوك منتشر) وتختار الأداة المناسبة لإصلاحها.

باختصار: لإصلاح حقيقة محددة، غيّر الاتجاه. لإصلاح سلوك سيء، قم بفرك النظام بالكامل طبقة تلو الأخرى.

ملخص تقني: تباين أهداف "إلغاء التعلم" باختلاف الوظائف اللغوية المتميزة

بيان المشكلة

تكتسب النماذج اللغوية الكبيرة (LLMs) خصائص غير مرغوب فيها أثناء مرحلة ما قبل التدريب، بما في ذلك المعرفة الواقعية الخطيرة (مثل مخاطر الأمن البيولوجي) وتوليد لغة سامة. وبينما تستخدم طرق ما بعد التدريب أهدافًا متميزة لتشكيل سلوكيات مختلفة (مثل اتباع التعليمات مقابل السلامة)، فإن أساليب "إلغاء التعلم" (Unlearning) الحالية غالبًا ما تتعامل مع إزالة هذه الخصائص المتميزة كمسألة واحدة عامة.

يجادل المؤلفون بأن إلغاء التعلم يجب أن يعتمد على الهدف، على غرار تنوع أهداف ما بعد التدريب. وبشكل محدد، يفترضون أن المعرفة الخطيرة (المعلومات الواقعية/الإجرائية) والسمية (السلوك الضار اجتماعيًا) يتم تمثيلهما بشكل مختلف داخل الآليات الداخلية للنموذج. وبناءً على ذلك، قد يكون هدف إلغاء تعلم واحد غير فعال لكليهما. غالبًا ما تفشل الطرق الحالية في إزالة هذه القدرات بقوة أو تؤدي دون قصد إلى تدهور المنفعة العامة للنموذج.

المنهجية

تقترح الورقة استراتيجيات إلغاء تعلم متميزة مصممة خصيصًا للطبيعة الميكانيكية للخاصية المستهدفة، وتم تقييمها عبر أربعة نماذج مفتوحة المصدر بحجم 7-8 مليار بارامتر (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. إلغاء تعلم المعرفة الخطيرة

بناءً على الأدلة الميكانيكية التي تشير إلى أن المعرفة الواقعية تُخزن في مواقع مستقرة نسبيًا (مواقع الموضوع، والمفعول به، والتوكن الأخير) عبر الطبقات، قام المؤلفون بتعديل إطار عمل "تضليل التمثيل لإلغاء التعلم" (RMU):

خسارة تعتمد على جيب التمام (Cosine-Based Loss): استبدلوا خسارة مسافة L2 القياسية بـ خسارة تعتمد على جيب التمام. الفرضية هي أن اتجاه التمثيل أكثر أهمية من الموقع الإقليدي الدقيق. وهذا يحسن المحاذاة بين التمثيل المحدث واتجاه الهدف دون معاقبة التغيرات غير الضارة في المقدار.
معامل متعلم ميتا ( $\alpha$ ): بدلاً من تثبيت معامل المقايضة بين أهداف النسيان والاحتفاظ، عامل المؤلفون $\alpha$ كمعامل قابل للتعلم. باستخدام خوارزمية REINFORCE، يقوم النموذج بتحديث $\alpha$ تكيفيًا أثناء الضبط الدقيق لموازنة النسيان والاحتفاظ، مما يلغي الحاجة إلى ضبط يدوي مكثف.

2. إلغاء تعلم السمية

تشير الدراسات الميكانيكية إلى أن السمية تُمثل بشكل مختلف، وغالبًا ما تظهر في طبقات MLP المتأخرة ولا يتم إزالتها بالضرورة بواسطة أساليب المحاذاة مثل DPO. وقد ثبت أن نهج الطبقة الواحدة أو الاتجاه الواحد غير فعال.

هدف متعدد الطبقات: يقترح المؤلفون خسارة نسيان تستهدف الإشارات المتعلقة بالسمية عبر طبقات متعددة.
مجسات محددة للطبقة (Layer-Specific Probes): قاموا بتدريب مجسات انحدار لوجستي خطية على التمثيلات المخفية للتوكن الأخير لنموذج مرجعي مجمد في طبقات مختلفة لتحديد اتجاهات السمية الخاصة بكل طبقة ( $LR_i$ ).
التعامد (Orthogonalization): تشجع خسارة النسيان تمثيلات النموذج المحدث للمدخلات السامة على أن تصبح متعامدة مع اتجاه السمية في كل طبقة مستهدفة. تقوم الخسارة بتربيع حاصل الضرب لضمان عدم السالبية والتدرجات المتماثلة، مما يعطي تدرجات أكبر للتمثيلات المتحاذية بقوة مع السمية.
اختيار الطبقة: تشير التجارب إلى أن إلغاء التعلم الفعال يتطلب تحديثات منسقة عبر أعماق مشتتة (الطبقات المبكرة، والمتوسطة، والمتأخرة)، حيث تدور اتجاهات السمية بشكل كبير عبر عمق الشبكة.

3. مقياس التقييم: S-Unlearning

لتلخيص المقايضة بين أداء إلغاء التعلم ( $U$ ) والمنفعة المستبقاة ( $R$ )، قدم المؤلفون مقياس S-unlearning:

يتم تصحيح درجات المنفعة والنسيان بناءً على الاحتمالية (Chance-corrected).
النتيجة النهائية هي حاصل ضرب $\bar{U} \cdot \bar{R}$ .
يتراوح هذا المقياس من 0 إلى 1، ويصل إلى أقصى قيمة عندما يكون إلغاء التعلم قويًا والمنفعة عالية، وينخفض إلى الصفر إذا انخفضت المنفعة إلى مستوى الاحتمالية. وهو مكافئ هندسي لمساحة المستطيل المحدد بالنقطة $(\bar{U}, \bar{R})$ .

النتائج الرئيسية

تم تقييم الطرق المقترحة على أربعة نماذج باستخدام WMDP للمعرفة الخطيرة وRealToxicityPrompts للسمية.

المعرفة الخطيرة: حقق متغير RMU (المعتمد على جيب التمام والمتعلم ميتا) نتائج قوية، متفوقًا على RMU القياسي وAdaptive RMU في معظم النماذج (Mistral, Qwen, Olmo) مع الحفاظ على القدرات العامة (MMLU). كما حقق أفضل مقايضة S-unlearning في ثلاثة من أصل أربعة نماذج.
السمية: تفوق هدف متعدد الطبقات بشكل كبير على النماذج المرجعية. بينما قللت طرق RM_standard وAdaptive RMU السمية بنسبة 2-3% فقط، حققت الطريقة المقترحة انخفاضات تتراوح بين 6-24%.
- حققت الطريقة أعلى درجات S-unlearning للسمية عبر جميع النماذج.
- تحليل الطبقات: كشفت المجسات أن اتجاهات السمية محددة بالطبقة إلى حد كبير (تشابه جيب التمام < 0.5 بين معظم أزواج الطبقات المتقاطعة)، مما يؤكد الحاجة إلى تدخل متعدد الطبقات.
- دراسة الاستبعاد (Ablation): أدى تحديث ثلاث طبقات أو أكثر (تحديدًا مزيج من الطبقات المتوسطة والمتأخرة) إلى تحقيق أفضل مقايضات السلامة والمنفعة. أما التدخلات أحادية الطبقة فغالبًا ما فشلت في تقليل السمية بشكل ملحوظ.

الأهمية والادعاءات

تدعي الورقة أن إلغاء التعلم يجب أن يُدرس كـ عائلة من المشكلات وليس كتدخل واحد عام.

الوعي الميكانيكي: تدعم النتائج وجهة النظر القائلة بأن الوظائف اللغوية المختلفة (الاستدعاء الواقعي مقابل التوليد السام) تعتمد على آليات داخلية متميزة. لذلك، يجب تخصيص أهداف إلغاء التعلم لتناسب الوظيفة المراد إزالتها.
هندسة إلغاء التعلم: بالنسبة للمعرفة الواقعية، يعد الحفاظ على البنية الاتجاهية عبر خسارة جيب التمام متفوقًا على مسافة L2. أما بالنسبة للسمية، فإن الطبيعة الموزعة والدوارة للتمثيل تتطلب تعامدًا متعدد الطبقات وموجهًا بالمجسات.
التقييم: يوفر مقياس S-unlearning طريقة موحدة لالتقاط المقايضات المعقدة المتأصلة في إلغاء التعلم، مما يسهل المقارنة الأفضل بين الطرق.

يخلص المؤلفون إلى أن إلغاء التعلم الفعال يتطلب فهمًا أعمق لـ ماهية الشيء الذي يتم نسيانه، والانتقال من النهج الموحد (One-size-fits-all) إلى طرق تحترم الخصائص الهندسية والهيكلية المحددة للقدرة المستهدفة داخل النموذج اللغوي الكبير.