💬 NLP

LLM Unlearning with LLM Beliefs

تحدد هذه الورقة "تأثير العصر" (squeezing effect) في طرق نسيان النماذج اللغوية الكبيرة الحالية، حيث تنتقل الكتلة الاحتمالية إلى إعادة صياغات ذات صلة دلالية، وتقترح إطار عمل للتمهيد الذاتي (bootstrapping framework) يستفيد من معتقدات النموذج عالية الثقة الخاصة به لقمع الاستجابات المستهدفة وإعادة صياغاتها بشكل أكثر فعالية مع الحفاظ على الفائدة.

المؤلفون الأصليون: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Jun Liu, Bo Han, Jiantao Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "نسيان النماذج اللغوية الكبيرة عبر معتقداتها" (LLM Unlearning with LLM Beliefs)، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبرى: لعبة "ضرب الخلد" في ذاكرة الذكاء الاصطناعي

تخ lập أن لديك أمين مكتبة ذكي جداً ومطلع (الذكاء الاصطناعي) قد حفظ مكتبة ضخمة من الكتب. وفي أحد الأيام، تدرك أن أحد هذه الكتب يحتوي على سر خطير أو عنوان خاص لا ينبغي أن يكون هناك. أنت تريد من أمين المكتبة أن ينسى ذلك تماماً.

تقول لأمين المكتبة: "من فضلك، لا تقل كلمة 'سر' أبداً مرة أخرى".

ماذا يحدث مع الطرق الحالية؟
يحاول أمين المكتبة جاهداً التوقف عن قول كلمة "سر". ولكن لأن عقله مبرمج على ربط الأفكار ببعضها، فعندما تمنعه من قول كلمة "سر"، يقفز عقله غريزياً إلى أفضل بديل متاح. فبدلاً من قول "سر"، يبدأ في قول "الشيء المخفي"، أو "المعلومة السرية"، أو "العنوان الخاص".

يعتقد أمين المكتبة أنه يساعد عبر إعادة صياغة الكلام، لكنه لا يزال يكشف السر! هذا ما تسميه الورقة البحثية "النسيان الزائف" (Spurious Unlearning). يبدو الأمر وكأنه نسي، لكنه وجد فقط ثغرة للالتفاف.

"تأثير العصر": لماذا تفشل الطرق القديمة؟

تحدد الورقة البحثية ظاهرة تسمى "تأثير العصر" (Squeezing Effect).

تخيل عقل أمين المكتبة كبالون ماء مملوء بالماء (الاحتمالية). يمثل الماء كل الأشياء التي يمكن لأمين المكتبة قولها.

الهدف: أنت تريد عصر الماء من قسم "السر" في البالون.
المشكلة: الماء لا يختفي؛ بل ينتقل فقط. عندما تعصر منطقة "السر"، يُدفع الماء إلى المناطق المجاورة.
النتيجة: "المناطق المجاورة" هي الأشياء التي تبدو تشبه إلى حد كبير السر (إعادة الصياغات). لذا، بمحاولتك حذف السر، فإنك تتسبب بالخطأ في جعل إعادة الصياغات أعلى صوتاً وأكثر احتمالاً للظهور.

تحاول أدوات الذكاء الاصطناعي الحالية حذف السر عن طريق الضغط عليه للأسفل، لكنها لا تدرك أنها تقوم فقط برفع مستوى صوت النسخ المعاد صياغتها.

الحل الجديد: "التعزيز الذاتي" (Bootstrapping) باستخدام معتقدات الذكاء الاصطناعي الخاصة

يقترح المؤلفون طريقة جديدة تسمى التعزيز الذاتي (BS). الاسم مستوحى من فكرة "رفع الشخص لنفسه من رباط حذائه"، ولكن هنا المعنى هو استخدام أفكار الذكاء الاصطناعي لمساعدته على النسيان.

الفكرة الجوهرية بسيطة: لا تخبر الذكاء الاصطناعي فقط بما لا يجب قوله. أخبره أيضاً ألا يقول الأشياء التي يريد قولها بشدة.

عندما يحاول الذكاء الاصطناعي نسيان سر ما، فإنه يميل طبيعياً لقول البديل الأقرب والأكثر منطقية. الطريقة الجديدة تقول: "نحن نعلم أنك تريد قول ذلك البديل. سنعاقبك على قول ذلك أيضاً".

يفعلون ذلك بطريقتين:

1. BS-T (على مستوى الكلمات/الرموز): "شرطة الكلمات"

تخيل أن أمين المكتبة على وشك قول جملة.

الطريقة القديمة: "لا تقل 'سر'".
الطريقة الجديدة (BS-T): "لا تقل 'سر'. وأيضاً، لا تقل 'الشيء المخفي' أو 'المعلومة السرية'".
كيف تعمل: ينظر الذكاء الاصطناعي إلى عقله، ويرى أي الكلمات هي الأكثر احتمالاً لاختيارها تالياً (معتقداته)، ثم يخبر نفسه: "لا، ليس هذه أيضاً". إنه يقمع الكلمة المستهدفة والكلمات القليلة الأولى التي كان يميل إليها. هذا يمنع الماء من الاندفاع نحو الجيران.

2. BS-S (على مستوى التسلسل/الجمل): "شرطة القصص"

أحياناً، لا يقوم الذكاء الاصطناعي باستبدال كلمة واحدة فحسب، بل يستبدل هيكل الجملة بالكامل.

الطريقة القديمة: "لا تقل السر".
الطريقة الجديدة (BS-S): يقوم الذكاء الاصطناعي بتوليد قصة جديدة بالكامل تكاد تكشف السر (مثلاً: "لا يمكنني إخبارك بالسر، ولكن إليك قصة عن سر مشابه..."). الطريقة الجديدة تأخذ هذه القصة المولدة بالكامل وتقول: "احذف هذه القصة بالكامل أيضاً".
كيف تعمل: إنها تجبر الذكاء الاصطناعي على نسيان ليس فقط الإجابة المحددة، بل المسار الكامل للتفكير الذي يؤدي إلى تلك الإجابة.

لماذا هذا أفضل؟

فكر في الأمر كأنك تحاول مسح رسمة على سبورة بيضاء.

الطريقة القديمة: تمسك بالممحاة وتفرك بقوة فوق الكلمة "سر". ينتشر الحبر، والآن لديك بقعة كبيرة غير واضحة لكنها لا تزال تشبه الكلمة.
الطريقة الجديدة: تدرك أن الفرك يسبب انتشار الحبر فقط. لذا، تأخذ قطعة قماش مبللة وتمسح المنطقة بأكملها حول الكلمة، بما في ذلك آثار الحبر المنتشرة، مما يضمن نظافة القسم بأكمله.

النتائج

اختبرت الورقة البحثية هذه الطرق على نماذج ذكاء اصطناعي مختلفة.

الطرق القديمة غالباً ما حصلت على درجات عالية في الاختبارات الآلية (مثل التحقق مما إذا كانت كلمة "سر" قد ظهرت)، ولكن عندما قرأ البشر الإجابات، كان الذكاء الاصطناعي لا يزال يسرب المعلومات بطرق ذكية.
الطريقة الجديدة جعلت الذكاء الاصطناعي ينسى المعلومات بشكل شامل. لقد منعت الذكاء الاصطناعي من إيجاد الثغرات، مع الحفاظ على ذكاء النموذج وقدرته على الإجابة على الأسئلة الأخرى بشكل صحيح.

الملخص

تحل هذه الورقة مشكلة معقدة حيث "تنسى" نماذج الذكاء الاصطناعي الأشياء عبر تغيير كلماتها قليلاً فقط. وجد المؤلفون أنه من خلال إجبار الذكاء الاصطناعي على نسيان الهدف، وأيضاً نسيان إجاباته البديلة "المفضلة"، يمكنهم تحقيق نسيان حقيقي وعميق دون إتلاف قدرة الذكاء الاصطناعي على أن يكون مفيداً.

إليك ملخص تقني مفصل لورقة البحث "LLM Unlearning with LLM Beliefs" (ICLR 2026).

1. تعريف المشكلة

تخاطر النماذج اللغوية الكبيرة (LLMs) المدربة على مجموعات بيانات ضخمة بحفظ معلومات حساسة أو خاصة أو ضارة. يهدف "إلغاء تعلم النماذج اللغوية الكبيرة" (LLM Unlearning) إلى إزالة هذه المعرفة المحددة من معاملات النموذج دون الحاجة لإعادة التدريب من الصفر.

تحدد الورقة نمط فشل حرج في أساليب إلغاء التعلم السائدة (مثل Gradient Ascent، وNPO، وWGA): "إلغاء التعلم الزائف" (Spurious Unlearning).

تأثير العصر (The Squeezing Effect): عندما تقوم الأساليب القياسية بقمع احتمالية استجابة مستهدفة معينة (مثل إجابة ضارة) عبر "صعود التدرج" (Gradient Ascent)، فإن عملية تطبيع "softmax" تجبر الكتلة الاحتمالية على إعادة التوزيع.
النتيجة: تنتقل هذه الكتلة إلى مناطق ذات احتمالية عالية تتوافق مع إعادة صياغات أو تغييرات في الأسلوب (paraphrases) مشابهة دلاليًا للهدف.
الوهم: غالبًا ما تسجل المقاييس الآلية (مثل ROUGE، وTruth Ratio) نجاحًا لأن السلسلة النصية المستهدفة بدقة قد اختفت. ومع ذلك، لا يزال النموذج يسرب المعرفة الأساسية من خلال توليد بدائل مكافئة دلاليًا. يُطلق على هذا اسم "إلغاء التعلم الزائف".

2. المنهجية: إطار العمل القائم على "التعزيز" (Bootstrapping - BS)

لمعالجة تأثير العصر، يقترح المؤلفون إطار عمل "التعزيز" (Bootstrapping - BS). الفكرة الجوهرية هي أن تنبؤات النموذج الخاصة عالية الثقة (أي "معتقدات النموذج" - Model Beliefs) تمثل مناطق الاحتمالية العالية التي تتركز فيها الكتلة الاحتمالية بشكل طبيعي. يجب أن يعمل إلغاء التعلم الفعال على قمع هذه المعتقدات صراحةً، وليس فقط الأهداف الأصلية.

يتم تنفيذ إطار العمل في شكلين:

أ. التعزيز على مستوى الرمز (Bootstrapping-Token - BS-T)

الآلية: بدلاً من استخدام تسمية (label) "one-hot" صلبة للرمز المستهدف، يقوم BS-T ببناء هدف ناعم (soft target) يدمج بين التسمية الأصلية وتنبؤات الرموز عالية الاحتمالية التي يتوقعها النموذج (مجموعة المعتقدات من أعلى $k$ رموز).
الهدف: تعمل دالة الخسارة على معاقبة كل من رمز الهدف الأصلي والرموز التي يتنبأ بها النموذج حاليًا بثقة عالية.
الأثر: هذا يمنع الكتلة الاحتمالية من الانتقال إلى الرموز القريبة دلاليًا عن طريق قمع "الجوار" الخاص بالهدف بشكل صريح.
الصيغة: يتم تعريف الهدف الناعم $t_u^i$ كالتالي:
$t_u^i = \lambda_{BST} \cdot \text{sg}[\pi_\theta(\cdot | x_u, y_{<i}^u)|_{H_k^{(i)}}] + (1 - \lambda_{BST}) \cdot e_{y_u^i}$
حيث تمثل $H_k^{(i)}$ مجموعة أعلى $k$ من الرموز عالية الاحتمالية، ويمثل $\text{sg}$ عامل إيقاف التدرج (stop-gradient).

ب. التعزيز على مستوى التسلسل (Bootstrapping-Sequence - BS-S)

الآلية: بينما يتعامل BS-T مع معتقدات الرموز المحلية، يعالج BS-S معتقدات التسلسل العالمية. يقوم بجمع $N$ من التكملات عالية الثقة (التسلسلات) من النموذج الحالي لمطالبات النسيان (forget prompts).
الهدف: تُعامل هذه التسلسلات التي تم جمعها كـ بيانات إلغاء تعلم معززة. يتم تدريب النموذج على نسيان كل من الاستجابات المستهدفة الأصلية وهذه الصياغات الجديدة عالية الثقة التي تم إنشاؤها.
الأثر: يضمن ذلك إزالة مسارات المحتوى الضار واستمراراته الدلالية بالكامل، مما يمنع النموذج من مجرد إعادة صياغة المحتوى الضار في سياق أطول.
المرونة: يمكن لـ BS-S العمل بطريقة "خارج السياسة" (off-policy) (أخذ عينات مرة واحدة قبل ضبط النموذج) أو بطريقة "داخل السياسة" (on-policy) (إعادة أخذ العينات أثناء التدريب).

3. التحليل النظري

يقدم المؤلفون تبريرًا نظريًا باستخدام إطار ديناميكيات التعلم AKG (Approximate Kernel Gradient):

إعادة تشكيل المتبقي (Residual Reshaping): قاموا بتحليل الحد المتبقي ( $G$ ) في تحديث التدرج. طريقة "صعود التدرج" (GA) التقليدية تدفع الهدف للأسفل ولكنها تخلق "تدافعًا" (repulsion) يدفع الكتلة نحو المناطق المجاورة عالية الاحتمالية.
ديناميكيات BS-T: يظهر التحليل أن BS-T يعيد تشكيل الحد المتبقي لتوزيع قوة التدافع عبر كل من رمز الهدف وجوار معتقداته المحلي. هذا يؤدي إلى تسطيح التوزيع الاحتمالي في منطقة الاحتمالية العالية بدلاً من إنشاء قمة جديدة، مما يخفف بفعالية من تأثير العصر.
ديناميكيات BS-S: ثبت أن BS-S "خارج السياسة" يكافئ تطبيق متبقيات BS-T على مجموعة مرجحة من الاستمرارية المتوافقة مع المعتقدات، مما يجمع ضغط النسيان عبر جيران دلاليين أوسع.

4. المساهمات الرئيسية

تحديد إلغاء التعلم الزائف: تثبت الورقة بصرامة أن الأساليب الحالية الرائدة (NPO, WGA) غالبًا ما تفشل في إزالة المعرفة، بل تكتفي بنقلها إلى صياغات مشابهة دلاليًا بسبب "تأثير العصر".
إطار عمل التعزيز (Bootstrapping Framework): تقديم إطار عمل مبتكر يستخدم تنبؤات النموذج الخاصة عالية الثقة (المعتقدات) كإشارات إلغاء تعلم مساعدة.
التنفيذ ثنائي المستوى: تطوير خوارزميات BS-T (على مستوى الرمز) و BS-S (على مستوى التسلسل) المتوافقة مع الأهداف الموجودة (مثل NPO و GradDiff).
الضمانات النظرية: تحليل رسمي يوضح كيف يغير "التعزيز" ديناميكيات التدرج لمنع إعادة توزيع الكتلة الاحتمالية في الجيران الدلاليين الضارين.
التقييم القوي: تقديم مقاييس "النموذج كحكم" (LLM-as-a-Judge - LaaJ) (الطبيعية والتشابه) للكشف عن إلغاء التعلم الزائف، والتي تغفلها المقاييس التقليدية مثل ROUGE.

5. النتائج التجريبية

تم تقييم الأساليب على ثلاث مجموعات اختبار رئيسية: TOFU (مؤلفون وهميون)، MUSE (نصوص محمية بحقوق الطبع والنشر/حساسة)، و WMDT (معرفة ضارة).

الأداء: تفوق BS-T و BS-S باستمرار على الأساليب المرجعية (Baselines) مثل GradDiff و NPO و RMU و WGA عبر جميع أحجام النماذج (Llama 2/3, Zephyr).
- حقق BS-S أفضل توازن بين النسيان (درجة الحفظ) و الاحتفاظ (درجة الفائدة)، حيث وصل غالبًا إلى مستويات تقارب التخمين العشوائي في الاستفسارات الضارة مع الحفاظ على القدرات العامة.
- قدم BS-T بديلًا عالي الكفاءة بأداء قوي، خاصة في السيناريوهات ذات الموارد الحسابية المحدودة.
تخفيف تأثير العصر: أظهرت مخططات الديناميكيات الاحتمالية أن أساليب BS تقلل بشكل رتيب من احتمالات كل من الهدف والجوار عالي الاحتمالية، بينما أظهرت الأساليب المرجعية ارتفاعًا حادًا في احتمالات الجوار (تأثير العصر).
النتائج النوعية: في دراسات الحالة، أنتجت الأساليب المرجعية مثل NPO إجابات معاد صياغتها تحتفظ بالمعلومات الحساسة (مثل تغيير "الإنجليزية" إلى "لغة عالمية")، بينما أنتجت أساليب BS استجابات آمنة ومتميزة دلاليًا.

6. الأهمية

يحدث هذا العمل تحولًا جذريًا في نموذج إلغاء تعلم النماذج اللغوية الكبيرة من "التركيز على الهدف" (نسيان سلاسل نصية محددة) إلى "التركيز على المعتقدات" (نسيان ثقة النموذج في المفاهيم الضارة).

يكشف العمل عن حدود مقاييس التقييم الآلية الحالية، ويحث المجتمع على اعتماد التقييم الواعي دلاليًا (النموذج كحكم).
يوفر حلاً عمليًا ومؤسسًا نظريًا لضمان أن يكون إلغاء التعلم شاملًا وليس سطحيًا فقط، وهو أمر بالغ الأهمية للنشر الآمن للنماذج مفتوحة المصدر في المجالات الحساسة للخصوصية وعالية المخاطر.
تم دمج الكود البرمائي في OpenUnlearning لتسهيل إعادة الإنتاج والبحوث المستقبلية.