💬 NLP

ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models

يُعد ZeroUnlearn إطار عمل لتعلم "إلغاء المعرفة" بأسلوب التعلم من أمثلة قليلة، حيث يعيد صياغة المهمة كمسألة إعادة رسم خرائط معرفية دقيقة عبر تعديل النموذج، مستخدماً تحديثات بارامترية ضربية لإزالة المعلومات الحساسة بكفاءة مع الحفاظ على المنفعة العامة للنموذج.

المؤلفون الأصليون: Yujie Lin, Chengyi Yang, Zhishang Xiang, Yiping Song, Jinsong Su

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yujie Lin, Chengyi Yang, Zhishang Xiang, Yiping Song, Jinsong Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه أمين مكتبة عملاق وذكي للغاية، قرأ كل ما هو موجود تقريبًا على الإنترنت. هذا الأمين متعاون للغاية، ولكن نظرًا لأنه قرأ الكثير، فإنه أحيانًا يتذكر أشياء لا ينبغي له تذكرها—مثل الأسرار الخاصة، أو الحقائق القديمة، أو التعليمات الضارة.

المشكلة هي أنه إذا طلبت من أمين المكتبة أن "ينسى" معلومة معينة، فإن الأمر صعب للغاية.

الطريقة القديمة (إعادة التدريب): لجعلهم ينسون، قد تحاول جعلهم يقرؤون كل كتبهم مرة أخرى، ولكن هذه المرة بدون الصفحات السيئة. هذا يشبه حرق المكتبة بالكامل وإعادة بنائها من الصال فقط لإزالة كتاب واحد. هذا يستغرق وقتًا طويلاً ويكلف ثروة.
الطريقة "العدوانية" (الضبط الدقيق): بدلاً من ذلك، يمكنك الصراخ في وجه أمين المكتبة في كل مرة يذكر فيها الحقيقة السيئة. ورغم أن هذا ينجح، إلا أنه غالبًا ما يجعل أمين المكتبة عابسًا وينسى أشياء جيدة أخرى يعرفها، مثل كيفية كتابة قصيدة أو حل مسألة رياضية.

إليك ZeroUnlearn: "الممحاة الجراحية"

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى ZeroUnlearn. بدلًا من الصراخ أو إعادة بناء المكتبة، هم يعاملون ذاكرة أمين المكتبة كأنها خريطة يمكن تعديلها جراحيًا.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. خدعة "الفضاء الصفري" (الغرفة غير المرئية)

تخيل أن عقل أمين المكتبة عبارة عن غرفة ضخمة مليئة بالأثاث (يمثل الأفكار المختلفة). المعلومة "الحساسة" (الشيء الذي تريد نسيانه) هي كرسي محدد في الزاوية.

تحاول معظم الطرق تحطيم الكرسي أو نقله إلى غرفة أخرى، مما يؤدي غالبًا إلى إسقاط الطاولة المجاورة له (إتلاف المعرفة الأخرى).

ZeroUnlearn يفعل شيئًا ذكيًا: إنه يجد "فضاءً صفريًا" خاصًا (بُعدًا لا يشغله الكرسي فعليًا). يأخذ الكرسي ويعرضه في هذه الغرفة غير المرئية حيث يتوقف وجوده فعليًا من منظور أمين المكتبة.

التشبيه: الأمر يشبه أخذ لون معين من لوحة وتحويله إلى "حبر غير مرئي". لا تزال اللوحة تبدو جميلة ومكتملة (لا يزال أمين المكتبة بإمكانه كتابة القصائد وحل المسائل الرياضية)، ولكن ذلك اللون المحدد قد اختفى.

2. "سحر الخطوة الواحدة" (الحل المغلق)

عادةً ما يتطلب إصلاح الخطأ محاولات عديدة (التجربة والخطأ). لكن ZeroUnlearn مختلف. فقد وجد المؤلفون "صيغة سحرية رياضية" (حل مغلق) تحسب الحركة الدقيقة المطلوبة في خطوة واحدة فقط.

التشبيه: بدلًا من محاولة دفع صخرة ثقيلة فوق تلة بوصة بوصة، وجدوا رافعة ترفع الصخرة إلى مكانها المثالي فورًا. هذا يجعل العملية سريعة للغاية، حتى لو كان لديك عدد قليل فقط من الأمثلة لما تريد نسيانه (ما يسمونه "Few-Shot").

3. "الهدف المحايد" (زر )

عندما يواجه أمين المكتبة المعلومات الحساسة، فإن ZeroUnlearn لا يجعله مرتبكًا فحسب؛ بل يعلمه كيف يضغط على زر "التوقف".

التشبيه: إذا سأل شخص ما: "ما هي كلمة السر السرية؟"، كان أمين المكتبة يقول كلمة السر سابقًا. الآن، يقوم ZeroUnसीएल ببرمجة أمين المكتبة بحيث عندما يسمع هذا السؤال، يقول فورًا: "لا أعرف"، أو ببساطة يتوقف عن الكلام (وهو ما يمثله رمز مثل <EOS>). إنه يستبدل الإجابة الخطيرة بصمت محايد وآمن.

4. لماذا لا يكسر أمين المكتبة؟

أكبر مخاوف هذه الطرق هو أنك قد تجعل أمين المكتبة ينسى التحدث باللغة الإنجليزية تمامًا عن طريق الخطأ.

ادعاء الورقة: تم تصميم ZeroUnlearn ليكون "متعامدًا" (orthogonal). فكر في الأمر كضبط مستوى الصوت في محطة راديو دون لمس مفتاح التحكم في محطات أخرى. تدعي الورقة أنه باستخدام هذا الإسقاط الرياضي المحدد، يمكننا مسح الذاكرة السيئة دون إزعاج "الجوار" من الذكريات الجيدة.
النتيجة: في اختباراتهم، أظهروا أن ZeroUnlearn نجح في إزالة الحقائق السيئة (غالبًا ما قلل قدرة النموذج على استدعائها إلى 0%) مع الحفاظ على ذكاء النموذج العام ومهاراته اللغوية كما هي تقريبًا قبل ذلك.

ملخص

ZeroUnlearn هو أداة جديدة تسم تسمح لنا بإزالة ذكريات محددة أو حساسة أو ضارة من نماذج الذكاء الاصطناعي جراحيًا دون الحاجة إلى إعادة تدريبها من الصفر أو كسر قدراتها الأخرى عن طريق الخطأ. يفعل ذلك من خلال "إسقاط" الذكريات السيئة رياضيًا في فراغ غير مرئي واستبدالها باستجابة محايدة وآمنة، كل ذلك في خطوة واحدة فعالة.

ملخص تقني: ZeroUnlearn

بيان المشكلة

إن النماذج اللغوية الكبيرة (LLMs)، التي يتم تدريبها على مجموعات ضخمة من بيانات الويب، تحتفظ حتمًا بمعلومات حساسة، أو متحيزة، أو خاصة، أو قديمة. وتعد القدرة على إزالة هذه المعرفة بشكل انتقائي، وهو ما يُعرف بـ "التعلم العكسي للآلة" (machine unlearning)، أمرًا بالغ الأهمية للامتثال للخصوصية والسلامة. ومع ذلك، تواجه الأساليب الحالية قيودًا كبيرة:

إعادة التدريب: إن إعادة تدريب النماذج من الصفر بعد إزالة بيانات محددة أمر غير ممكن حسابيًا بسبب حجم النماذج اللغوية الكبيرة الحديثة.
الضبط الدقيق الهجومي: تؤدي أساليب مثل "تصاعد التدرج" (Gradient Ascent - GA) أو "الضبط الدقيق القياسي" (Fine-Tuning - FT) غالبًا إلى النسيان الكارثي (catastrophic forgetting)، حيث تتآكل القدرات اللغوية العامة للنموذج والمعرفة ذات الصلة في "الجوار" عن غير قصد.
قيود تحرير المعرفة: بينما يوفر "تحرير المعرفة" بديلًا أكثر دقة عبر تعديل بارامترات محددة، فإن التقنيات الحالية غالبًا ما تكافح لموازنة التعلم العكسي الفعال مع الحفاظ على المنفعة العامة للنموذ de، لا سيما في سيناريوهات "التعلم من أمثلة قليلة" (few-shot).

المنهجية

يقترح البحث إطار عمل ZeroUnlearn، الذي يعيد صياغة التعلم العكسي للآلة كمسألة إعادة رسم خرائط المعرفة بدقة عبر تحرير النموذج. وبدلاً من إلحاق الضرر بالوزن بشكل تدميري، يقوم ZeroUnlearn باستبدال المدخلات الحساسة عبر رسم خرائط لها إلى حالة هدف محايدة (مثل رمز <EOS>) مع إزالة تمثيلاتها الأصلية صراحةً.

الآلية الجوهرية: تحديث البارامترات الضربِي

على عكس التحرير الجمعي التقليدي، يستخدم ZeroUnlearn تحديثًا ضربيًا للبارامترات. تُعرَّف مصفوفة الوزن المحدثة $\tilde{W}$ بأنها $\tilde{W} = D W$ ، حيث $W$ هي مصفوفة الوزن الأصلية و $D$ هي مصفوفة التحويل.

يفرض الأسلوب التعامد التمثيلي (representational orthogonality) من خلال قيد الفضاء الصفري (null-space constraint). تتكون دالة التحسين من ثلاثة حدود:

حد الصفر (Zero Term): يضمن أن المخرجات المحدثة متعامدة مع المعرفة الحساسة الأصلية ( $M_f$ )، مما يؤدي فعليًا إلى تصفير التشابه.
حد النسيان (Forget Term): يعيد توجيه مفاتيح المدخلات ( $K_f$ ) لمجموعة النسيان إلى حالة هدف محايدة ( $M_n$ ).
حد المنفعة (Utility Term): يحافظ على أداء النموذج في المعرفة العامة ( $K_0, M_0$ ) لمنع النسيان الكارثي.

الحل ذو الصيغة المغلقة (التعلم من أمثلة قليلة)

بالنسبة لسيناريوهات الأمثلة القليلة (few-shot)، يستنتج المؤلفون حلاً ذا صيغة مغلقة لمصفوفة التحويل المثلى $D^*$ . ومن خلال إجراء "تفكيك القيم المفردة" (SVD) على مصفوفة المخرجات الحساسة $M_f$ ، يقومون ببناء مصفوفة إسقاط متعامدة $P$ تسقط التحديثات في الفضاء الصفري لـ $M_f$ . يضمن هذا أن التعديل يقتصر على الاتجاهات المحددة للمعرفة الحساسة، مما يترك الغالبية العظمى من قدرة النموذج دون مساس. الحل هو:
$\tilde{D}^* = P(A + W)W^\top(W(B + I)W^\top)^{-1}$
حيث $A$ و $B$ هما مصفوفتان تجمعان الارتباطات المتبادلة والعزوم الثانية لمفاتيح المدخلات والأهداف.

التوسع إلى تعدد العينات (ZeroUnlearn-GD)

بالنسبة للتعلم العكسي متعدد العينات، تصبح الصيغة المغلقة مستعصية حسابيًا بسبب الأبعاد العالية لضرب "كرونيكر" (Kronecker product) المتضمن في معادلة سيلفستر. ولمعالجة ذلك، قدم المؤلفون ZeroUnlin-GD، وهو متغير يعتمد على التدرج. يقوم هذا المتغير بتقريب الاضطراب الجمعي الأمثل باستخدام "الاشتقاق المتدرج" (Gradient Descent)، متجنبًا عملية عكس المصفوفة الصريحة مع الحفاظ على قيود الفضاء الصفري للحفاظ على المنفعة.

المساهمات الرئيسية

إطار عمل ZeroUnlearn: منهجية مبتكرة تعيد صياغة التعلم العكسي كمهمة إعادة رسم خرائط المعرفة باستخدام تحديثات ضربية وإسقاط الفضاء الصفري، مما يضمن المحو الشامل للمعلومات الحساسة.
الاشتقاق النظري: حل ذو صيغة مغلقة للتحسين الفعال في خطوة واحدة لسيناريوهات الأمثلة القليلة، وامتداد قائم على التدرج (ZeroUnlearn-GD) لمعالجة الدفعات (batch processing).
التفوق التجريبي: تُظهر التجارب المكثفة أن ZeroUnlearn يتفوق على النماذج المرجعية الموجودة (GA, FT, ROME, MEMIT, AlphaEdit) في فعالية التعلم العكسي مع الحفاظ بشكل أفضل بكثير على المنفعة العامة للنموذج ومعرفة الجوار.

النتائج التجريبية

قيم المؤلفون ZeroUnlearn على نماذج Llama-3.2-3B و Llama-3.1-8B و Qwen-3-4B باستخدام مجموعات بيانات MCF و ZsRE و MQUKE.

فعالية التعلم العكسي: حقق ZeroUnlearn أداءً رائدًا (SOTA)، حيث قلل احتمالية توليد الاستجابات الحساسة الأصلية إلى ما يقرب من الصفر (على سبيل المثال، فعالية 0% في Llama-3.1 لـ MCF). في المقابل، احتفظت أساليب مثل ROME و MEMIT بمعرفة متبقية كبيرة (على سبيل المثال، ~24% فعالية).
الحفاظ على المنفعة: على عكس GA و FT، اللذين تسببا في نسيان كارثي (PPL > 1000 وانخفاض النوعية إلى ما يقرب من 0)، حافظ ZeroUnlearn على درجات الارتياب (Perplexity - PPL) والنوعية (Specificity) بما يضاهي النموذج الأساسي.
التعميم: نجحت الطريقة في كبح المعلومات الحساسة حتى عند إعادة صياغة المدخلات، دون إضعاف الأداء في المهام اللاحقة مثل SST و MMLU و NLI.
التصور البصري: أكدت تصورات PCA لتمثيلات MLP أن ZeroUnlearn يفصل بفعالية بين العينات التي تم تعلمها عكسيًا وبين التوزيع الأصلي، بينما أظهرت النماذج المرجعية مثل AlphaEdit و MEMIT تداخلًا كبيرًا مع البيانات الأصلية.

الأهمية والادعاءات

يزعم البحث أن ZeroUnlearn يقدم نهجًا جراحيًا للتعلم العكسي للآلة. فمن خلال إسقاط التمثيلات الحساسة في فضاء صفري متعامد، فإنه يحقق توازنًا فائقًا بين دقة النسيان والحفاظ على المنفعة العامة.

يؤكد المؤلفون أن عملهم يساهم في تطوير أنظمة ذكاء اصطناي أكثر موثوقية وامتثالًا قانونيًا من خلال تمكين إزالة المحتوى السام، والهلاوس، والبيانات الخاصة دون الحاجة لإعادة التدريب. ويذكرون أن الطريقة تعالج المقايضة بين نسيان معرفة محددة والحفاظ على الكفاءة اللغوية الأساسية للنموذج، مما يعالج تحديًا حاسمًا في النشر المسؤول للنماذج اللغوية الكبيرة. ولا يتوقع البحث أي عواقب اجتماعية سلبية مباشرة لهذه التكنولوجيا.