💬 NLP

Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning

تقدم هذه الورقة البحثية TokenUnlearn، وهو إطار عمل لنسب الأهمية على مستوى الرمز (token-level attribution) يعزز عملية "إلغاء التعلم" (machine unlearning) في النماذج اللغوية الكبيرة من خلال تحديد واستهداف الرموز الحرجة بشكل انتقائي عبر إشارات مدركة للمعرفة والاعتلاج (entropy)، مما يؤدي إلى تحسين فعالية النسيان والحفاظ على المنفعة مقارنة بالطرق التقليدية القائمة على مستوى التسلسل.

المؤلفون الأصليون: Jiawei Wu, DouDou Zhou

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiawei Wu, DouDou Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Unlearning What Matters" (نسيان ما يهم) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: نهج "الأرض المحروقة"

تخيل أن لديك مكتبة ضخمة (نموذج لغوي كبير) قرأت ملايين الكتب. فجأة، طُلب منك إزالة ذاكرة كتاب واحد محدد وحساس من عقل أمين المكتبة.

الأساليب الحالية للقيام بذلك تشبه حرق المكتبة بأكملها للتأكد من اختفاء ذلك الكتاب الواحد. إنهم يخبرون الذكاء الاصطناعي: "انسَ كل شيء عن هذا الموضوع". عندها يحاول الذكاء الاصطناعي نسيان الجملة أو المحادثة بأكملها التي يظهر فيها هذا الموضوع.

المشكلة هي أنه في أي جملة، توجد كلمات قليلة فقط تحمل "المعلومة السرية". أما بقية الكلمات فهي مجرد قواعد لغوية، أو علامات ترقيم، أو كلمات حشو (مثل "الـ"، "هو"، أو "و"). ومن خلال محاولة نسيان الجملة بأكملها، ينسى الذكاء الاصطناعي بالخطأ أشياء مفيدة لم يكن ينبغي له فقدانها، ويترك خلفه "فوضى" حيث لا يكون متأكداً تماماً مما يجب نسيانه. الأمر يشبه محاولة إزالة بقعة معينة من قميص عبر فرك القماش بأكمله حتى يتهالك النسيج.

الحل: TokenUnlearn (نهج "المشرط")

يقترح المؤلفون طريقة جديدة تسمى TokenUnlearn. بدلاً من فرك القميص بأكمله، يستخدمون مشرطاً لإزالة الكلمات المحددة فقط التي تحمل المعلومات السرية.

في عالم الذكاء الاصطناعي، الـ "token" (الرمز) هو مجرد قطعة من كلمة (مثل قطعة من أحجية). وتجادل الورقة البحثية بأن المعرفة ليست موزعة بالتساوي عبر الجملة؛ بل تتركز في بعض "الرموز الحرجة".

كيف يعمل: "المحقق" و"مقياس الارتباك"

للعثور على هذه الكلمات الحرجة، يستخدم النظام حيلتين ذكيتين:

المحقق المعتمد على المعرفة (إشارة الوعي بالمعرفة):
تخيل أنك تحاول معرفة أي كلمة في الجملة تحمل السر. تأخذ الجملة وتقوم بتغطية (قناع/Masking) الأسماء المهمة (مثل الأسماء أو التواريخ).

مثال: الأصل: "يفغيني غريمكوف نشر تسع روايات."
بعد التغطية: "[مجهول] [مجهول] نشر تسع روايات."
إذا تغير توقع الذكاء الاصطناعي للكلمة التالية بشكل جذري عند إخفاء الاسم "يفغيني"، فإن هذه الكلمة هي "رمز حرج". وهذا يعني أن الذكاء الاصطناعي كان يعتمد بشدة على تلك الكلمة المحددة لمعرفة الإجابة. أما إذا لم يتغير التوقع كثيراً، فهذه الكلمة كانت مجرد حشو.

مقياس الارتباك (إشارة الوعي بالاعتلاج/الإنتروبيا):
أحياناً، يكون الذكاء الاصطناعي غير متأكد من الإجابة لأنه يحاول الاختيار بين عدة حقائق. يبحث النظام عن اللحظات التي يكون فيها الذكاء الاصطناعي "مرتبكاً" (اعتلاج عالٍ/High Entropy). غالباً ما تحدث هذه اللحظات في الوقت الذي يصل فيه الذكاء الاصطناعي إلى معرفة محددة. يساعد هذا في رصد الكلمات التي قد تفوتها حيلة التغطية (Masking).

يجمع النظام بين هذين القرينين لمنح كل كلمة في الجملة "درجة أهمية".

الاستراتيجيتان: "القطع الحاد" و"مفتاح التعتيم"

بمجرد أن يعرف النظام الكلمات المهمة، يستخدم إحدى طريقتين لتعليم الذكاء الاصطناعي النسيان:

الاختيار الحاد (القطع الحاد): يُطلب من الذكاء الاصطناعي أن يحاول فقط نسيان أعلى 20% من الكلمات الأكثر أهمية. إنه يتجاهل بقية الجملة تماماً. هذا يشبه الاستئصال الجراحي للجزء الملطخ من النسيج فقط.
التوزين الناعم (مفتاح التعتيم): يُطلب من الذكاء الاصطناعي محاولة نسيان كل الكلمات، لكنه يرفع "جهد النسيان" إلى حد عالٍ جداً للكلمات المهمة، ويخفضه إلى حد منخفض للكلمات غير المهمة. الأمر يشبه ضبط مستوى الصوت في الراديو؛ الكلمات المهمة صاخبة، والبقية هادئة.

لماذا هذا أفضل: "نسبة الإشارة إلى الضجيج"

تستخدم الورقة البحثية مفهوماً رياضياً يسمى نسبة الإشارة إلى الضجيج (Signal-to-Noise Ratio).

الإشارة: هي التعليمات الفعلية لنسيان البيانات السيئة.
الضجيج: هو الضرر العرضي الذي يلحق بالبيانات الجيدة نتيجة محاولة نسيان الكثير من الأشياء.

الأساليب القديمة تشبه الصراخ بهمس في غرفة مزدحمة؛ تضيع الرسالة وسط الضجيج، وتزعج الآخرين بالخطأ. أما TokenUnlearn فهو يشبه الهمس مباشرة في أذن الشخص الذي تريد إخباره. من خلال التركيز فقط على الكلمات الحرجة، تصبح "الإشارة" للنسيان أقوى بكثير، بينما يصبح "الضجيج" (الضرر الذي يلحق بالمعرفة الأخرى) أضعف بك much.

النتائج: نسيان أفضل، وتذكر أكثر

اختبر الباحثون هذا على ثلاثة نماذج مختلفة من الذكاء الاصطناعي (صغير، متوسط، وكبير) باستخدام نوعين من الاختبارات:

TOFU: اختبار حيث كان على الذكاء الاصطناعي نسيان أسماء مؤلفين مزيفة.
WMDP: اختبار سلامة حيث كان على الذكاء الاصطناعي نسيان معلومات خطيرة حول الأسلحة والهجمات السيبرانية.

كانت النتائج واضحة:

نسيان أفضل: نسي الذكاء الاصطناعي المعلومات المستهدفة بفعالية أكبر من السابق.
احتفاظ أفضل: احتفظ الذكاء الاصطناعي بمعرفته العامة وقدرته على الإجابة على الأسئلة الأخرى بشكل أفضل. لم يصبح "أغبى" بشكل عام.
الاتساق: نجح هذا الأمر مع النماذج الصغيرة والكبيرة على حد سواء.

الملخص

فكر في عملية "نسيان الآلة" (Machine Unlearning) كأنها عملية تحرير لفيلم سينمائي. الأساليب القديمة كانت تشبه قص المشهد بأكمله الذي يقول فيه الشخص شيئاً لا تريده، مما يفسد تدفق الفيلم. أما TokenUnlearn فهو يشبه استخدام محرر رقمي لإزالة سطر حوار محدد فقط، مع ترك بقية المشهد (والفيلم) سليماً تماماً. إنه يجعل الذكاء الاصطناعي أكثر أماناً وامتثالاً لقواعد الخصوصية دون أن يكسر عقله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning" (نسيان ما يهم: إسناد على مستوى الرمز لنسيان دقيق للنماذج اللغوية).

1. بيان المشكلة

غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs) بحفظ بيانات حساسة، أو محمية بحقوق الطيات، أو ضارة، مما يستلد عملية "النسيان الآلي" (Machine Unlearning) لإزالة معرفة محددة دون الحاجة لإعادة التدريب من البداية.

القصور الحالي: تعمل طرق النسيان الحالية على مستوى التسلسل (Sequence Level)، حيث تطبق تحديثات تدرج (Gradient Updates) موحدة عبر جميع الرموز (Tokens) في التسلسل الواحد.
المشكلة الجوهرية: المعرفة ليست مشفرة بشكل موحد؛ إذ تشكل مجموعة فرعية نادرة من الرموز فقط (مثل كيانات معينة، تواريخ، حقائق) الجزء الذي يحمل المعلومات المستهدفة، بينما تؤدي الرموز الأخرى أدواراً هيكلية أو سياقية.
عواقب التحديثات الموحدة:
1. ضجيج التدرج (Gradient Noise): يؤدي تحديث الرموز غير الحرجة إلى إدخال الضجيج، مما يقلل من نسبة الإشارة إلى الضجيج (SNR) لعملية النسيان.
2. تدهور المنفعة (Utility Degradation): تؤدي التحديثات العشوائية إلى الإضرار بأداء النموذج في المعارف غير المرتبطة (الأضرار الجانبية).
3. النسيان غير الأمثل: يفشل النموذج في إزالة المعرفة المستهدفة بفعالية لأن إشارة التدرج يتم تخفيفها بواسطة الرموز غير ذات الصلة.

2. المنهجية: TokenUnlearn

يقترح المؤلفون إطار عمل TokenUnlearn، الذي ينقل عملية النسيان من مستوى التسلسل إلى مستوى الرمز (Token Level) عبر تحديد واستهداف الرموز "الحرجة معرفياً" بشكل انتقائي.

أ. آلية إسناد الرموز (Token Attribution Mechanism)

لتحديد الرموز التي تشفر المعرفة المراد نسيانها، يقوم إطار العمل بحساب درجة أهمية مركبة ( $\phi_i$ ) لكل رمز باستخدام إشارتين:

الإسناد الواعي بالمعرفة (القناع - Masking):
- الآلية: يقوم النموذج بتوليد تنبؤات على المدخلات الأصلية ( $z_{orig}$ ) وعلى مدخلات تم فيها حجب الأجزاء ذات الصلة بالمعرفة (تحديداً الأسماء في المطالبة/Prompt) ( $z_{mask}$ ).
- المقياس: يتم حساب فرق لوغاريتم الاحتمالية المطلق ( $\Delta^{unlearn}_i$ ). يشير الفرق الكبير إلى أن تنبؤ الرمز يعتمد بشدة على المعرفة المستهدفة.
إشارة المتمم الواعية بالاعتلاج (Entropy-Aware Complementary Signal):
- الآلية: تحسب الاعتلاج التنبئي ( $H_i$ ) للرمز.
- التعليل: قد يشير الاعتلاج العالي إلى نقاط اتخاذ قرار يكون فيها النموذج غير متأكد بشأن الاستمرارات المعتمدة على المعرفة (مثل الاختيار بين عدة حقائق محتملة).
- الدمج: الدرجة النهائية هي مجموع مرجح: $\phi_i = \alpha \cdot \bar{\Delta}^{unlearn}_i + (1-\alpha) \cdot \bar{H}_i$ .

ب. استراتيجيات التحسين الانتقائي للرموز

بمجرد توليد درجات الأهمية، يطبق إطار العمل أهداف النسيان فقط على الرموز ذات الأهمية العالية باستخدام استراتيجيتين:

الاختيار الصارم (Hard Selection):
- يختار أعلى كسر ( $r$ ) من الرموز (مثلاً أعلى 20%) بناءً على $\phi_i$ .
- يطبق خسارة النسيان حصرياً على هذه الرموز؛ بينما تتلقى الرموز الأخرى تحديثات تدرج صفرية.
التوزين الناعم (Soft Weighting):
- يعدل مساهمة التدرج لكل رمز بناءً على درجة أهمية معيرة (باستخدام Softmax مع درجة حرارة $\tau$ ).
- يسمح بالتداخل السلس بين التحديثات الموحدة والتحديثات الانتقائية الكاملة.

ج. التكامل مع الطرق الموجودة

إطار العمل مستقل عن النموذج ويتكامل مع أهداف النسيان القائمة على التدرج، بما في মধ্যে:

صعود التدرج (Gradient Ascent - GA)
صعود التدرج المرجح (Weighted Gradient Ascent - WGA)
تحسين التفضيل السلبي (Negative Preference Optimization - NPO)
نسيان انحراف التمثيل (Representation Misdirection Unlearning - RMU)
الاحتفاظ: يتم دمج جميع الطرق مع تنظيم تباعد KL (KL-divergence) على "مجموعة الاحتفاظ" للحفاظ على القدرات العامة.

3. التحليل النظري

تقدم الورقة تبريراً نظرياً لسبب تحسين اختيار مستوى الرمز لعملية النسيان:

نسبة الإشارة إلى الضجيج (SNR): ينمذج المؤلفون النسيان كحركة على طول فضاء فرعي منخفض الأبعاد ( $U$ ) للمعلمات.
تقليل الضجيج: تراكم التحديثات الموحدة الضجيج من جميع الرموز $T$ . يعمل اختيار مستوى الرمز على تركيز وزن التدرج على المجموعة الفرعية $K$ من الرموز الحرجة معرفياً.
النتيجة: تتحسن نسبة الإشارة إلى الضجيج لمقدر التدرج بشكل يتناسب مع مقلوب نسبة الاختيار ( $T/|K|$ ). ومن خلال كبح التحديثات على الرموز غير الحرجة، يقلل الأسلوب من ضجيج التدرج ويحافظ على المعارف غير المرتبطة بشكل أكثر فعالية.

4. النتائج التجريبية

قيم المؤلفون TokenUnlearn عبر معيارين عبر ثلاثة معماريات نماذج (Phi-1.5, Llama-2-7B, Qwen-3-8B).

المعايير (Benchmarks)

TOFU (مهمة النسيان الخيالي): نسيان معرفة دقيقة (إزالة الحقائق حول مؤلفين خياليين).
WMDP (بديل أسلحة الدمار الشامل): مواءمة السلامة (إزالة المعرفة الخطرة المتعلقة بالأمن البيولوجي/السيبراني).

النتائج الرئيسية

تفوق النسيان: تفوقت متغيرات مستوى الرمز (T-* و S-*) باستمرار على خطوط الأساس لمستوى التسلسل في فعالية النسيان (انخفاض الدقة في مجموعات النسيان).
- مثال: في TOFU مع Qwen-3-8B، حقق T-WGA تحسناً كبيراً في فعالية النسيان مقارنة بـ WGA القياسي.
حفظ أفضل للمنفعة: حافظت طرق مستوى الرمز على منفعة نموذج أعلى (درجات الاحتفاظ) في البيانات غير المستهدفة.
- مثال: في Qwen-3-8B، تحسنت درجة الاحتفاظ بنسبة تصل إلى 19.0% مقارنة بخطوط الأساس لمستوى التسلسل مع تحقيق نسيان أفضل.
القدرة على التعميم: عمل النهج باستمرار عبر أحجام نماذج ومعماريات مختلفة.
دراسات الاستئصال (Ablation Studies):
- نسبة الاختيار ( $r$ ): وفرت نسبة 20% (أعلى 20% من الرموز) التوازن الأمثل بين النسيان والاحتفاظ.
- وزن الاعتلاج: وفر دمج إشارات الاعتلاج (بوزن تقريبي 30%) فوائد تكميلية، حيث التقط نقاط اتخاذ القرار غير المؤكدة التي قد يغفلها القناع وحده.

5. المساهمات الرئيسية

إطار عمل إسناد مستوى الرمز: تقديم طريقة مبدئية لتحديد الرموز الحرجة معرفياً باستخدام القناع المقابل وإشارات الاعتلاج دون الحاجة لنماذج مساعدة.
استراتيجيات النسيان الانتقائية: اقتراح استراتيجيات "الاختيار الصارم" و"التوزيد الناعم" التي توسع خوارزميات النسيان الحالية لتعمل على مستوى الرمز.
الرؤية النظرية: إثبات أن التحديثات المختارة للرموز تحسن نسبة الإشارة إلى الضجيج للتدرج، مما يفسر سبب فشل التحديثات الموحدة في تحسين الأهداف المزدوجة للنسيان والاحتفاظ.
التحقق التجريبي: إثبات تحسن مستمر عبر ثلاثة نماذج ومعيارين مختلفين (المعرفة والسلامة)، محققاً تحسناً يصل إلى 32.6% في فعالية النسيان و 19.0% في حفظ المنفعة.

6. الأهمية والأثر

الخصوصية والتشريعات: يتيح امتثالاً أكثر دقة لـ "الحق في النسيان" (GDPR/CCPA) عبر إزالة آثار بيانات محددة دون إضعاف المنفعة العامة للنموذج.
السلامة: يوفر آلية أكثر فعالية لإزالة القدرات الخطرة (مثل التهديدات البيولوجية/السيبرانية) من النماذج المدربة مسبقاً.
الكفاءة: يتحدى الافتراض بأن النسيان يتطلب تحديثات تسلسل موحدة، مشيراً إلى أن المعرفة في النماذج اللغوية الكبيرة هي معرفة نادرة ويمكن استهدافها بدقة.
القيود: تفرض الطريقة عبئاً حسابياً إضافياً بسبب التمرير الأمامي (Forward Pass) الإضافي لعملية القناع. وهي طريقة تقريبية ولا تضمن الإزالة بنسبة 100% لآثار المعرفة (قد توجد آثار متبقية).

في الختام، يمثل TokenUnlearn تحولاً جذرياً في النسيان الآلي، حيث ينتقل من تحديثات التسلسل الفضفاضة إلى إسناد الرموز الدقيق، مما يحل التوتر الجوهري بين النسيان الفعال والحفاظ على المنفعة.