Layer-Targeted Multilingual Knowledge Erasure in Large Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "المحو المعرفي متعدد اللغات المستهدف للطبقات في النماذج اللغوية الكبيرة".

1. بيان المشكلة

تتناول الورقة فشلاً حرجاً في المحو الآلي للمعرفة (Machine Unlearning) في النماذج اللغوية الكبيرة (LLMs): وهو عدم قدرة الطرق الحالية على تعميم محو المعرفة عبر اللغات.

• المشكلة: عندما يتم محو معرفة خطرة (مثل تعليمات تصنيع المواد الكيميائية) من نموذج لغوي كبير في لغة واحدة (مثل الإنجليزية)، فإن هذه المعرفة غالباً ما تظل متاحة عند استعلام النموذج بلغات أخرى (مثل الألمانية أو الهندية).
• القيود الحالية: تعمل طرق المحو الحالية عادةً في بيئة أحادية اللغة أو تطبق التحديثات بشكل عالمي عبر جميع الطبقات. وهي تفشل في مراعاة البنية متعددة اللغات الداخلية للنماذج اللغوية الكبيرة.
• الفجوة: المناهج الساذجة إما تفشل في محو المعرفة تماماً، أو إذا نجحت في المحو، فإنها تتسبب في انهيار كارثي للقدرات العامة للنموذج في اللغات التي لم تُستخدم أثناء عملية المحو. تفترض الورقة أن العمق (الطبقة) الذي تتم فيه تدخلات المحو هو العامل المحدد لتعميم تعدد اللغات.

2. المنهجية: إطار عمل MUTE

يقترح المؤلفون إطار عمل MUTE (المحو متعدد اللغات عبر الاستهداف الطبقي)، وهو إطار يحدد ويستهدف طبقات معينة "محايدة لغوياً" داخل بنية النموذج لتحقيق محو قوي متعدد اللغات.

أ. الفرضية الأساسية: البنية الطبقية للنماذج اللغوية الكبيرة

من خلال تجارب منهجية، حدد المؤلفون نمطين متميزين من الفشل بناءً على عمق التدخل:

1. الطبقات الضحلة (مثل الطبقة 2): تنجح التدخلات هنا في محو المعرفة ولكنها تؤدي إلى انهيار القدرات متعددة اللغات. فالطبقات الضحلة تشفر العناصر اللغوية الأولية الأساسية المشتركة بين جميع اللغات؛ وتدمير هذه الطبقات يدمر قدرة النموذج على معالجة اللغات غير المصدر.
2. الطبقات العميقة (مثل الطبقة 30): تؤدي التدخلات هنا إلى الحفاظ على المنفعة ولكنها تفشل في محو المعرفة. فبحلول الوقت الذي تصل فيه البيانات إلى الطبقات العميقة، تكون التمثيلات الدلالية قد تباعدت بالفعل إلى فضاءات فرعية خاصة بكل لغة. وتعديل هذه الطبقات يؤثر فقط على توليد الرموز (tokens)، وليس على المعرفة المخزنة الأساسية.

ب. تحديد "المنطقة المحايدة لغوياً"

يستخدم MUTE عملية من مرحلتين لتحديد نقطة التدخل المثلى:

1. تحليل CKA-LRDS:
   • محاذاة النواة المركزية (CKA): تقيس مدى تشابه التمثيلات الخفية لنفس المفهوم الدلالي عبر لغات مختلفة. تشير قيمة CKA العالية إلى وجود تمثيلات ثابتة لغوياً.
   • درجة تطوير المناطق اللغوية (LRDS): تقيس درجة تكتل التمثيلات حسب الهوية اللغوية مقابل المحتوى الدلالي. تشير قيمة LRDS المنخفضة إلى تكتل محايد لغوياً.
2. اختيار الطبقة المستهدفة:
   • يحدد إطار العمل منطقة متصلة ($\Lambda$) حيث تكون قيمة CKA عالية وقيمة LRDS منخفضة.
   • للطرق القائمة على المعلمات (مثل RMU): يتم اختيار أبكر طبقة في $\Lambda$ لتعطيل التمثيل المشترك قبل أن يتباعد.
   • للطرق القائمة على التنشيط (مثل SLUG): يتم اختيار أعمق طبقة في $\Lambda$ للاستفيد من التمثيلات الدلالية الأكثر تجريداً واكتمالاً.

ج. المحو المستهدف للطبقات

بمجرد تحديد الطبقة المستهدفة ($l^*$)، يقوم MUTE بتقييد جميع تحديثات المحو (التدرجات أو تعديلات الأوزان) حصرياً لتلك الطبقة، مع تجميد بقية الشبكة. وهذا يضمن تعديل المفهوم الدلالي المشترك دون الإضرار بقدرات التوليد الخاصة بكل لغة أو المعالجة اللغوية الأساسية.

3. المساهمات الرئيسية

1. تحديد أنماط الفشل: تميز الورقة ظاهرة "فقدان الذاكرة متعدد اللغات"، موضحة أن عمق التدخل ليس معاملاً حراً بل هو محدد أساسي لنجاح عملية المحو.
2. إطار عمل MUTE: منهجية مبدئية تستخدم CKA و LRDS لتحديد الطبقات المحايدة لغوياً تلقائياً، مما يسمح بمحو المعرفة باستخدام مجموعة صغيرة من لغات المصدر (مثل 3 لغات) ليعمم على لغات أخرى (مثل 9+ لغات).
3. تكييف الخوارزميات: قام المؤلفون بتكييف ثلاثة نماذج تمثيلية للمحو (RMU، SLUG، SimNPO) لتعمل بدقة ضمن الطبقات المستهدفة المحددة.
4. التحقق الآلي: باستخدام فحص Log-Lens، يقدم المؤلفون دليلاً من "الصندوق الأبيض" على أن MUTE يحقق إزالة حقيقية للمعرفة من التمثيلات الداخلية، وليس مجرد كبت رموز المخرجات (ما يسمى "وهم المحو").

4. النتائج التجريبية

تم التحقق من صحة إطار العمل عبر ثلاث بنيات نماذج (Llama-3.1-8B، Qwen-2.5-7B، BLOOM-7b1) وثلاث خوارزميات محو.

• مقاييس الأداء:
  • دقة النسيان (Forget Accuracy): حقق MUTE محواً شبه مثالي (غالباً أقل من 2% دقة في مجموعة "النسيان") عبر جميع اللغات، بما في ذلك اللغات التي لم تُستخدم أثناء التدريب.
  • دقة الاحتفاظ (Retain Accuracy): على عكس التدخلات الضحلة (التي خفضت دقة الاحتفاظ إلى ~1% في اللغات الأخرى)، حافظ MUTE على القدرات العامة، محافظاً على دقة الاحتفاظ قريبة من خط الأساس للضبط الدقيق (مثلاً ~55-60% في مهام التاريخ والقانون).
• الاتساق عبر البنيات:
  • Llama-3.1: تم تحديد الطبقة المستهدفة عند الطبقة 9.
  • Qwen-2.5: تم تحديد الطبقة المستهدفة عند الطبقة 19.
  • BLOOM: تم تحديد الطبقة المستهدفة عند الطبقة 5.
  • في جميع الحالات، فشلت التدخلات في الطبقات العميقة في محو المعرفة، ودمرت الطبقات الضحلة المنفعة.
• المقارنة مع النماذج المرجعية:
  • الارتفاع العالمي للتدرج (Global Gradient Ascent): فشل في الموازنة بين المحو والمنفعة؛ حيث تسببت الإعدادات القوية في انهيار المنفعة، بينما فشلت الإعدادات المتحفظة في محو المعرفة.
  • المحو بلغة واحدة: أظهر انتقالاً غير متماثل؛ حيث إن محو المعرفة في اللغات ذات الموارد المنخفضة (مثل الهندية) لم يعمم على اللغات ذات الموارد العالية.
  • MUTE: تفوق باستمرار على النماذج المرجعية، محققاً محواً فعالاً مع الحد الأدنى من تدهور المنفعة.

5. الأهمية والآثار المترتبة

• السلامة والامتثال: يوفر هذا العمل حلاً قابلاً للتوسع لإزالة المعرفة الخطرة من النماذج اللغوية الكبيرة العالمية دون الحاجة إلى مجموعات بيانات ضخمة خاصة بكل لغة. وهو يعالج ثغرة أمنية حرجة حيث يمكن للمهاجمين تجاوز فلاتر السلامة المدربة بالإنجليزية عن طريق ترجمة الاستعلامات إلى لغات ذات موارد منخفضة.
• تحول في النموذج الفكري: تنقل الورقة التركيز في أبحاث المحو من "ما هي البيانات التي يجب التحسين عليها" إلى "أين يجب التدخل في النموذج".
• الرؤية الآلية: تقدم فهماً أعمق لكيفية تنظيم النماذج اللغوية الكبيرة متعددة اللغات للمعرفة، مؤكدة أن المفاهيم الدلالية تتقارب في الطبقات المتوسطة قبل أن تتباعد إلى مسارات توليد خاصة بكل لغة.
• التطبيق العملي: يسمح إطار عمل MUTE للمؤسسات بتحديث النماذج بقيود السلامة باستخدام عدد قليل فقط من لغات المصدر، مما يقلل بشكل كبير من التكاليف الحسابية مع ضمان الامتثال العالمي للسلامة.