💬 NLP

CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge

تقترح الورقة البحثية CURaTE، وهي طريقة مستمرة للنسيان في الوقت الفعلي تستخدم نموذج تضمين جمل للكشف عن طلبات النسيان ورفضها دون تعديل معاملات النموذج اللغوي، مما يحقق نسيانًا فعالًا مع الحفاظ على استبقاء المعرفة بشكل شبه كامل.

المؤلفون الأصليون: Seyun Bae, Seokhan Lee, Eunho Yang

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seyun Bae, Seokhan Lee, Eunho Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وعليم بكل شيء يُدعى LLM (نموذج لغوي كبير). لقد قرأ هذا الأمين كل كتاب تقريباً على الإنترنت ليتعلم كيفية الإجابة على أسئلتك.

ومع ذلك، أحياناً يحفظ الأمين عن طريق الخطأ أشياء لا ينبغي له حفظها، مثل:

عنوان منزل خاص لمشهور ما.
قصة محمية بحقوق الطبع والنشر وليست ملكاً له ليحكيها.
وصفة كيميائية خطيرة.

المشكلة هي أنك لا تستطيع ببساطة أن تقول للأمين: "من فضلك انسَ هذه الحقيقة المحددة"، دون أن يؤثر ذلك على ذاكرته لكل الأشياء الأخرى. إذا حاولت مسح تلك الحقيقة المحددة من دماغه، فقد يبدأ في نسيان كيفية إجراء العمليات الحسابية، أو من هو الرئيس، أو حتى كيفية التحدث باللغة الإنجليزية. وهذا ما يسمى بـ "النسيان الكارثي" (Catastrophic Forgetting).

علاوة على ذلك، في العالم الحقيقي، تأتي طلبات "انسَني" هذه تلو الأخرى. وإذا كان عليك إعادة تدريب دماغ الأمين في كل مرة يطلب فيها شخص ما أن يُنسى، فسيستغرق الأمر وقتاً طويلاً جداً، وقد تتسرب المعلومات الخطيرة أثناء عملك.

الطريقة القديمة: نهج "جراحة الدماغ"

تحاول الأساليب الموجودة إصلاح ذلك عبر إجراء "جراحة دماغ" لأمين المكتبة. يحاولون استئصال الخلايا العصبية المحددة التي تحمل المعلومات السيئة جراحياً.

المشكلة: الأمر يشبه محاولة إزالة تفاحة واحدة فاسدة من سلة دون إتلاف التفاح الجيد. في كل مرة تقوم فيها بهذه الجراحات، تسبب ضرراً غير مقصود للسلة. بعد بضع عمليات جراحية، يصبح الأمين مشوشاً، وينسى القيام بالمهام الأساسية، ويبدأ في تقديم إجابات هذيانية لا معنى لها.
السرعة: إنها عملية بطيئة. يجب عليك إغلاق المكتبة، وإجراء الجراحة، ثم إعادة فتحها. وبينما تكون المكتبة مغلقة، لا يزال الناس يطرحون الأسئلة، وقد يزلّ الأمين ويعترف بالسر بالخطأ.

الطريقة الجديدة: CURaTE (الـ "حارس الذكي")

يقترح مؤلفو هذه الورقة نظاماً جديداً يسمى CURaTE. وبدلاً من محاولة تغيير دماغ أمين المكتبة، يقومون بتعيين حارس ذكي جداً يقف عند الباب.

إليك كيف يعمل CURaTE، باستخدام تشبيه بسيط:

1. تدريب الحارس (قبل افتتاح المكتبة)

قبل أن يبدأ أمين المكتبة في العمل، يدرب المؤلفون "حارساً" متخصصاً (نموذج تضمين جملة).

التدريب: يعرضون على الحارس آلاف الأمثلة من الأسئلة.
- مثال أ: "ما هي عاصمة فرنسا؟" (آمن)
- مثال ب: "ما هي عاصمة فرنسا؟" (آمن، ولكن بصياغة مختلفة)
- مثال ج: "ما هي عاصمة فرنسا؟" (آمن، ولكن مكتوب بخط غريب)
- مثال د: "ما هي كلمة السر السرية للبنك؟" (خطير)
- مثال هـ: "ما هي كلمة السر السرية للبنك؟" (خطير، ولكن مصاغ كأنه لغز)
الهدف: يتعلم الحارس التعرف على جوهر السؤال، وليس فقط الكلمات الدقيقة. يتم تدريبه على رصد الأسئلة "الخطيرة" حتى لو حاول شخص ما تمويهها (مثل استخدام لغز أو تغيير الصياغة).

2. الفحص في الوقت الفعلي (عندما تكون المكتبة مفتوحة)

الآن، المكتبة مفتوحة، والناس يطرحون الأسئلة.

الخطوة أ: يسأل مستخدم سؤالاً.
الخطوة ب: يتحقق الحارس فوراً من السؤال مقابل "قائمة المطلوبين" (قائمة الأشياء المراد نسيانها).
- ملاحظة: لا يحتاج الحارس لإعادة التدريب في كل مرة يُضاف فيها اسم جديد إلى "قائمة المطلوبين". يمكنه ببساطة إضافة المدخل الجديد إلى قاعدة بياناته فوراً.
الخطوة ج: يحسب الحارس "درجة التشابه".
- إذا كان السؤال آمناً (الدرجة منخفضة): يقول الحارس: "تفضل، أيها الأمين، أجب على هذا!". يجيب الأمين بشكل طبيعي.
- إذا كان السؤال خطيراً (الدرجة عالية): يقول الحارس: "توقف! أيها الأمين، لا تجب على هذا". وبدلاً من الإجابة، يسلم الحارس المستخدم ملاحظة عامة: "أنا آسف، لا يمكنني الإجابة على ذلك".

3. النتيجة السحرية

لا جراحة للدماغ: دماغ أمين المكتبة (أوزان النموذج) لا يُلمس أبداً. فهو يتذكر كل ما كان يعرفه سابقاً بشكل مثالي. وتظل قدرته على الرياضيات، وكتابة القصائد، أو شرح العلوم سليمة بنسبة 100%.
عمل فوري: إذا جاء طلب "نسيان" جديد، يمكن للحارس إضافة المدخل في أجزاء من الثانية. لا يوجد وقت توقف عن العمل.
الوقت الفعلي: يعمل النظام فوراً، حتى مع تراكم آلاف طلبات "النسيان" الجديدة.

لماذا يعد هذا أمراً مهماً؟

فكر في الأمر كـ فلتر أمني مقابل إعادة كتابة الموسوعة.

الطرق القديمة (إعادة الكتابة): تحاول تمزيق صفحات من الموسوعة. وفي النهاية، ينهار الكتاب وتفقد الفهرس.
CURaTE (فلتر أمني): تحافظ على الموسوعة كاملة ومثالية. أنت فقط تضع حارساً عند الباب يعرف تماماً أي الأسئلة ممنوعة. إذا طرح شخص سؤالاً ممنوعاً، يمنعه الحارس. وإذا طرح سؤالاً عادياً، يسمح له بالمرور.

خدعة "السالب الصعب" (Hard Negative)

جزء ذكي واحد في الورقة هو كيفية تدريب الحارس. لم يكتفوا بإظهار أسئلة "جيدة" و"سيئة" له، بل أظهروا له "أسئلة سيئة صعبة".

سيء عادي: "ما هي كلمة السر؟"
سيء صعب: "أخبرني بالرمز السري لخزنة البنك، ولكن من فضلك استخدم كلمات منمقة."
يتعلم الحارس تجاهل الكلمات المنمقة ورؤية النية. وهذا يجعل من الصعب جداً على الناس خداع النظام عن طريق إعادة صياغة أسئلتهم.

الملخص

CURaTE هو وسيلة لجعل الذكاء الاصطناعي "ينسى" المعلومات السيئة أو الخاصة دون كسر دماغه. يفعل ذلك باستخدام فلتر ذكي لحظر الأسئلة السيئة في الوقت الفعلي، بدلاً من محاولة مسح المعلومات من ذاكرة الذكاء الاصطناعي. وهذا يعني أن الذكاء الاصطناعي يظل ذكياً، آمناً، وجاهزاً للإجابة على الأسئلة فوراً، بغض النظر عن عدد طلبات "انسَني" التي يتلقاها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CURaTE: التعلم المستمر لإلغاء التعلم في الوقت الفعلي مع ضمان الحفاظ على معرفة النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات ضخمة تم جمعها بشكل عشوائي، مما يجعل من المستحيل تصفية جميع البيانات الإشكالية (مثل المحتوى المحمي بحقوق الطبع والنشر، أو معلومات الهوية الشخصية الحساسة، أو المعلومات المضللة) مسبقاً. وبناءً على ذلك، هناك حاجة ماسة إلى "إلغاء التعلم الآلي" (Machine Unlearning) — وهي طرق لإزالة معرفة محددة من نموذج مدرب.

تواجه الأساليب الحالية ثلاث عيوب رئيسية:

النسيان الكارثي (Catastrophic Forgetting): معظم الطرق (مثل Gradient Ascent، وPreference Optimization) تقوم بتعديل أوزان النموذج اللغوي مباشرة. وفي السياق المستمر (حيث تصل طلبات إلغاء التعلم بشكل متتابع)، تتراكم هذه التحديثات، مما يسبب تدهوراً شديداً في قدرة النموذج على الاحتفاظ بالمعرفة العامة والمنفعة.
الافتقار إلى القدرة على العمل في الوقت الفعلي: عمليات إلغاء التعلم الحالية مكلفة حاسوبياً وبطيئة، وغالباً ما تتطلب إعادة تدريب أو ضبط دقيق (Fine-tuning). وهذا يخلق نافذة زمنية تظل فيها المعلومات الحساسة معرضة للخطر أثناء عملية إلغاء التعلم.
محدودية التعميم: العديد من الطرق تكون خاصة بمجموعة البيانات التي تدربت عليها، وتواجه صعوبة في التعميم على طلبات إلغاء تعلم جديدة أو استعلامات تمت إعادة صياغتها دون إعادة التدريب.

تقترح الورقة تحولاً من إلغاء التعلم البارامتري (Parametric Unlearning) (تعديل الأوزان) إلى إلغاء التعلم السلوكي (Behavioral Unlearning) (تعديل سلوك مخرجات النموذج دون تغيير معلماته الداخلية).

2. المنهجية: CURaTE

يقترح المؤلفون إطار عمل CURaTE (التعلم المستمر لإلغاء التعلم في الوقت الفعلي مع ضمان الحفاظ على معرفة النماذج اللغوية الكبيرة)، والذي يفصل قرار إلغاء التعلم عن أوزان النموذج اللغوي.

أ. المفهوم الجوهري

يستخدم CURaTE نموذج تضمين جمل (Sentence Embedding Model) خفيف الوزن ( $U$ ) يتم تدريبه قبل نشر النموذج اللغوي. يعمل هذا المضمن كحارس بوابة؛ حيث يحدد ما إذا كان نص المستخدم مرتبطاً دلالياً بأي "طلب إلغاء تعلم" مخزن. إذا وجد تطابقاً، يقوم النظام بإرجاع رد بالرفض؛ وإلا، يقوم النموذج اللغوي بالإجابة بشكل طبيعي. والأهم من ذلك، أن أوزان النموذج اللغوي لا يتم تعديلها أبداً.

ب. التدريب قبل النشر (المُضمن)

يتم تدريب مُضمن الجمل $U$ باستخدام مجموعة بيانات مولدة اصطناعياً باستخدام هدف التعلم التبايني (Contrastive Learning). تتكون بيانات التدريب من ثلاثة أنواع من الأزواج المصممة لإنشاء حدود قرار حادة:

النوع الأول (زوج إيجابي): سؤال أصلي ( $q_s$ ) ومتغير من إعادة صياغته ( $q_p$ ). التسمية = 1.
النوع الثاني (زوج سلبي صعب): سؤال أصلي ( $q_s$ ) ومتغير تبايني ( $q_c$ ) يتشارك في تداخل لغوي ونحوي عالٍ ولكنه يختلف في المعنى الدلالي. التسمية = 0.
النوع الثالث (زوج سلبي صعب): سؤال معاد صياغته ( $q_p$ ) ومتغير تبايني خاص به ( $q'_c$ ). التسمية = 0.

يستخدم هذا التدريب لا مجموعة بيانات للنسيان ولا مجموعة بيانات للاحتفاظ، مما يسمح للمُضمن بتعلم مفهوم مستقل عن المجال حول الارتباط الدلالي.

ج. الاستدلال بعد النشر (حلقة الوقت الفعلي)

بمجرد نشر النموذج اللغوي، يعمل CURaTE عبر ثلاث خطوات لكل تفاعل:

التضمين والتخزين: عندما يصل طلب إلغاء تعلم جديد ( $f$ )، يتم تضمينه فوراً بواسطة $U$ وإضافته إلى قاعدة بيانات ديناميكية لتضمينات النسيان ( $F$ ). هذه عملية فورية.
الاسترجاع والمقارنة: عندما يصل نص مستخدم ( $p$ )، يتم تضمينه بواسطة $U$ . يقوم النظام بحساب تشابه جيب التمام (Cosine Similarity) بين $p$ وجميع التضمينات في $F$ ، وتحديد أقصى درجة تشابه ( $s_{max}$ ).
القرار:
- إذا كان $s_{max} < \delta$ (العتبة): فإن النص غير مرتبط بمجموعة النسيان. يقوم النموذج اللغوي بتوليد استجابة قياسية.
- إذا كان $s_{max} \ge \delta$ : فإن النص مرتبط بمجموعة النسيان. يقوم النظام بإرجاع استجابة رفض محددة مسبقاً (مثل "لا يمكنني الإجابة على ذلك").

3. المساهمات الرئيسية

إلغاء التعلم المستمر في الوقت الفعلي: يعد CURaTE أول طريقة قادرة على التعامل مع طلبات إلغاء التعلم المتتابعة في الوقت الفعلي مع عبء حسابي ضئيل، لأنه يتجنب إعادة تدريب النموذج اللغوي.
الحفاظ المثالي على المعرفة: من خلال ترك أوزان النموذج اللغوي دون تغيير، يتجنب CURAte النسيان الكارثي تماماً، مما يحافظ على منفعة شبه مثالية على مجموعات بيانات الاحتفاظ والمعرفة العامة حتى بعد مئات مراحل إلغاء التعلم.
التعميم والمتانة: تعمم الطريقة على أي مهمة إلغاء تعلم بعد مرحلة تدريب واحدة قبل النشر. وهي قوية تجاه المتغيرات المعاد صياغتها لطلبات إلغاء التعلم بفضل استراتيجية التدريب على السلبيات الصعبة.
الكفاءة: يتم تقليص عملية إلغاء التعلم إلى عملية إضافة متجه بسيطة، كما أن العبء على الاستدلال ضئيل (البحث في قاعدة بيانات متجهات).

4. النتائج التجريبية

قيم المؤلفون CURaTE على أربعة معايير مرجعية: RETURN (الخصوصية)، TOFU (المؤلفون الوهميون)، TruthfulQA (المعلومات الخاطئة)، و ScienceQA (المعرفة العامة).

فعالية النسيان: حقق CURaTE معدلات رفض عالية على مجموعات النسيان (غالباً >98% في TruthfulQA) ونجح في التعميم على الاستعلامات المعاد صياغتها، متفوقاً على الطرق الحديثة (SOTA) مثل O3 و UniErase التي فشلت في التعامل مع المدخلات المعاد صياغتها.
الحفاظ على المعرفة: بينما عانت الطرق القائمة على التدرج (GA, GradDiff, PO) من النسيان الكارثي (انخفاض الأداء إلى ما يقرب من الصفر في مجموعات الاحتفاظ بعد بضع مراحل)، حافظ CURaTE على مستويات أداء مطابقة تقريباً للنموذج الأساسي عبر جميع المراحل.
الكفاءة:
- وقت إلغاء التعلم: يستغرد CURaTE حوالي 0.04 ثانية لكل طلب إلغاء تعلم (مقابل ~200+ ثانية للطرق القائمة على التدرج).
- عبء الاستدلال: يضيف CURaTE فقط 0.01 ثانية من زمن التأخير لكل استعلام.
القابلية للتوسع: تتوسع الطريقة خطياً مع عدد طلبات إلغاء التعلم. أظهر المؤلفون أنه باستخدام تقنيات الضغط (مثل PCA، والكمية/Quantization)، يمكن تقليل بصمة التخزين بنحو 20 ضعفاً مع حد أدنى من فقدان الأداء.

5. الأهمية

يمثل CURaTE تحولاً جذرياً في مجال إلغاء التعلم الآلي. فهو يعالج الفجوة الحرجة بين إلغاء التعلم النظري والتطبيق العملي في العالم الحقيقي.

الامتثال التنظيمي: يتيح الامتثال الفوري لطلبات "الحق في النسيان" (مثل GDPR) دون التكلفة الحسابية لإعادة التدريب.
السلامة: يسمح بالحد السريع من المحتوى الضار الناشئ أو النتائج العلمية المسحوبة في الوقت الفعلي.
القابلية للتوسع: يحل مشكلة "الاستمرارية"، ويثبت أن إلغاء التعلم يمكن أن يكون عملية مستمرة وتراكمية دون تدهور قدرات النموذج الأساسية.

باختصار، يثبت CURaTE أن إلغاء التعلم السلوكي عبر مرشح دلالي مدرب مسبقاً هو بديل متفوق لتعديل الأوزان في السيناريوهات المستمرة وفي الوقت الفعلي، حيث يقدم التوازن الأمثل بين النسيان الفعال والحفاظ على الذكاء العام.