🤖 machine learning

GROM: Gradient-Free Rapid One-Shot Machine Unlearning

يُعد GROM طريقة مبتكرة لتعلم الآلة غير المعتمد على التراجع (unlearning)، وهي طريقة من خطوة واحدة وخالية من التدرج، تستنتج تحديثًا تحليليًا مغلق الصيغة لتطهير المعرفة الحساسة بسرعة وبشكل دائم من النماذج اللغوية الكبيرة مع الحفاظ على الفائدة ومقاومة هجمات الاسترداد القائمة على التكميم.

المؤلفون الأصليون: Paweł Batorski, Przemysław Spurek, Paul Swoboda

نُشر 2026-08-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Paweł Batorski, Przemysław Spurek, Paul Swoboda

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً عملاقاً، فائق الذكاء، قد قرأ كل كتاب تقريباً على الإنترنت. إنه مذهل في الإجابة على الأسئلة، وكتابة القصص، والمساعدة في الواجبات المدرسية. ولكن في بعض الأحيان، يتذكر الروبوت أشياء لا ينبغي له تذكرها—مثل تاريخ ميلاد شخصية مشهورة، أو وصفة سرية، أو صيغة كيميائية خطيرة. في عالم الذكاء الاصطناعي، هذه مشكلة كبيرة. نحن بحاجة إلى طريقة تجعل الروبوت "ينسى" هذه الحقائق المحددة دون أن تتدمر دماغه أو تصبح غبية بشأن كل شيء آخر. يُسمى هذا "النسيان الآلي" (Machine Unlearning).

فكر في دماغ الروبوت كمكتبة ضخمة من الروابط. الطرق القديمة لجعل الروبوت ينسى تشبه محاولة مسح كتاب معين من المكتبة عن طريق إعادة ترتيب كل رف على حدٍ، ببطء وألم، كتاباً تلو الآخر. إنها عملية تستغرق وقتاً طويلاً، وأحياناً يكون الكتاب مختبئاً خلف ستارة بدلاً من أن يتم التخلص منه فعلياً. إذا حدقت بقوة (أو في هذه الحالة، إذا قلصت حجم المكتبة)، فلا يزال بإمكانك العثور على الكتاب. تقدم الورقة البحثية الجديدة طريقة أسرع وأنظف للقيام بذلك، حيث تحول عملية التنظيف البطيئة والفوضوية إلى خدعة سحرية واحدة دقيقة.

الورقة البحثية: GROM (النسيان الآلي السريع بضربة واحدة وبدون تدرج)

قام مؤلفو هذه الورقة، باول باتورسكي، وبرزيميسلاف سبورك، وبول سووبودا، ببناء أداة تسمى GROM. يمكنك التفكير في GROM كـ "زر نسيان" يعمل فوراً، بدلاً من "عملية نسيان" تستغرق ساعات.

الطريقة القديمة: الخلط البطيء
عادةً، عندما نريد من الذكاء الاصطناعي أن ينسى شيئاً ما، نستخدم طريقة تسمى "الضبط الدقيق" (Fine-tuning). تخيل أنك تحاول تعليم كلب التوقف عن مطاردة سنجاب محدد؛ عليك أن تركض في الفناء مع الكلب، مراراً وتكراراً، لتصحيح سلوكه في كل مرة ينظر فيها إلى السنجاب. هذا ما تفعله طرق الذكاء الاصطناعي الحالية: فهي تقوم بآلاف الحسابات الصغيرة (التكرارات) لتدفع دماغ الذكاء الاصطناعي ببطء بعيداً عن الذاكرة غير المرغوب فيها. إنها عملية بطيئة، وتستهلك الكثير من الكهرباء، وتشير الورقة البحثية إلى أنه في بعض الأحيان لا ينسى الذكاء الاصطناناً حقاً؛ بل يقوم فقط بإخفاء الذاكرة بطريقة يمكن استردادها بسهولة إذا بحثت بدقة.

الطريقة الجديدة: التعديل بضربة واحدة
يغير GROM قواعد اللعبة تماماً. بدلاً من الركض في الفناء لساعات، ينظر GROM إلى الذاكرة المحددة التي تريد حذفها ويحسب الحركة الرياضية الدقيقة المطلوبة لمسحها في خطوة واحدة.

يصف المؤلفون هذا بأنه "حل مغلق الصيغة" (Closed-form solution). باللغة البسيطة، هذا يعني أنهم وجدوا صيغة مباشرة لحل المشكلة، مثل استخدام الآلة الحاسبة للحصول على الإجابة فوراً بدلاً من التخمين والتجربة. إنهم يعاملون دماغ الذكاء الاصطناعي كجدول بيانات ضخم من الأرقام. هم يحددون الصفوف والأعمدة المحددة التي تحتوي على الذاكرة "السيئة" ويطبقون تعديلاً رياضياً واحداً ودقيقاً على تلك الأرقام.

ما مدى سرعته؟
الفرق في السرعة مذهل. اختبرت الورقة البحثية GROM على عدة اختبارات معيارية (اختبارات قياسية لذاكرة الذكاء الاصطناعي).

في مجموعة بيانات تسمى TOFU-10%، أنهى GROM المهمة في 0.5 دقيقة فقط.
الطريقة التالية الأسرع، والتي تسمى SimNPO، استغرقت 2.5 دقيقة.
استغرقت الطرق الأخرى ما بين 6.9 إلى 53.8 دقيقة.

هذا يعني أن GROM أسرع بما يصل إلى 180 مرة من بعض الطرق القديمة. إنه الفرق بين انتظار تحميل بطيء للإنترنت والحصول على الملف فوراً.

هل يعمل حقاً؟
تظهر الورقة البحثية أن GROM لا يعمل بسرعة فحسب، بل يعمل بشكل أفضل في الحفاظ على ذكاء الذكاء الاصطناعي أثناء النسيان.

المقايضة: عادةً، عندما تجعل الذكاء الاصطناعي ينسى شيئاً ما، يصبح أقل ذكاءً في أشياء أخرى. تظهر الورقة أن GROM ينجح في جعل الذكاء الاصطناعي ينسى المعلومات المستهدفة بشكل شبه مثالي مع الحفاظ على معرفته العامة ("المنفعة") عالية.
مشكلة "الإخفاء": اختبر المؤلفون ما إذا كان الذكاء الاصطناعي يخفي الذاكرة فحسب. جربوا خدعة تسمى "الكمية" (Quantization) (وهي تشبه تقليص حجم دماغ الذكاء الاصطناعي لتوف توفير المساحة). غالباً ما تفشل الطرق القديمة هنا: حيث تظهر الذاكرة المخفية مجدداً عند تقليص الدماغ. أما GROM، فهو يزيل الذاكرة فعلياً. حتى بعد تقليص الدماغ، تظل السرية مختفية.

كيف يختار ما يجب تعديله؟
يحتوي الذكاء الاصطناعي على العديد من طبقات "العصبونات" (مثل طبقات الكعكة). لا يقوم GROM بتعديل الكعكة بأكملها فحسب؛ بل يستخدم خدعة ذكية تسمى "عدسة لوجيت" (Logit-lens) للعثور على الطبقة التي تحمل الذاكرة المحددة بالضبط. إنه يشبه استخدام كاشف المعادن للعثيد على المكان المحدد الذي دُفنت فيه العملة المعدنية، بدلاً من حفر الشاطئ بأك its. وبمجرد العثور على المكان، يطبق التعديل الرياضي الواحد على تلك الطبقة المحددة.

الخلاصة
GROM هو طريقة جديدة تجعل الذكاء الاصطناعي ينسى أشياء محددة، وهي طريقة:

فورية: تستغرق ثوانٍ أو دقائق بدلاً من ساعات.
دقيقة: تزيل الذاكرة بدلاً من مجرد إخفائها.
آمنة: لا تعطل قدرة الذكاء الاصطناعي على الإجابة على أسئلة أخرى.

اختبر المؤلفون ذلك على مجموعات بيانات متنوعة، بما في ذلك أسئلة حول مؤلفين وهميين، وحقائق بيولوجية خطيرة، وكتب محمية بحقوق الطبع والنشر. في كل حالة تقريباً، كان GROM الطريقة الأسرع والأكثر فعالية، محققاً أفضل توازن بين "نسيان الأشياء السيئة" و"تذكر الأشياء الجيدة". إنه خطوة مهمة للأمام في جعل الذكاء الاصطناعي أكثر أماناً وقابلية للتحكم، مما يثبت أن أفضل طريقة لإصلاح المشكلة أحياناً هي التوقف عن خلط الأوراق والبدء في توزيع الورقة الصحيحة مباشرة.

ملخص تقني: GROM (التعلم غير المتكرل السريع القائم على التدرج - Gradient-Free Rapid One-Shot Machine Unlearning)

بيان المشكلة

غالباً ما تقوم النماذج اللغوية الكبيرة (LLMs) بحفظ معلومات حساسة أو خاصة أو محمية بحقوق الطبع والنشر من مجموعات البيانات التدريبية الخاصة بها. والتعلم الآلي العكسي (Machine unlearning) هو الآلية المطلوبة لمحو هذا المعرفة المستهدفة بشكل انتقائي. وبينما تعتمد أحدث الأساليب الحالية على التعلم العكسي التكراري أثناء وقت التدريب عبر الضبط الدقيق (مثل صعود التدرج، أو تحسين التفضيلات، أو التقطير)، فإن هذه الأساليب تعاني من ثلاثة أوجه قصور حرجة في الكفاءة:

التكلفة الحسابية: حتى مع التقنيات الموفرة للمعلمات مثل LoRA، يتطلب التحسين القائم على التدرج عدة حقبات (epochs) وانتشاراً عكسياً (backpropagation)، مما يجعله مكلفاً وبطيئاً.
الافتقار إلى الصياغة التحليلية: تفتقر هذه الأساليب إلى حلول صريحة مغلقة (closed-form solutions)، مما يضطر الممارسين إلى الاعتماد على خفض التدرج خطوة بخطوة لتقريب حالة التعلم العكسي.
النسيان السطحي: تشير الأبحاث الحديثة إلى أن الضبط الدقيق التكراري غالباً ما يكتفي بإخفاء المعرفة المستهدفة في تعديلات الأوزان ذات المقدار المنخفض. وبالتالي، فإن مجرد تكميم (quantizing) النموذج الذي تم إجراء التعلم العكسي عليه (مثلاً إلى 4-بت) يمكن أن يستعيد معظم المحتوى الذي كان من المفترض محوه.

المنهجية

يقترح المؤلفون GROM، وهو نهج تعلم عكسي بـ "مرة واحدة" (one-shot) مبتكر يتخلى عن التحسين التكراري لصالح حل تحليلي مباشر ودقيق. يضع النهج التعلم العكسي في إطار مشكلة تحسين المربعات الصغرى المنتظمة بـ Ridge (ridge-regularized least-squares optimization).

الصياغة الجوهرية

بالنظر إلى مصفوفة أوزان $W \in \mathbb{R}^{m \times n}$ (تحديداً إسقاط MLP السفلي أو رأس اللغة LM head)، يسعى GROM إلى إيجاد تحديث إضافي واحد $P$ بحيث يصبح $W \leftarrow W + P$ . الهدف هو تحقيق ما يلي في آن واحد:

الحفاظ على سلوك الاحتفاظ (Retain Behavior): ضمان بقاء المخرجات على بيانات الاحتفاظ ( $X_r$ ) دون تغيير ( $PX_r \approx 0$ ).
توجيه مخرجات النسيان (Forget Outputs): إزاحة المخرجات على بيانات النسيان ( $X_f$ ) نحو هدف $D$ يعمل على كبح المحتوى المحفوظ ( $(W+P)X_f \approx WX_f + D$ ).

يتم صياغة ذلك رسمياً من خلال تقليل الهدف التالي:
$\min_{P} \frac{w_r}{r} \|PX_r\|_F^2 + \frac{w_f}{s} \|PX_f - D\|_F^2 + \mu \|P\|_F^2$
حيث تعمل $w_r$ و $w_f$ على وزن الحفاظ على الاحتفاظ وتوجيه النسيان، و $\mu$ هو حد تنظيم Ridge.

الحل المغلق (Closed-Form Solution)

المُحسن لهذه المشكلة فريد ومستمد في صيغة مغلقة، مما يتجنب التقريب التكراري تماماً:
$P^* = \frac{w_f}{s} D X_f^\top A^{-1}$
حيث $A = \frac{w_r}{r} X_r X_r^\top + \frac{w_f}{s} X_f X_f^\top + \mu I_n$ .

المكونات الرئيسية

خالٍ من التدرج (Gradient-Free): يتم حساب التحديث باستخدام عمليات تمرير أمامي (forward passes) فقط على بيانات النسيان والاحتفاظ لجمع "المفاتيح" (المدخلات لـ $W$ ). لا تتطلب العملية انتشاراً عكسياً أو دورات تقارب.
تصميم الهدف ( $D$ ):
- كبح الرموز (Token Suppression): بالنسبة للاختبارات التي تقيس التوليد (TOFU, MUSE)، يقوم $D$ بتوجيه المخرجات بعيداً عن رموز ذهبية محددة. يتم تطبيق وزن نوعية $\alpha_j$ لكبح الرموز المميزة لمجموعة النسيان فقط، مع الحفاظ على الفائدة في المفردات المشتركة.
- إفساد التمثيل (Representation Corruption): بالنسبة للاختبارات التي تقيس دقة الاختيار من متعدد (WMDP)، يقوم $D$ بإفساد التمثيل عبر توجيه مخرجات النسيان نحو اتجاه عشوائي ثابت، حيث تكون لوغاريتمات الرموز أقل صلة.
اختيار الطبقة: يستخدم GROM درجة استناد عدسة اللوغاريتم (logit-lens attribution score) ( $S_\ell = F_\ell - R_\ell$ ) لتحديد الطبقات التي تساهم مباشرة في لوغاريتمات الرموز الخاصة بالنسيان. ويختار نطاقاً متصلاً من الطبقات المتأخرة ذات متوسط الدرجات الأعلى.
قابلية التدقيق الدقيقة: بما أن $P^*$ هي دالة صريحة للبيانات، فقد اشتق البحث طريقة مغلقة (باستخدام هوية Sherman-Morrison-Woodford) لحساب التأثير الدقيق لأي مثال نسيان فردي على التعديل النهائي، مما يتيح تدقيقاً دقيقاً لطلبات الحذف.

المساهمات الرئيسية

صياغة مغلقة للتعلم العكسي: يصيغ البحث رياضياً التعلم الآلي العكسي كمشكلة تحسين دقيقة ذات حل تحليلي مغلق، متجاوزاً الأعباء وعدم الاستقرار للضبط الدقيق التكراري.
كفاءة خالية من التدرج: يحسب GROM التحديثات الإضافية المثلى من عمليات التمرير الأمامي الخالية من التدرج وحدها، مما يجعله أسرع بما يصل إلى رتبتين مقداريتين من الأساليب القائمة على التدرج (ثوانٍ مقابل دقائق).
أفضل المقايضات بين النسيان والمنفعة: يحقق النهج أفضل مقايضات (Pareto-best) بين النسيان والمنفعة عبر خمسة اختبارات (TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News, WMDP).
متانة التكميم: على عكس النماذج القاعدية القائمة على التدرج، يقوم تعديل GROM المغلق بإزالة المحتوى المستهدف من الأوزان بدلاً من إخفائه. وهو يصمد أمام هجمات التكميم منخفضة البت التي تستعيد عادةً المحتوى "المنسي" من الطرق الأخرى.

النتائج التجريبية

قام المؤلفون بتقييم GROM مقابل مجموعة واسعة من النماذج القاعدية، بما في ذلك الأساليب القائمة على التدرج (GA, GradDiff, NPO, SimNPO)، والأساليب القائمة على التفضيل (IDKDPO, AltPO)، وأدوات التعديل بنظام "تحديد الموقع ثم التعديل" (Locate-then-edit) مثل (ROME, MEMIT, AlphaEdit).

السرعة: يطبق GROM التحديثات في ثوانٍ (مثلاً 0.2–1.8 دقيقة على NVIDIA H100)، بينما تستغرق النماذج القاعدية القائمة على التدرج من 2.4 إلى 62.5 دقيقة. وفي المجموعات الأكبر (MUSE Books)، يعد GROM أسرع بنحو 180 مرة من SimNPO.
الأداء:
- TOFU: يحقق GROM أعلى درجة نهائية (Final Score) ومنفعة نموذج (Model Utility - MU) على كل من تقسيمات 5% و10%، متجنباً أنماط الفشل المتمثلة في "الإفراط في النسيان" أو "نقص النسيان" التي تعاني منها الطرق الأخرى.
- MUSE: يحقق GROM أفضل درجة نهائية على مجموعات بيانات News وBooks. والأهم من ذلك، أنه في MUSE Books، يحافظ على أعلى منفعة للاحتفاظ مع القضاء شبه الكامل على الحفظ الحرفي.
- WMDP: يحقق GROM أفضل درجة نهائية من خلال موازنة كبح المعرفة الخطرة مع الحفاظ على القدرة العامة (MMLU)، متفوقاً على النماذج التي تضحي بالمنفعة من أجل الكبح.
- ZsRE: عند تقييمه في إطار عمل تعديل الحقائق الخاص بـ ZeroUnlearn، يتفوق GROM على محررات "تحديد الموقع ثم التعديل" من حيث الفعالية والتعميم مع الحفاظ على النوعية.
متانة التكميم: في اختبارات التكميم بـ 4-بت، يحافظ GROM على مستويات منخفضة من ذاكرة النسيان تماثل النموذج المعاد تدريبه الذهبي. في المقابل، تظهر النماذج القاعدية القوية القائمة على التدرج مثل SimNهما استعادة حادة للمحتتوى المحفوظ (مثلاً ارتفاع التردد الحرفي من قرب الصفر إلى المستويات الأصلية).

الأهمية والادعاءات

يزعم البحث أن GROM يمثل تحولاً جذرياً في التعلم الآلي العكسي من خلال استبدال التحسين التكراري بحل تحليلي مباشر. ويرى المؤلفون أن هذا النهج:

يحل مشكلة اختناق الكفاءة: فهو يتيح التعلم العكسي على النماذج الكبيرة (7-8 مليار معلمة) حيث تكون الأساليب القائمة على التدريب غير عملية على الأجهزة المحدودة.
يضمن الحذف الحقيقي: من خلال إزالة المحتوى من الأوزان بدلاً من مجرد قناعه، يوفر GROM ضماناً أكثر قوة ضد الاستعادة عبر التكميم.
يتيح التدقيق: الطبيعة المغلقة تسمح بالحساب الدقيق لتأثير كل نقطة بيانات فردية، مما يعالج الحاجة إلى المساءلة في طلبات حذف البيانات.

يضع المؤلفون GROM باعتباره أول منهج "مرة واحدة" (one-shot) يمكنه الوصول إلى أداء أساليب التحسين التكرارية وتجاوزها، مما يشير إلى أنه يمهد الطريق لتعلم عكسي فعال في السيناريوهات التي يكون فيها الضبط الدقيق التقليدي غير عملي.