Subtract or Replay? Exact Deletion from Language-Model Memory
تُثبت هذه الورقة أن الحذف الدقيق من ذاكرة النموذج اللغوي يتحدد بشكل أساسي من خلال التمثيل الذاكري، حيث يمكن إزالة السجلات القابلة للعنونة عبر الطرح الجبري، بينما تتطلب الكتابات المتشابكة إعادة بناء قائمة على إعادة التشغيل لتحقيق استعادة الحالة بتطابق تام لكل بت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً رقمياً فائق الذكاء لا ينسى شيئاً أبداً. تخبره سراً، فيقوم بتخزين هذا السر في مكتبة ضخمة غير مرئية داخل دماغه. لاحقاً، قد تطلب منه كتابة قصة أو تقديم نصيحة، فيقوم بسحب ذلك السر ليساعدك. ولكن ماذا لو غيرت رأيك؟ ماذا لو قلت للمساعد: "في الواقع، أنا لم أقل ذلك قط"، أو "كان ذلك خطأً، يرجى مسحه"؟ في العالم الحقيقي، إذا أحرقت رسالة، فإن الكلمات تختفي. لكن في الكمبيوتر، مجرد قول "انسَ" أمر معقد. قد يقوم الكمبيوتر فقط بإخفاء السر في مكان عميق، أو ربما يكون قد استخدم ذلك السر بالفعل لبناء أجزاء أخرى من دماغه، مما يجعل من المستحيل مجرد "حذفه" دون كسر كل شيء آخر. هذه هي مشكلة "التعلم غير المادي للآلة" (machine unlearning). يحاول العلماء اكتشاف كيفية جعل الذكاء الاصطناائي ينسى أشياءً محددة حقاً بناءً على أمر، وليس مجرد التظاهر بذلك. إنه أمر بالغ الأهمية للخصوصية، مثل امتلاك "الحق في النسيان" لحياتك الرقمية، لضمان أنه إذا طلبت من الروبوت حذف ذكرى، فإنه يفعل ذلك حقاً، دون ترك أي آثار شبحية وراءه.
هذه الورقة البحثية، التي تحمل عنوان "هل نطرح أم نعيد التشغيل؟" (Subtract or Replay?)، تتناول هذه المشكلة من خلال طرح سؤال بسيط: كيف يتم تخزين الذاكرة؟ اكتشف المؤلفون، فيشواجيث رامي وزملاؤه، أن الإجابة تعتمد كلياً على "الأثاث" الموجود داخل غرفة ذاكرة الذكاء الاصطناعي. لقد وجدوا أن هناك طريقتين مختلفتين تماماً لحذف الذاكرة، وعليك اختيار الأداة المناسبة للمهمة، وإلا ستفشل.
الطريقتان لحذف الذاكرة
تختبر الورقة هذه الفكرة على نوعين مختلفين من نماذج الذكاء الاصطناعي، والتي تعمل كنوعين مختلفين من المكتبات.
1. المكتبة "القابلة للعنونة" (نموذج Gemma)
تخيل مكتبة حيث لكل كتاب رقم رف فريد ومحدد. إذا أردت إزالة كتاب، يمكنك ببساطة الذهاب إلى ذلك الرف وأخذه. لست بحاجة إلى إعادة بناء المكتبة بأكملها.
اختبر المؤلفون هذا على نموذج يسمى Gemma. قاموا باستبدال بعض أجزاء ذاكرته القياسية بنظام خاص يعمل كمكتبة قابلة للعنونة كهذه. في هذا النظام، لكل قطعة من المعلومات "معامل" (اعتبره مثل مقبض التحكم في مستوى الصوت) يتحكم في مدى تأثيرها على إجابات الذكاء الاصطناعي.
- الخدعة السحرية: لحذف ذاكرة، قاموا ببساطة بخفض مقبض الصوت إلى الصفر. وهذا ما يسمى بـ "النقص الجبري" (algebraic decrement).
- النتيجة: نجح الأمر بشكل مثالي. عندما خفضوا المقبض، أصبح مخرج الذكاء الاصطناعي مطابقاً رياضياً لما كان سيكون عليه لو لم تكن الذاكرة موجودة من الأساس. كان الفرق ضئيلاً جداً لدرجة أنه يكاد يكون صفراً (رقم يسمى تباعد KL وقيمته 5.4 × 10⁻¹⁵).
- العائق: هذا يعمل جيداً فقط على النماذج الصغيرة (1 مليار بارامتر). ومع زيادة حجم النموذج (4 مليارات و12 مليار)، تصبح هذه الطريقة فوضوية ومكلفة، مما يبطئ أداء الذكاء الاصطناعي بنسبة 11.2% و 44.3% على التوالي. لذا، بينما تنجح خدعة "خفض المقبض" بشكل مثالي مع المكتبات الصغيرة، إلا أنها ليست حلاً مناسباً لكل الأحجام للمكتبات العملاقة.
2. المكتبة "المنسوجة" (نموذج Kimi)
الآن، تخيل مكتبة مختلفة حيث الكتب ليست على رفوف. بدلاً من ذلك، صفحات كل كتاب منسوجة معاً في نسيج واحد ضخم. إذا سحبت خيطاً واحداً (ذكرى)، فإن النسيج بأكره يتغير والنمط يتغير بطرق غير متوقعة.
اختبر المؤلفون هذا على نموذج يسمى Kimi، والذي يستخدم "حالة متكررة" (ذاكرة تشبه النسيج). هنا، كل معلومة جديدة تغير الحالة الكاملة للذاكرة.
- المشكلة: حاولوا فقط "طرح" الذاكرة كما فعلوا مع Gemma. فشل الأمر. ولأن الذاكرة منسوجة، فإن إزالة خيط واحد لا يترك مجرد فجوة، بل يترك نمطاً مشوهاً. أظهرت الرياضيات أن 12% إلى 49% من تأثير الذاكرة تغير بناءً على ما جاء بعد الجزء المحذوف. لا يمكنك مجرد طرحه؛ إذ يصبح "إيصال" الحذف غير صالح.
- الحل: بما أنه لا يمكنك طرح خيط من نسيج منسوج دون إفساد النمط، فعليك إعادة البناء. استخدم المؤلفون طريقة "نقطة التحقق وإعادة التشغيل" (checkpoint and replay). قاموا بحفظ لقطة للنسیج قبل نسج الخيط غير المرغوب فيه. ثم أعادوا الذكاء الاصطناعي إلى تلك اللقطة وأعادوا تشغيل كل ما حدث بعد الذاكرة السيئة، ولكن هذه المرة، تخطوا الخيط السيئ.
- النتيجة: نجح هذا بشكل مثالي. كانت ذاكرة الذكاء الاصطناعي بعد إعادة التشغيل متطابقة بتاً ببت (bit-for-bit) مع ذاكرة لم تشهد الخيط السيئ على الإطلاق. اختبروا ذلك على ملاحظات سريرية حقيقية يصل طولها إلى 18,842 توكن، ونجح الأمر في كل مرة. كما سمح لهم ذلك بـ "تعديل" سجل بشكل مثالي عن طريق استبدال الخيط السيئ بخيط جيد قبل إعادة التشغيل.
ماذا يعني هذا بالنسبة لك
الاستنتاج الرئيسي للورقة هو أن "الحذف الدقيق" ليس زراً سحرياً واحداً. إنه خاصية لكيفية بناء الذاكرة.
- إذا كانت الذاكرة تحتفظ بعنوان واضح لكل سجل (مثل إعداد Gemma الخاص)، يمكنك طرحها بسرعة وبشكل مثالي.
- إذا كانت الذاكرة تنسج كل شيء معاً (مثل نسيج Kimi)، فلا يمكنك طرحها. يجب عليك إعادة بناء القصة من نقطة تحقق محفوظة، مع تخطي الجزء السيئ.
المؤلفون واضحون جداً بشأن ما لم يجدوه: لقد أثبتوا أن مجرد محاولة "قناع" أو "كبح" الذاكرة (إخبار الذكاء الاصطناعي بتجاهلها) ليس كافياً. لا يزال بإمكان الذكاء الاصطناعي "تذكرها" بطرق خفية، ويمكن للمهاجمين غالباً استخراجها مجدداً. الحذف الحقيقي يتطلب إما طرحاً مثالياً أو إعادة بناء مثالية.
باختصار، إذا كنت تريد من الذكاء الاصطناعي أن ينسى حقاً، فعليك أولاً فحص غرفة ذاكرته. هل هي مكتبة ذات رفوف؟ اخفض المقبض. هل هي نسيج منسوج؟ أعد التشغيل من نقطة التحقق. لا يوجد طريق مختصر، ولكننا الآن نعرف بالضبط أي أداة نستخدمها لكل مهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.