ملخص تقني: نسيان التمثيلات: النسيان من خلال ضغط المعلومات

تعريف المشكلة

تواجه أنظمة تعلم الآلة الحديثة ضغوطًا تنظيمية وأخلاقية متزايدة لإزالة تأثير بيانات تدريب محددة (مجموعة النسيان، $D_f$) بناءً على الطلب، وهو مطلب مكرس في أطر عمل مثل GDPR وCCPA. إن مجرد حذف البيانات الخام ليس كافيًا لأن الشبكات العميقة غالبًا ما تحفظ أمثلة التدريب، محتفظة بآثار إحصائية في معاملاتها.

تتبنى معظم أساليب نسيان تعلم الآلة الحالية منظورًا مرتكزًا على المعاملات (parameter-centric)، حيث تحاول تعديل أوزان النموذج ($\theta$) لتقريب نموذج تم إعادة تدريبه فقط على "مجموعة الاستبقاء" ($D_r$). ومع ذلك، تواجه هذه الأساليب قيودًا كبيرة:

1. القابلية للتوسع: تواجه صعوبة في الحفاظ على فائدة النموذج في البنيات واسعة النطاق ومجموعات البيانات المعقدة.
2. التكلفة الحسابية: تتطلب العديد منها معلومات من الدرجة الثانية مكلفة أو عمليات تمرير خلفي متعددة، مما يقلص فجوة الكفاءة أمام إعادة التدريب البدائية.
3. عدم الاستقرار: يمكن أن يؤدي تعديل فضاء المعاملات بأكمله إلى استهلاك كثيف لوحدة معالجة الرسومات (GPU) وتحديثات غير مستقرة.
4. قيود الوصول إلى البيانات: تفترض العديد من الأساليب ضمنيًا إمكانية الوصول إلى كل من $D_r$ و$D_f$، بينما في الواقع العملي، غالبًا ما يتم تقييد الوصول إلى $D_r$ بسبب الخصوصية أو قيود التخزين (إعداد "الصفر-خطوة" أو zero-shot).

المنهجية: نسيان التمثيلات (Representation Unlearning)

يقترح المؤلفون إطار عمل "نسيان التمثيلات"، وهو إطار ينقل عملية النسيان من فضاء المعاملات عالي الأبعاد إلى فضاء التمثيل ($Z$) منخفض الأبعاد. بدلاً من إعادة تحسين أوزان الشبكة، تتعلم الطريقة تحويلًا خفيف الوزن $f_\phi$ يقوم برسم خرائط التمثيلات الأصلية $Z$ إلى تمثيلات جديدة $Z'$.

الهدف الجوهري: عنق زجاجة المعلومات (Information Bottleneck)

يتم تدريب التحويل $f_\phi$ لفرض "عنق زجاجة للمعلومات" بهدفين متنافسين:

1. الاستبقاء (Retention): تعظيم المعلومات المتبادلة بين التمثيل المحول $Z'$ وبيانات الاستبقاء $X_r$ (أي $I(Z'; Z | X_r) \approx 0$، مما يعني عدم التخلص من أي معلومات ذات صلة بـ $D_r$).
2. النسيان (Forgetting): كبح المعلومات المتبادلة بين $Z'$ وبيانات النسيان $X_f$ (أي $I(Z'; X_f) \approx 0$، مما يعني أن $Z'$ مستقل إحصائيًا عن $D_f$).

البدائل التباينية (Variational Surrogates)

بما أن المعلومات المتبادلة يصعب حسابها مباشرة، فقد اشتق المؤلفون حدودًا علوية تباينية لإنشاء دالات خسارة قابلة للتحسين. وقد عالجوا نظامين متميزين للوصول إلى البيانات:

1. الإعداد القياسي (الوصول إلى $D_r$ و$D_f$)

• خسارة الاستبقاء ($L_r$): تقلل من تباعد KL بين التوزيع المحول وتوزيع المشفر الأصلي لعينات الاستبقاء. وتحت الافتراضات الغاوسية، يتبسط هذا إلى متوسط مربع الخطأ (MSE) بين التمثيلات الأصلية والمحولة: $\|z_r - f_\phi(z_r)\|_2^2$.
• خسارة النسيان ($L_f$): تقلل من تباعد KL بين توزيع النسيان المحول والتوزيع الهامشي لمجموعة البيانات بأكملها. هذا يجبر تمثيلات النسيان على مطابقة الإحصاءات الكلية، مما يجعل من الصعب تمييزها عن السكان العامين.

2. إعداد الصفر-خطوة (الوصول إلى $D_f$ فقط)

في السيناريوهات التي لا تتوفر فيها $D_r$، يعتمد إطار العمل على الانهيار العصبي (Neural Collapse) والبيانات الوصفية (أعداد الفئات) لبناء نماذج تقريبية:

• وكيل الاستبقاء (Retention Proxy): بدلاً من أخذ عينات من $D_r$، تستخدم الطة مراكز الفئات (المستمدة من أوزان المصنف $w_c$) كوكلاء لمتوسطات الفئات. تعمل خسارة الاستبقاء على معاقبة الانحرافات في النماذج الأولية للفئات المحولة عن مواقعها الأصلية.
• وكيل النسيان (Forget Proxy): تقلل خسارة النسيان المسافة الموزونة لعينات النسيان المحولة إلى جميع النماذج الأولية للفئات، مما يؤدي فعليًا إلى "إغراق" معلومات الحالة المحددة داخل توزيع فضاء التسميات العالمي.

البنية (Architecture)

يتم تقييد التحويل $f_\phi$ ليكون خريطة خطية خفيفة أو طبقة MLP ضحلة، وذلك بالاعتماد على "فرضية التمثيل الخطي" التي تشير إلى أن المعلومات الدلالية تكون قابلة للفصل خطيًا في الطبقات العميقة.

المساهمات الرئيسية

1. تحول في النموذج (Paradigm Shift): تقديم إطار عمل لنسيان التمثيلات يتجنب عدم الاستقرار والاختناقات الحسابية المرتبطة بتحديثات مستوى المعاملات.
2. قدرة الصفر-خطوة (Zero-Shot Capability): إثبات نهج مبتكر للنسيان دون الوصول إلى بيانات الاستبقاء، باستخدام فرضيات الانهيار العصبي لتثبيت المنطو (manifold) الدلالي.
3. الصياغة النظرية: اشتقاق بدائل تباينية سهلة الحساب لأهداف نظرية المعلومات، والتي توازن بين الاستبقاء والنسيان عبر معامل تنظيم $\beta$.
4. الكفاءة: تحقيق النسيان عبر طبقة تحويل خفيفة الوزن بدلاً من إعادة تدريب النموذج بالكامل أو التلاعب المعقد بالتدرجات.

النتائج التجريبية

تم تقييم إطار العمل على مجموعات CIFAR-10، وCIFAR-100، وTiny ImageNet مقابل نماذج أساسية تشمل SISA، وSCRUB، وBad Teacher، وطرق صفر-خطوة مختلفة (Boundary Shrinking، EMMN، GKT).

• الفائدة والنسيان: يحقق نسيان التمثيلات نسيانًا شبه مثالي (دقة منخفضة على $D_f$) مع الحفاظ على فائدة عالية على $D_r$. في إعداد الصفر-خطوة، يتفوق بشكل كبير على النماذج الأساسية، التي غالبًا ما تعاني من نسيان كارثي أو تفشل في النسيان تمامًا.
• الكفاءة الحسابية: توفر الطريقة تسريعًا هائلاً مقارنة بإعادة التدريب الكامل. في Tiny ImageNet، يحقق متغير الصفر-خطوة تسريعًا بمقدار 757 ضعفًا مقارنة بإعادة التدريب. كما أنها تتفوق باستمرار على جميع النماذج المنافسة في وقت التنفيذ.
• كفاءة الموارد: تتطلب الطة ذاكرة GPU ذروية أقل بكثير (على سبيل المثال، ~1.9 جيجابايت في Tiny Imagement مقابل ~8.3 جيجابايت لإعادة التدريب)، مما يجعلها مناسبة للبيئات محدودة الموارد.
• المتانة: تظل الطريقة مستقرة عبر مختلف تعقيدات مجموعات البيانات وسيناريوهات النسيان (نسيان الفئة مقابل النسيان العشوائي).

الأهمية والقيود

يضع البحث "نسيان التمثيلات" كحل عملي وقابل للتوسع لنشر عمليات النسيان واسعة النطاق. ومن خلال فصل فعالية النسيان عن المتطلبات العالية للأجهزة وعدم استقرار المعاملات، فإنه يقدم توازنًا متفوقًا بين الاستقرار واللدونة.

الادعاءات المتواضعة والقيود:

• نموذج تهديد الصندوق الأسود (Black-Box Threat Model): تعمل الطريقة كتحويل لاحق. تظل معاملات المشفر الخام دون تغيير، مما يعني أن التمثيل $Z$ الأصلي لا يزال يحتوي على مجموعة النسيان. النظام معرض لهجمات الاسترداد "الصندوق الأبيض" إذا كان المشفر الخام متاحًا؛ فهو يؤمن المخرج $Z'$ وليس الأوزان الداخلية.
• عبء الاستدلال (Inference Overhead): يضيف إدخال طبقة التحويل $f_\phi$ عبئًا دائمًا، وإن كان بمقياس الميكروثانية، على وقت الاستدلال.
• الاعتماد على الانهيار العصبي (Neural Collapse Dependency): يعتمد متغير الصفر-خطوة على فرضية الانهيار العصبي. إذا لم يُظهر النموذج المدرب مسبقًا انهيارًا قويًا (أي إذا كانت أوزان المصنف نماذج أولية ضعيفة لمراكز الفئات)، فإن جودة نسيان الصفر-خطوة تتدهور، رغم أن الطريقة تضحي بـ "فائدة الاستبقاء" بدلاً من الفشل في النسيان.

يقترح المؤلفون إمكانية تطبيق هذه الخسائر في العمل المستقبلي لضبط (fine-tuning) المشفر بالكامل (لحل ثغرة الصندوق الأبيض) أو توسيع إطار العمل ليشمل النماذج اللغوية الكبيرة (LLMs) لنسيان السلوكيات المعقدة.