ملخص تقني: تمديد خدعة النواة (Kernel Trick) لتطبيقات دالات التأثير

بيان المشكلة

توفر دالات التأثير (Influence functions)، التي طُورت أصلاً في الإحصاء المتين وتم تكييفها في تعلم الآلة بواسطة كوه وليانغ [1]، طريقة لتقدير كيفية تغير معلمات النموذج ومخرجاته عند تغيير أو إزالة نقاط بيانات التدريب. وتعد هذه القدرة بالغة الأهمية لعمليات نسيان التعلم (machine unlearning)، والتفسيرية (interpretability)، والخصوصية. ومع ذلك، تواجه التطبيقات القياسية لدالات التأثير على نماذج التعلم العميق واسعة النطاق عقبة كبيرة في القابلية للتوسع.

يكمن التحدي الحسابي الجوهري في حاصل ضرب مصفوفة هيسيان بمتجه المقلوب (IHVP)، وهو $H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$، المطلوب لتقريب التغير في المعلمات ($\theta_r^*$) بعد إزالة مجموعة النسيان $D_f$. في الصيغة الأصلية، تتناسب مصفوفة هيسيان $H_{\theta^*}$ مع مربع عدد معلمات النموذج ($d_\theta$). وبالنسبة للنماذج الكبيرة (مثل الشبكات العصبية العميقة)، يكون تجسيد هذه المصفوفة وقلبها أمراً غير ممكن حسابياً. وبينما تتجنب الطرق التكرارية مثل التدرج المترافق (Conjugate Grments - CG) تجسيد المصفوفة، إلا أنها لا تزال تعتمد على حاصل ضرب مصفوفة هيسيان بمتجه (HVPs) يتناسب مع حجم النموذج، مما يجعل العملية مكلفة حسابياً عندما يكون $d_\theta$ كبيراً بالنسبة لحجم مجموعة البيانات.

المنهجية

يقترح المؤلفون تمثيلاً مزدوجاً لدالات التأثير ينقل التعقيد الحسابي من التناسب مع حجم النموذج ($d_\theta$) إلى التناسب مع حجم مجموعة البيانات ($|D|$) وأبعاد المخرجات ($d_{out}$). يستند هذا النهج إلى نظرية النماذج القابلة للخطية (linearizable models) ونواة تانغنت العصبية (Neural Tangent Kernel - NTK).

1. الخطية وإعادة التوصيف (Linearization and Reparameterization)

يفترض النهج أن النموذج $f(\cdot, \theta)$ هو نموذج "قابل للخطية"، مما يعني أن سلوكه طوال عملية التدريب يمكن تقريبه من خلال خطيته حول نقطة مرجعية $\theta'$ (عادةً ما تكون نقطة البداية/التهيئة). يعرّف المؤلفون نموذجاً خطياً $f^{lin}$ ومخاطرة تجريبية منظمة مقابلة $\hat{L}_D(\theta)$.

ويكمن مفتاح الاشتقاق في القرار 3.1 (Proposition 3.1)، الذي يثبت أنه لأي مجموعة فرعية من البيانات، فإن الفرق بين المعلمات المثلى للنموذج الخطي والنموذج الكامل للبيانات يقع في فضاء جزئي خطي محدد من $\mathbb{R}^{d_\theta}$:
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
حيث $\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$.

تسمح هذه الملاحظة للمؤلفين بـ إعادة توصيف مشكلة الأمثلة. فبدلاً من الأمثلة على الفضاء عالي الأبعاد للمعلمات $\theta$، يقومون بالأمثلة على المتغير المزدوج $\Delta \alpha$. وبذلك يتم تحويل المشكلة المقيدة في $\theta$ إلى مشكلة غير مقيدة في فضاء $\Delta \alpha$:
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
حيث تتضمن $g^{lin}$ نواة NTK التجريبية، $K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$.

2. دالات التأثير المزدوجة

في فضاء $\Delta \alpha$، يتم تقريب تأثير إزالة نقاط البيانات عن طريق حل نظام خطي يتضمن مصفوفة هيسيان المخاطرة المزدوجة، $H_{\Delta \alpha^*}$. ومن الأهمية بمكان أن هذه المصفوفة تتناسب مع $d_{out}|D| \times d_{out}|D|$ بدلاً من $d_\theta \times d_\theta$.

التقريب لتغير المتغير المزدوج هو:
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
يُظهر المؤلفون أنه يمكن حل هذا النظام بكفاءة. وتحديداً، إذا كانت مجموعة النسيان $D_f$ كبيرة، فإن أبعاد النظام الخطي الذي سيتم حله ستنخفض فعلياً لأن المكونات المعروفة لـ $\Delta \alpha_r^*$ المرتبطة بـ $D_f$ يمكن عزلها.

3. تقدير التغيرات

بمجرد الحصول على $\Delta \alpha_r^*$، يمكن تقدير التغيرات في مخرجات النموذج والخسارة لنقاط الاختبار باستخدام NTK:

• تغير المخرجات: $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• تغير الخسارة: يتم تقديره عبر تدرج الخسارة المزدوج بالنسبة لـ $\Delta \alpha$.

يسمح هذا التوصيف بحساب تأثير النماذج ذات المعلمات اللانهائية، بشرط أن تمتلك NTK شكلاً تحليلياً.

المساهمات الرئيسية

1. التمثيل المزدوج: يقدم البحث صيغة مزدوجة لدالات التأثير حيث يعتمد التعقيد الحسابي على حجم مجموعة البيانات ($|D|$) وأبعاد المخرجات ($d_{out}$) بدلاً من عدد معلمات النموذج ($d_\theta$).
2. الكفاءة للنماذج الكبيرة: يوفر النهج بديلاً فعالاً لدالات التأثير الأصلية عندما يكون $d_\theta \gg d_{out}|D|$. فهو يتجنب الحاجة إلى حساب حاصل ضرب الهيسيان بمتجه (HVPs) بالنسبة لفضاء المعلمات الضخم.
3. القابلية للتطبيق في العرض اللانهائي: يمدد الإطار تحليل التأثير إلى الشبكات العصبية ذات العرض اللانهائي عبر الاستفيد من الـ NTK التحليلي، مما يسمح بتقدير تغيرات المعلمات والمخرجات في حد اللانهاية للمعلمات.
4. الاختصار الحسابي: حدد المؤلفون أنه في الفضاء المزدوج، يتقلص حجم النظام الخطي مع زيادة حجم مجموعة النسيان ($|D_f|$)، مما يوفر مكسباً في الكفاءة يتنافى مع الحدس للقيام بمهام النسيان واسعة النطاق.

النتائج التجريبية

تحقق المؤلفون من صحة منهجيتهم على نسخ خطية من الشبكات العصبية كاملة الاتصال (FCNN) والشبكات العصبية التلافيفية (CNN) المدربة على مجموعات فرعية من MNIST وCIFAR-10.

• وقت التشغيل: يتفوق أسلوب فضاء $\Delta \alpha$ باستمرار على أسلوب فضاء $\theta$ الأصلي في كل من سيناريوهات "البداية الباردة" (التنفيذ الأول) و"البداية الدافئة" (التنفيذ المتكرر). وتتسع الفجوة في الأداء مع زيادة حجم النموذج بالنسبة لمجموعة البيانات.
• الدقة: أداء النسيان (المقاس بالمسافة النسبية $\ell_2$ بين المعلمات التي تم نسيانها والمعلمات التي تمت إعادة تدريبها، والدقة على مجموعة النسيان) يضاهي الطريقة الأصلية.
• تأثير التنظيم ($\lambda$): تُظهر التجارب على النماذج غير الخطية أن القيم الأكبر لثابت التنظيم $\lambda$ تجعل ديناميكيات التدريب للنماذج غير الخطية تشبه إلى حد كبير خطيتها. وهذا يحسن موثوقية التمثيل المزدوج للنماذج غير الخطية، وإن كان ذلك يأتي على حساب انخفاض دقة الاختبار.
• الشبكات ذات العرض اللانهائي: نجحت الطريقة في تقدير تغيرات المخرجات والخسارة للشبكات (FCNN وCNN) ذات العرض اللانهائي، حيث تطابق التقديرات عن كثب التغيرات الفعلية المحسوبة عبر خوارزمية التدرج النواتي (Kernel Gradient Descent).

الأهمية والادعاءات

يزعم البحث أن التمثيل المزدوج يقدم حلاً قابلاً للتوسع لنسيان التعلم وتحليل التأثير في الإعدادات التي يكون فيها حجم النموذج كبيراً بشكل يمنع استخدام طرق فضاء المعلمات التقليدية.

• القابلية للتوسع: تتيح الطريقة تقدير تأثير النماذج التي يكون فيها تقييم دالات التأثير الأصلية في فضاء المعلمات غير ممكن حسابياً.
• التمديد النظري: توفر جسراً نظرياً لتحليل التأثير في حد العرض اللانهائي للشبكات العصبية.
• القيود: يذكر المؤلفون صراحة أن الطريقة تقتصر على النماذج القابلة للخطية. وبينما يمكن للتنظيم الكبير ($\lambda$) جعل النماذج غير الخطية تقترب من كونها خطية، إلا أن هذا يؤدي إلى تدهور أداء النموذج. بالإضافة إلى ذلك، تتطلب الطريقة تجسيد أو العمل الضمني على مصفوفة NTK، والتي تتناسب مع حاصل ضرب حجم مجموعة البيانات وعدد الفئات، مما قد يصبح عائقاً أمام مجموعات البيانات الكبيرة جداً ذات الفئات المتعددة.

لا يدعي العمل حل مشكلة النسيان لجميع نماذج التعلم العميق، بل يوفر أداة متخصة وفعالة لسيناريوهات يكون فيها حجم مجموعة البيانات صغيراً بالنسبة لسعة النموذج أو حيث يمكن التعامل مع النموذج بفعالية كنموذج خطي.