SPRKD: Effective Knowledge Distillation for Deep Neural Networks via Saddle Region Approximation
تقترح الورقة البحثية إطار عمل SPRKD، وهو إطار عمل جديد لتقطير المعرفة يعيد صياغة العملية من محاكاة المخرجات إلى تقريب منطقة السرج باستخدام تحليل القيم الذاتية لهيسيان، مما يمكّن شبكات الطالب المدمجة من تحقيق دقة وتقارب فائقين عبر استهداف نقاط السرج ذات الخسارة المنخفضة لإعادة الاستكشاف بدلاً من محاكاة لوجيتات المعلم.