Consistently Informative Soft-Label Temperature for Knowledge Distillation
تقترح الورقة البحثية طريقة CIST، وهي طريقة لتقطير المعرفة توظف درجات حرارة تكيفية على مستوى العينة لكل من شبكتي المعلم والطالب لتوليد تسميات ناعمة غنية بالمعلومات بشكل متسق وإعادة وزن هدف التقطير ديناميكيًا، مما يتغلب على قيود نهج درجة الحرارة الثابتة ويحسن الأداء عبر مهام الرؤية واللغة مع عبء حسابي ضئيل للغاية.