Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10
Questo studio sistematico su CIFAR-10 dimostra che la capacità dello studente è un moderatore critico dell'efficacia della distillazione della conoscenza, rivelando che gli studenti più grandi (R34) ne beneficiano significativamente di più rispetto a quelli più piccoli (R18), evidenziando anche la necessità di correggere bug di implementazione e discrepanze nella risoluzione dell'input per raggiungere prestazioni di distillazione ottimali.