Asymmetric Distillation and Information Retention in Capacity-Constrained Cross-Modal Transfer
Deze studie toont aan dat asymmetrische kennisdistillatie van een grote Vision Transformer naar kleine CNN's leidt tot een ernstige dimensionale ineenstorting die de robuustheid tegen ruis fundamenteel ondermijnt, waarbij alleen extreme capaciteitsbeperkingen als robuust laagdoorlaatfilter fungeren.