Adaptive MLP Pruning for Large Vision Transformers
Deze paper introduceert Adaptive MLP Pruning (AMP), een methode die de parameters en FLOPs van grote Vision Transformers met ongeveer 40% vermindert zonder merkbare prestatieverlies door het gebruik van een label-vrije entropie-criterium voor nauwkeurigere neuron-evaluatie en een adaptieve binaire zoekalgoritme voor het bepalen van de pruning-diepte.