HiAP: A Multi-Granular Stochastic Auto-Pruning Framework for Vision Transformers
El artículo presenta HiAP, un marco de auto-poda estocástica multi-granular que optimiza de forma continua y en una sola fase de entrenamiento Vision Transformers mediante el uso de puertas Gumbel-Sigmoid para eliminar selectivamente tanto componentes macro (cabezas de atención y bloques FFN) como micro (dimensiones intra-cabeza y neuronas), logrando arquitecturas eficientes con alto rendimiento en dispositivos de borde sin necesidad de heurísticas manuales o procesos multi-etapa.