Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
Este trabajo presenta HyWIA, un método novedoso de poda estructurada para modelos de lenguaje grandes que combina evaluaciones de importancia de pesos a granularidad fina y gruesa mediante un mecanismo de atención adaptativo, logrando un rendimiento superior en tareas posteriores en comparación con los enfoques actuales.