Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
Este artigo apresenta o HyWIA, um método inovador de poda estruturada para modelos de linguagem grandes que utiliza uma avaliação híbrida de importância dos pesos, combinando granularidades fina e grossa por meio de um mecanismo de atenção adaptativo para superar as limitações de desempenho das abordagens atuais.