PATCH: Learnable Tile-level Hybrid Sparsity for LLMs
PATCH é um framework de esparsidade híbrida que particiona as matrizes de pesos de LLMs em tiles aprendíveis, atribuindo dinamicamente cada tile para ser denso ou esparso 2:4 para permitir uma razão de esparsidade contínia entre 0% e 50%, alcançando, assim, uma precisão superior e acelerações práticas via hardware em comparação com os métodos de poda 2:4 uniformes existentes.