OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
O OPTIMA é um método de poda pós-treinamento escalável e de etapa única para grandes modelos de linguagem que formula a reconstrução de pesos camada a camada como programas quadráticos independentes por coluna com um Hessiano compartilhado, alcançando uma precisão superior sobre abordagens heurísticas enquanto mantém a eficiência computacional em aceleradores modernos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Modelos de linguagem de grande escala são programas de computador poderosos que aprenderam a compreender e gerar linguagem humana estudando vastas quantidades de texto. Eles podem escrever histórias, responder a perguntas complexas e resolver problemas, mas trazem um inconveniente significativo: eles são enormes. Esses modelos contêm bilhões de parâmetros, que são os números internos que o sistema ajusta para dar sentido à linguagem. Devido ao seu tamanho, executá-los requer hardware caro e potente, tornando-os difíceis de usar para tarefas cotidianas ou em dispositivos menores. Para tornar esses modelos mais práticos, pesquisadores buscam maneiras de encolhê-los sem perder sua capacidade de pensar com clareza. Um método popular é chamado de poda (pruning), que envolve remover os números menos importantes do modelo para reduzir seu tamanho. No entanto, esse processo é complicado. Se você simplesmente deletar os números, o modelo frequentemente se torna muito pior em seu trabalho. Se você tentar consertar o modelo recalculando todos os números de uma vez para compensar a perda, a matemática torna-se tão pesada que é impossível realizá-la em computadores modernos.
Uma equipe de pesquisadores desenvolveu uma nova abordagem chamada OPTIMA para resolver este problema específico. O objetivo deles era encontrar um meio-termo entre o método rápido, porém impreciso, de simplesmente deletar números, e o método excessivamente lento de tentar consertar tudo de uma vez. Eles perceberam que, após decidir quais números remover, a tarefa de consertar os números restantes poderia ser dividida em muitos problemas minúsculos e independentes. Em vez de tentar resolver toda a matemática do modelo em um único passo gigante e impossível, eles trataram cada coluna de números do modelo separadamente. Eles descobriram que, embora cada coluna tivesse suas próprias restrições específicas baseadas em quais números foram removidos, todas compartilhavam uma estrutura subjacente comum. Isso permitiu que utilizassem uma ferramenta matemática especializada, conhecida como programa quadrático, para encontrar os valores de substituição perfeitos para cada coluna. Como a estrutura era a mesma para cada coluna, eles puderam resolver milhares desses problemas minúsculos ao mesmo tempo em um único chip de computador, em vez de um por um.
Os pesquisadores testaram este método em várias famílias diferentes de modelos de linguagem de grande escala, incluindo modelos populares como LLaMA e Gemma. Eles aplicaram sua técnica em modelos que já haviam sido podados por outros métodos existentes, atuando essencialmente como um polimento final para melhorar os resultados. Na maioria dos casos, essa etapa extra tornou os modelos significamente mais precisos. Por exemplo, quando testaram os modelos em uma variedade de tarefas padrão, o novo método melhorou a pontuação média em quase quatro pontos em alguns cenários difíceis, particularmente quando os modelos eram tornados muito pequenos. O método funcionou bem em diferentes tipos de padrões de poda e tamanhos de modelo, desde modelos menores de um bilhão de parâmetros até modelos muito grandes com bilhões de parâmetros. Vale notar que, embora o método tenha melhorado a precisão, ele levou mais tempo para rodar do que os métodos existentes mais rápidos, exigindo cerca de quarenta horas para processar um modelo de oito bilhões de parâmetros em uma única placa gráfica de alto desempenho. No entanto, os pesquisadores enfatizaram que este é um custo único realizado antes do modelo ser usado, e o modelo resultante roda tão rápido quanto a versão podada original.
O estudo também destacou que esta abordagem não é uma solução mágica para todas as situações. Em alguns casos específicos, o novo método não melhorou o desempenho do modelo e, ocasionalmente, o tornou ligeiramente pior, sugerindo que a interação entre o método de poda e a etapa de correção pode ser complexa. Além disso, os pesquisadores descobriram que o método funciona melhor quando a poda inicial deixa muito espaço para melhoria, como quando o modelo é tornado muito esparso. Eles também observaram que o sucesso do método depende do tipo específico de modelo e de como a poda foi realizada originalmente. Apesar dessas limitações, o trabalho demonstra que é possível usar a otimização matemática rigorosa para reparar modelos podados de uma forma que seja tanto prática quanto escalável. Ao dividir um problema massivo e impossível em milhares de tarefas pequenas e paralelas, os pesquisadores mostraram que podemos manter modelos de linguagem grandes e eficientes sem sacrificar sua inteligência. Isso abre as portas para uma inteligência artificial mais capaz rodar em hardware que atualmente é fraco demais para suportá-la, aproximando ferramentas de linguagem poderosas do uso cotidiano.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.