SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
SLOPE é um novo método de pré-treinamento para Grandes Modelos de Linguagem que combina pesos esparsos N:M com poda dupla a uma estratégia de adaptador de baixo posto "preguiçosa" aplicada apenas nos 1% finais das iterações de treinamento, alcançando acelerações significativas (até 1,54×) e reduções de memória (até 0,63×) durante o treinamento e a inferência, mantendo a precisão do modelo comparável à de modelos densos.
O mundo moderno da inteligência artificial é cada vez mais definido por grandes modelos de linguagem, vastos cérebros digitais treinados em enormes bibliotecas de texto para compreender e gerar a linguagem humana. Esses sistemas são poderosos, mas trazem consigo um preço elevado: exigem quantidades imensas de poder computacional para o treinamento e vastas quantidades de memória para execução. Para tornar esses modelos mais rápidos e baratos de usar, pesquisadores há muito tempo tentam simplificá-los removendo partes de sua estrutura interna que parecem menos importantes, um processo conhecido como poda (pruning). Imagine uma biblioteca massiva onde você decide remover cada livro que não é lido com frequência; o edifício torna-se menor e mais fácil de navegar, mas se você remover livros demais ou os errados, a biblioteca perde sua capacidade de responder a perguntas. No reino digital, essa simplificação frequentemente leva a uma perda de precisão, onde o modelo se torna menos confiável. Além disso, embora a remoção de dados economize espaço, o computador ainda precisa realizar o trabalho complexo de verificar quais partes manter e quais descartar durante cada etapa de seu aprendizado, muitas vezes anulando os benefícios de velocidade.
Uma equipe de pesquisadores desenvolveu uma nova abordagem chamada SLOPE para resolver esse impasse persistente entre velocidade, memória e precisão. O método deles permite que esses modelos de linguagem massivos sejam treinados e usados com significativamente menos recursos sem sacrificar sua capacidade de compreender a linguagem. O cerne de sua inovação reside em como eles lidam com o processo de aprendizado do modelo. Em vez de tentar manter o modelo simples desde o início, eles permitem que ele aprenda usando uma estrutura padrão e simplificada durante quase todo o período de treinamento. Então, na fração final e minúscula do tempo de treinamento, eles introduzem uma pequena adição flexível que ajuda o modelo a recuperar qualquer precisão perdida. Essa adição não é um componente pesado e de tamanho total, mas uma camada leve e eficiente que atua como uma ferramenta de ajuste fino, permitindo que o modelo recupere sua agudeza sem a necessidade de armazenar ou processar uma quantidade massiva de dados extras.
Os pesquisadores também enfrentaram um gargalo específico que atrasou tentativas anteriores de simplificar esses modelos. Em operações computacionais padrão, o modelo deve olhar para seus dados internos em duas direções diferentes: uma para prever a próxima palavra e outra para corrigir seus erros. Métodos anteriores de simplificação funcionavam bem para a primeira direção, mas forçavam o computador a realizar um trabalho extra e lento ao olhar para os dados na segunda direção. O novo método altera a ordem das operações para que a simplificação funcione eficientemente em ambas as direções simultaneamente. Isso permite que o computador processe os dados muito mais rápido, utilizando hardware especializado projetado para lidar com esses padrões específicos de zeros e não-zeros. Ao reorganizar como os dados são podados antes de serem processados na fase de correção, os pesquisadores garantiram que o modelo pudesse aprender de forma tão eficaz quanto, enquanto percorre os dados em uma velocidade muito superior.
Quando testado em modelos que variam de centenas de milhões a dezenas de bilhões de parâmetros, os resultados foram substanciais. O novo método acelerou o processo de treinamento em até 1,25 vezes e fez o modelo final rodar até 1,54 vezes mais rápido durante o uso. Talvez ainda mais importante, ele reduziu a quantidade de memória computacional necessária para rodar esses modelos em mais da metade em alguns casos. Os pesquisadores descobriram que, ao adicionar sua camada leve e flexível apenas ao final do treinamento, o modelo poderia alcançar níveis de precisão muito próximos aos das versões muito maiores e não simplificadas. Essa abordagem evita a armadilha comum onde modelos simplificados exigem uma fase final e cara de retreinamento com dados de tamanho total para voltarem a ser úteis. Em vez disso, o modelo permanece eficiente durante todo o seu ciclo de vida, desde o momento em que começa a aprender até o momento em que responde à pergunta de um usuário.
O estudo demonstra que é possível ter tanto eficiência quanto alto desempenho em inteligência artificial, desde que a simplificação seja aplicada com uma estratégia específica. Os pesquisadores mostraram que o momento em que a capacidade extra é adicionada importa muito; introduzir uma pequena quantidade de flexibilidade ao final do processo de aprendizado produz melhores resultados do que tentar manter essa flexibilidade durante toda a jornada. Essa descoberta desafia a suposição de que um modelo deve ser ou totalmente complexo ou totalmente simples, sugerindo, em vez disso, que uma abordagem híbrida, onde o modelo é majoritariamente simples, mas recebe um impulso direcionado na linha de chegada, oferece o melhor dos dois mundos. O trabalho fornece um caminho claro para tornar a inteligência artificial avançada mais acessível, mais rápida e menos exigente para o hardware que a alimenta.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.