💬 NLP

Sparser, Faster, Lighter Transformer Language Models

Este trabalho apresenta um novo formato de empacotamento esparsa e kernels CUDA que, combinados com regularização L1 para alcançar mais de 99% de esparsidade nas camadas feedforward de modelos de linguagem, reduzem significativamente os custos computacionais, o consumo de energia e o uso de memória durante a inferência e o treinamento, com todos os recursos sendo disponibilizados como código aberto.

Autores originais: Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

Publicado 2026-03-25

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante de livros (o modelo de linguagem) que pode escrever histórias, responder perguntas e resolver problemas. O problema é que essa biblioteca é enorme, pesada e consome muita energia para funcionar. Para encontrar uma informação, você tem que vasculhar todos os livros, mesmo que a resposta esteja apenas em uma única página de um único livro. Isso é lento, caro e gasta muita eletricidade.

Este artigo, escrito por pesquisadores da Sakana AI e da NVIDIA, propõe uma solução inteligente para tornar essa biblioteca mais rápida, mais leve e mais econômica, sem perder a inteligência.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A Biblioteca Cheia de "Ruído"

Os modelos de linguagem atuais (LLMs) são como bibliotecas onde, para cada pergunta que você faz, o sistema ativa milhares de "funcionários" (neurons) ao mesmo tempo. A maioria desses funcionários, no entanto, não está fazendo nada útil para aquela pergunta específica; eles apenas estão lá, ocupando espaço e gastando energia.

Os pesquisadores descobriram que, na verdade, a maioria desses funcionários fica parada (é "zero" ou inativa) na maior parte do tempo. O modelo é "esparsamente" ativo.

2. A Solução: O Sistema de "Entrega Rápida" (TwELL)

O grande desafio é que, embora saibamos que a maioria dos funcionários está parada, os computadores modernos (GPUs) são projetados para trabalhar com todos os funcionários ao mesmo tempo, em blocos grandes e organizados. Tentar ignorar os funcionários parados em um computador comum é como tentar entregar cartas apenas para casas específicas em um bairro, mas o carteiro é obrigado a passar por todas as casas, mesmo as vazias, porque o sistema dele não foi feito para pular casas. Isso torna o processo mais lento do que ir até o fim da rua.

A inovação deste trabalho:
Eles criaram um novo formato de organização chamado TwELL (Tile-wise ELLPACK).

A Analogia: Imagine que, em vez de entregar a carta para a casa inteira, o carteiro agora entrega apenas para as casas que têm alguém em casa. Mas, para fazer isso rápido, eles organizaram a rua em "blocos" (tiles).
Como funciona: O sistema olha para um bloco de casas, vê quais têm pessoas, e cria uma lista rápida apenas com essas pessoas. Ele ignora completamente as casas vazias.
O Truque: Eles criaram "carteiros especiais" (chamados kernels de CUDA) que são programados especificamente para ler essa lista rápida e pular os zeros sem perder tempo. Isso permite que o computador faça o trabalho de um dia inteiro em uma fração do tempo.

3. O Treinamento: Ensinar a Biblioteca a Ser Preguiçosa (de propósito)

Como fazer o modelo aprender a não usar todos os funcionários?

Eles adicionaram uma pequena "regra" (chamada regularização L1) durante o treinamento. É como dizer ao modelo: "Você ganha um bônus se usar menos funcionários, desde que ainda responda a pergunta corretamente."
Resultado: O modelo aprende a ser extremamente eficiente. Eles conseguiram fazer com que mais de 99% dos funcionários ficassem parados (inativos) sem que o modelo perdesse sua inteligência. É como ter uma equipe de 100 pessoas, mas apenas 1 está trabalhando de cada vez, e o trabalho sai feito na mesma velocidade.

4. Os Resultados: Mais Rápido, Mais Barato e Mais Verde

Ao usar essa nova organização (TwELL) e os "carteiros especiais" (kernels), os pesquisadores viram:

Velocidade: O modelo processa informações até 20% a 25% mais rápido.
Memória: Como não precisamos carregar os dados dos funcionários parados, o modelo ocupa muito menos memória no computador.
Energia: Menos trabalho significa menos eletricidade. Isso é crucial para o meio ambiente, já que treinar esses modelos consome energia de cidades inteiras.

5. Por que isso é importante para o futuro?

Atualmente, para criar modelos mais inteligentes, precisamos de computadores cada vez maiores e mais caros. Essa técnica mostra que podemos ter modelos tão inteligentes quanto os atuais, mas que cabem em computadores menores, custam menos para rodar e gastam menos energia.

É como se eles tivessem descoberto um jeito de transformar um caminhão de mudanças gigante (que gasta muita gasolina) em um carro esportivo ágil (que faz a mesma entrega, mas muito mais rápido e barato), sem precisar trocar a carga por nada.

Resumo final:
Eles ensinaram a IA a "pular" o que não é importante e criaram ferramentas especiais para que o computador faça esse "pulo" de forma super rápida. O resultado é uma inteligência artificial mais acessível, rápida e sustentável. E o melhor: eles liberaram o código de graça para que todos possam usar!

Resumo Técnico: Modelos de Linguagem Transformers Mais Esparsos, Rápidos e Leves

1. O Problema

O avanço desproporcional dos Grandes Modelos de Linguagem (LLMs) baseados em arquiteturas autoregressivas tem sido impulsionado pelo aumento massivo de parâmetros e custos computacionais. Embora as camadas feed-forward (MLP) representem a maior parte dos parâmetros e das operações de ponto flutuante (FLOPs) nos modelos modernos, a computação densa tradicional desperdiça recursos ao processar zeros.

Existe um "paradoxo frustrante": embora a esparsidade não estruturada (onde apenas uma fração dos neurônios ocultos é ativada para um token) ofereça uma oportunidade teórica de economia, as implementações de kernels esparsos em GPUs modernas frequentemente são mais lentas que as operações densas. Isso ocorre devido a uma incompatibilidade fundamental entre a esparsidade não estruturada e as arquiteturas de hardware/software das GPUs, que são altamente otimizadas para padrões de computação densa. As sobrecargas de gerenciamento de índices esparsos e a falta de fusão eficiente de operações impedem ganhos reais de desempenho.

2. Metodologia

Os autores propõem uma abordagem completa que combina novos formatos de armazenamento de dados, kernels CUDA personalizados e técnicas de treinamento para explorar a esparsidade não estruturada em LLMs.

Formato de Dados TwELL (Tile-wise ELLPACK):
- Introduzem um novo formato de compactação chamado TwELL. Diferente do formato ELL tradicional (que alinha linhas inteiras), o TwELL divide as colunas em "tiles" (blocos) horizontais.
- Dentro de cada tile, os valores não nulos e seus índices são armazenados de forma alinhada localmente.
- Vantagem Crítica: O TwELL pode ser materializado diretamente no epílogo de kernels de multiplicação de matrizes densas altamente otimizados (como os usados para calcular as ativações de porta/gate), eliminando a necessidade de kernels separados para conversão e sincronização entre CTAs (Cooperative Thread Arrays).
Kernels de Inferência (Fusão de Operações):
- Para a inferência, desenvolvem um kernel único que funde as projeções "up" (expansão) e "down" (contração) do bloco feed-forward.
- O kernel utiliza as ativações de porta armazenadas no formato TwELL para iterar apenas sobre os neurônios ativos, realizando o produto escalar e a multiplicação vetorial de forma eficiente, minimizando o acesso à memória global (DRAM) e maximizando o uso dos Tensor Cores.
Formato Híbrido para Treinamento:
- Durante o treinamento, a esparsidade é altamente não uniforme (alguns tokens ativam muitos neurônios, outros poucos). O formato TwELL puro seria ineficiente devido à necessidade de prever o número máximo de não zeros ( $N_{nz}$ ).
- Solução: Um formato híbrido que particiona dinamicamente as linhas. Linhas com baixa esparsidade são armazenadas em uma matriz ELL compacta, enquanto linhas com excesso de não zeros (overflow) são roteadas para uma matriz de backup densa. Isso permite armazenamento eficiente sem sacrificar a robustez.
Técnicas de Treinamento:
- Utilizam uma regularização L1 simples aplicada às ativações das camadas feed-forward (com função de ativação ReLU) para induzir esparsidade.
- Demonstram que uma regularização L1 suave (ex: $2 \times 10^{-5}$ ) é suficiente para induzir mais de 99% de esparsidade com impacto negligenciável no desempenho downstream.

3. Principais Contribuições

Kernels CUDA Inovadores: Apresentação de kernels de inferência e treinamento projetados especificamente para GPUs NVIDIA modernas (H100), que exploram a esparsidade não estruturada com fusão de operadores e redução de overheads de memória.
Formato TwELL: Uma nova estrutura de dados que permite a materialização eficiente de esparsidade diretamente durante a computação de matrizes, resolvendo o gargalo de sincronização de formatos anteriores.
Análise Quantitativa: Evidência empírica de que a esparsidade de alto nível pode ser alcançada com regularização L1 leve, mantendo a precisão do modelo.
Escalabilidade: Demonstração de que os benefícios de eficiência (throughput, energia e memória) aumentam com a escala do modelo (de 0.5B a 2B de parâmetros).

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de 0.5B a 2B de parâmetros, treinados no conjunto de dados FineWeb em GPUs H100.

Desempenho (Throughput):
- Inferência: Ganhos de velocidade de até 20,5% em modelos de 2B parâmetros.
- Treinamento: Aceleração de até 21,9% nos passos de treinamento.
Eficiência Energética e Memória:
- Redução de consumo de energia por token de até 17%.
- Redução no pico de uso de memória (VRAM) de mais de 24%, permitindo treinar modelos maiores em hardware existente.
Precisão:
- Com uma regularização L1 conservadora ( $2 \times 10^{-5}$ ), a precisão em tarefas downstream (raciocínio lógico, compreensão de texto) permaneceu estatisticamente indistinguível dos modelos densos.
- Mesmo com esparsidade extrema (>99%), a degradação de desempenho foi mínima, desde que o número de neurônios mortos (dead neurons) fosse gerenciado.
Análise de Padrões:
- A esparsidade não é uniforme: camadas iniciais e finais tendem a ser menos ativas, enquanto o meio da rede apresenta picos de ativação.
- Tokens com alta informação contextual ativam mais neurônios, enquanto tokens previsíveis (como partes de URLs ou contrações) ativam poucos.

5. Significado e Impacto

Este trabalho estabelece a esparsidade não estruturada como um eixo prático e viável para melhorar a escalabilidade e eficiência dos modelos foundation modernos.

Viabilidade Prática: Ao resolver os problemas de implementação de kernels (o principal obstáculo histórico), os autores mostram que a esparsidade não requer mudanças drásticas na arquitetura do modelo (como MoE - Mixture of Experts) ou treinamento complexo, mas sim uma mudança na função de ativação (ReLU) e uma regularização simples.
Sustentabilidade: A redução significativa no consumo de energia e memória é crucial para a sustentabilidade ambiental e econômica do treinamento e inferência de LLMs cada vez maiores.
Acesso Democratizado: A técnica permite treinar e inferir modelos de bilhões de parâmetros em hardware mais acessível (como GPUs de nível de consumidor ou data centers com menos recursos), reduzindo a barreira de entrada para pesquisa e desenvolvimento.
Código Aberto: A liberação de todos os kernels e código sob licença open-source acelera a adoção pela comunidade e futuras pesquisas na área.

Em resumo, o artigo demonstra que, com a infraestrutura de software correta (kernels e formatos de dados), a esparsidade intrínseca dos LLMs pode ser explorada para criar modelos que são simultaneamente mais rápidos, mais baratos e mais leves, sem sacrificar sua inteligência.