🤖 machine learning

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

Este artigo introduz o Reduced Matrix Multiplication (RMM), um método de inferência adaptativo à entrada e livre de treinamento que reduz os custos computacionais em modelos baseados em Transformer, retendo seletivamente fatias informativas de produtos de matrizes, alcançando compensações escaláveis entre precisão e eficiência através de vários tamanhos de modelo, tarefas e modalidades sem modificar os pesos do modelo.

Autores originais: Zixuan Lan, Yanhong Li, Jiawei Zhou

Publicado 2026-08-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zixuan Lan, Yanhong Li, Jiawei Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o cérebro de um computador moderno como um bibliotecário massivo e hiperinteligente. Este bibliotecário não apenas lê livros; ele os escreve, resolve problemas matemáticos e até observa imagens para contar histórias. Para fazer isso, ele usa um tipo especial de arquitetura cerebral chamada "Transformer". Pense em um Transformer como uma fábrica gigante onde a informação flui através de linhas de montagem. Em cada estação dessas linhas, a fábrica realiza um cálculo massivo: ela multiplica enormes grades de números entre si. Estas são as "multiplicações de matrizes" que alimentam a magia. O problema é que esses cálculos são incrivelmente pesados. Eles exigem muita energia e tempo, como tentar mover uma montanha de areia com uma colher de chá. À medida que esses modelos de IA se tornam mais inteligentes e maiores, a "montanha" fica mais alta, tornando caro e lento executá-los. Cientistas há muito se perguntam: o bibliotecário está realmente usando cada grão de areia nessa montanha para cada tarefa, ou existe muita areia desnecessária que poderíamos varrer sem que o bibliotecário percebesse?

Este artigo apresenta um novo truque inteligente chamado Multiplicação de Matriz Reduzida (RMM). Em vez de tentar encolher permanentemente a fábrica ou deletar partes da memória do bibliotecário (o que pode quebrar as coisas), a RMM atua como um filtro inteligente e instantâneo. Toda vez que o bibliotecário está prestos a realizar um cálculo massivo, a RMM faz uma pausa e pergunta: "Quais números específicos nesta grade estão realmente fazendo o trabalho pesado agora?" Ela então escolhe apenas os mais importantes — digamos, os 50% ou 70% superiores — e ignora o restante para aquele momento específico. É como um chef que, em vez de picar todos os vegetais da geladeira para uma sopa, prova rapidamente o caldo e decide usar apenas as cenouras e cebolas que são necessárias para este sabor específico. O melhor de tudo? O bibliotecário não precisa ser retreinado ou ensinado a fazer isso; simplesmente funciona naturalmente com os números que ele já está gerando.

Os pesquisadores testaram essa ideia em uma grande variedade de modelos de IA, variando de pequenos com 1 bilhão de parâmetros a gigantes com 70 bilhões. Eles descobriram que esses modelos são surpreendentemente flexíveis. Quando reduziram a quantidade de matemática sendo feita ao manter apenas uma parte dos números, os modelos não desmoronaram. Na verdade, quanto maior o modelo, mais areia ele parecia disposto a deixar ir sem perder o juízo. Por exemplo, o modelo gigante de 70 bilhões de parâmetros conseguiu lidar com uma redução de 50% nos cálculos enquanto ainda respondia perguntas e escrevia histórias quase tão bem quanto antes. No entanto, o artigo também descobriu uma peculiaridade engraçada na forma como essas fábricas são construídas: as partes de "atenção" do cérebro (onde o modelo decide no que focar) são muito tranquilas e conseguem lidar facilmente com a perda de metade de seu trabalho. Mas as partes "MLP" (as partes que realmente processam e transformam a informação) são muito mais sensíveis; se você cortar demais ali, o modelo começa a tropeçar.

A equipe também mostrou que esse truque funciona para modelos que podem ver e falar, não apenas para os de texto. Eles até construíram ferramentas de software especiais para provar que pular esses números realmente faz o computador rodar mais rápido na vida real, especialmente quando as histórias ou frases ficam muito longas. Embora o artigo sugira que esta é uma maneira promissora de tornar a IA mais barata e rápida, ele também observa que não existe uma configuração "perfeita" para todos. Você tem que ajustar o quanto vai cortar com base no modelo específico e no que você está pedindo para ele fazer. Mas, no geral, a RMM oferece uma nova maneira, livre de treinamento, de tornar esses gigantes digitais mais leves, provando que, às vezes, fazer menos matemática pode realmente ajudar você a pensar com a mesma clareza.

Resumo Técnico: Multiplicação de Matrizes Reduzida (RMM) para Inferência de LLM

Problema
Modelos de linguagem baseados em Transformers alcançam um desempenho robusto, mas incorrem em custos de inferência substanciais impulsionados por multiplicações de matrizes de alta dimensão repetidas nas camadas de atenção e feed-forward (MLP). Embora trabalhos anteriores tenham abordado a eficiência da inferência por meio de poda estruturada, aproximação de baixo posto (low-rank), compressão de tokens ou gerenciamento de cache KV, esses métodos tipicamente modificam estruturas de modelos fixos ou encurtam entradas/caches. Eles não abordam diretamente se a computação contraída dentro de cada produto de matriz pode ser adaptativamente reduzida para um input específico sem modificar os pesos do modelo. Métodos de esparsidade de ativação existentes (ex: TEAL, CATS) ignoram entradas de ativação de baixa magnitude, mas focam em esparsear estados ocultos em vez de reduzir os eixos de contração compartilhados de produtos de matrizes gerais.

Metodologia: Multiplicação de Matrizes Reduzida (RMM)
Os autores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo ao input e livre de treinamento. O RMM opera na forma unificada das computações de Transformer, $Y = AB$, onde $A$ representa a matriz de ativação e $B$ representa a matriz de pesos (ou representação intermediária).

Mecanismo Central: Em vez de computar o produto completo $AB$, o RMM seleciona dinamicamente um subconjunto de índices $I$ ao longo da dimensão de contração compartilhada $d$ com base nas magnitudes de ativação do input atual. Ele computa o produto reduzido $A_{:,I} B_{I,:}$ .
Estratégia de Seleção: O método emprega uma seleção de dimensão consciente da ativação. Para cada dimensão de característica $j$ , um escore de importância $s_j = \|A_{:,j}\|_2$ (a norma da coluna da matriz de ativação) é calculado. Os top- $k$ índices com os maiores escores são retidos, onde $k = \lceil \rho d \rceil$ e $\rho$ é uma razão de retenção controlada pelo usuário.
Base Teórica: Os autores provam que a seleção TopK por norma de coluna é minimax ótima para minimizar o erro de aproximação de pior caso sobre todas as matrizes de pesos $B$ possíveis quando apenas $A$ é conhecido no momento da seleção. Isso fornece uma justificativa fundamentada para o uso de magnitudes de ativação para guiar a redução.
Escopo de Aplicação: O RMM é aplicado a:
- Camadas de Atenção: Reduzindo a dimensão de característica em $QK^\top$ (interação query-key) e, opcionalmente, a dimensão de token em $PV$ (interação attention-value).
- MLP e Projeções Lineares: Reduzindo a dimensão oculta em projeções feed-forward ($XW$).
Implementação: O método requer o cálculo de escores de características e a realização de seleção top- $k$ , que são operações vetoriais leves comparadas às multiplicações de matrizes densas que elas substituem. Kernels customizados em Triton são implementados para realizar essas economias na prática.

Principais Contribuições

Redução Adaptativa ao Input: Introduz uma nova perspectiva de otimização de inferência que reduz a computação contraída dos próprios produtos de matrizes, distinguindo-se de poda de pesos, compressão de tokens ou gerenciamento de caches.
Livre de Treinamento e Controlável: O método não requer retreinamento e oferece um trade-off de precisão-eficiência suave e previsível, controlado por uma simples razão de retenção ( $\rho$ ).
Insights Mecanísticos: Através de estudos de ablação, o artigo revela uma assimetria estrutural nos Transformers:
- Computações do lado da atenção (projeções Q, K, V, $QK^\top$ , $PV$) são substancialmente mais redutíveis e robustas à poda agressiva.
- Componentes MLP são significativamente mais sensíveis à redução, sendo a projeção "Up" a mais sensível e a projeção "Down" a mais robusta. Podar o bloco MLP inteiro leva a um colapso severo de desempenho.
Generalização: Demonstra que o princípio se estende além de modelos apenas de texto para inferência multimodal de linguagem-visão (ex: Qwen2.5-VL).

Resultados Experimentais
Os autores avaliaram o RMM em modelos variando de 1B a 70B parâmetros (incluindo as famílias LLaMA 3.1/3.2 e Qwen) e diversas tarefas (QA, raciocínio, sumarização, contexto longo e linguagem-visão).

Desempenho vs. Baselines Estáticos/Aleatórios: Sob razões de retenção fixas (ex: $\rho=0.5$ ), o RMM supera consistentemente métodos de poda estática (SparseGPT, Wanda, SliceGPT) e poda aleatória. Métodos estáticos sofrem com degradação instável, enquanto o RMM mantém capacidades coerentes de geração e raciocínio.
Tendências de Escalonamento: Modelos maiores geralmente toleram reduções mais agressivas. Por exemplo, o LLaMA 3.1 70B permanece próximo ao desempenho do modelo completo em $\rho=0.8$ na maioria dos benchmarks, enquanto modelos menores degradam mais rapidamente, particularmente em tarefas desafiadoras como GSM8K e HumanEval.
Robustez: O RMM permanece estável em geração autorregressiva e configurações de contexto longo (até 30K tokens), mostrando uma degradação suave em vez de falha abrupta.
Eficiência de Tempo de Execução: Benchmarks em GPUs NVIDIA A100 usando kernels customizados mostram que as economias computacionais se traduzem em ganhos práticos de tempo de execução (wall-clock speedups), especialmente em sequências mais longas (ex: 1.40x de aceleração em 4096 tokens). Notavelmente, em 4096 tokens, a implementação densa esgotou a memória, enquanto o RMM completou a inferência.
Compatibilidade: O método é compatível com quantização de pesos INT8 e estende-se a vários backbones de modelos de linguagem-visão.

Significância e Alegações
O artigo posiciona o RMM como uma direção escalável para a otimização de inferência adaptativa ao input. Sua principal significância reside em demonstrar que a redundância na inferência de Transformers não é uniformemente distribuída; em vez disso, ela está concentrada em componentes específicos (particularmente operações do lado da atenção) e varia conforme o input. Ao alavancar essa assimetria estrutural e informações de ativação dependentes do input, o RMM alcança ganhos de eficiência controláveis sem a necessidade de retreinar o modelo ou modificar sua estrutura. Os autores concluem que a redução adaptativa ao nível de produto de matriz é um caminho promissor para a inferência eficiente de Transformers, sugerindo que métodos futuros devem considerar padrões de redundância específicos de cada componente.

Limitações
O trabalho foca em uma formulação livre de treinamento. Os autores reconhecem que não exploraram extensões além deste cenário (ex: integrar a redução adaptativa em objetivos de pré-treinamento) nem realizaram um estudo detalhado de padrões de redundância em todos os componentes de modelos complexos de linguagem-visão além da avaliação inicial. Adicionalmente, embora os kernels customizados mostrem acelerações, a integração total com todos os frameworks de inferência e backends quantizados permanece como um trabalho futuro.

Resumo Técnico: Multiplicação de Matrizes Reduzida (RMM) para Inferência de LLM

Mais como este