Resumo Técnico: Quando o "Bom o Suficiente" é Ótimo: Aproximação de Inversão de Matriz Baseada Apenas em Multiplicação para Gated DeltaNet Quantizado

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) escalam para comprimentos de contexto maiores, os mecanismos de atenção padrão enfrentam custos quadráticos de memória e tempo de execução. Métodos de atenção linear, como o Gated DeltaNet, abordam isso mantendo um estado recorrente de tamanho fixo. No entanto, implementações recentes do Gated DeltaNet (por exemplo, no Qwen3.5 e KiMi) utilizam uma estratégia de paralelismo por blocos (chunk-wise) para expor paralelismo dentro das sequências de tokens. Embora isso remova as dependências externas de token por token, introduz um novo gargalo: a inversão de matriz triangular dentro de cada bloco (chunk).

Especificamente, a atualização por bloco requer o cálculo de $T = (I - A)^{-1}$, onde $A$ é uma matriz estritamente triangular inferior. Abordagens tradicionais dependem da substituição progressiva (forward substitution), um algoritmo sequencial com $k-1$ iterações para uma matriz $k \times k$. Este método exibe paralelismo limitado e baixa utilização de hardware em Unidades de Processamento Neural (NPUs), pois depende fortemente de operações vetoriais em vez de multiplicações de matrizes densas. No Qwen3.5-4B, esta etapa de inversão representa de 22% a 31% dos custos totais de ciclo, com o overhead aumentando conforme o tamanho do bloco cresce.

Além disso, tentativas existentes de paralelizar isso via decomposição por blocos ou expansão de série de Neumann enfrentam desafios:

1. Inversão por blocos restringe o tamanho das matrizes, limitando o paralelismo disponível.
2. A expansão direta da série de Neumann ($(I-A)^{-1} = \sum A^n$) sofre de instabilidade numérica sob precisão finita (FP16/INT). Termos de ordem superior crescem rapidamente, causando transbordamento (overflow) e distribuições de cauda pesada que degradam o desempenho da quantização.

Metodologia

Os autores propõem um algoritmo de aproximação de Apenas Multiplicação (MatMul) adaptado para matrizes estritamente triangulares inferiores em atenção linear por blocos. A filosofia central é "O Bom o Suficiente é Ótimo": a inversão exata não é necessária se a aproximação preservar a precisão do modelo enquanto permite a execução eficiente no hardware.

O método consiste em três componentes principais:

1. Expansão de Neumann Truncada de Baixa Ordem

Em vez de calcular a expansão finita completa (que requer $k$ termos), o método trunca a série de Neumann após um pequeno número de termos $N$ ($N \ll k$).

• Base Teórica: O Lema 3.1 estabelece que, para uma matriz $A$ estritamente triangular inferior, a $n$-ésima potência $A^n$ contribui apenas para a $n$-ésima subdiagonal e abaixo. Consequentemente, a energia da inversa está concentrada próxima à diagonal principal.
• Implementação: A aproximação inicial é $T^{(0)} = \sum_{n=0}^{N} A^n$. A análise empírica mostra que uma ordem baixa (por exemplo, $N \approx 3$) captura a maior parte da estrutura da inversa, evitando o custo computacional de uma expansão completa.

2. Mascaramento de Diagonal Estrutural

Para lidar com a instabilidade numérica causada pelo crescimento rápido de termos de ordem superior (que podem exceder os intervalos FP16/INT), os autores aplicam uma máscara diagonal $M^{(N)}$.

• Mecanismo: A máscara define as entradas como zero se a distância delas em relação à diagonal principal exceder a ordem de truncamento $N$ (ou seja, $M_{ij} = 1$ se $i-j \le N$, caso contrário, $0$).
• Efeito: Isso remove valores de magnitude elevada "extrínsecos" na região inferior esquerda da matriz que contribuem pouco para a precisão da inversa, mas causam transbordamento e ruído de quantização. Isso torna a aproximação robusta para quantização de inteiros de baixo bit (INT).

3. Correção de Resíduo Paralela

O truncamento e o mascaramento introduzem erros de aproximação. Para recuperar a precisão sem reintroduzir dependências sequenciais, os autores empregam um esquema de correção de resíduo paralelo.

• Formulação: Em vez de atualizações iterativas ($T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$), que são sequenciais, o método reformula a correção como uma acumulação de potências de matriz do erro residual $E = I - (I-A)T^{(0)}$.
• Execução: A aproximação final é calculada como $T \approx T^{(0)} \sum_{s=0}^{S} E^s$. Isso permite que todo o processo seja executado usando apenas kernels de Multiplicação de Matrizes (MatMul), expondo totalmente o paralelismo às NPUs.

Adaptação à Quantização

O método é especificamente ajustado para inferência de baixo bit (ex: INT8/INT16). Os autores observam que aumentar a ordem de truncamento $N$ (ex: de 3 para 4) expande drasticamente a faixa dinâmica dos valores, levando a erros de quantização severos. Ao limitar $N$ (ex: $N=3$) e compensar com etapas de resíduo ($S=8$), o método equilibra estabilidade numérica, precisão e eficiência.

Principais Contribuições

1. Inversão de Apenas MatMul Aproximada-mas-Suficiente: O artigo substitui a inversão triangular sequencial por uma aproximação de Neumann de baixa ordem combinada com mascaramento estruturado e correção de resíduo paralela. Isso mapeia o cálculo dominante para kernels de MatMul, preservando a precisão sob quantização de ponto flutuante e inteiros.
2. Execução em NPU Eficiente em Hardware: Ao eliminar as dependências de resolução triangular, a formulação expõe multiplicações de matrizes densas. Isso alcança até 5× de aceleração de nível de kernel em NPUs e reduz o overhead da camada de decodificação em 20% sem degradação de precisão.
3. Robustez sob Baixa Precisão: A abordagem mitiga a expansão da faixa dinâmica em operações repetidas de potência de matriz, permitindo a inferência estável com quantização INT16 e INT8, onde métodos anteriores falham ou degradam significativamente.

Resultados Experimentais

O método foi avaliado na família de modelos Qwen3.5 (de 0.8B a 9B parâmetros) e no modelo Qwen3-Next.

• Precisão:
  • Kernel Único: O método mantém uma alta Razão Sinal-Ruído (SNR) em FP16 e INT16, comparável aos baselines de FP32.
  • Ponta a Ponta: A perplexidade (PPL) e a precisão em tarefas de downstream (MMLU, CSR, RealWorldQA) equivalem ao baseline de Flash Linear Attention (FLA) em todas as escalas de modelos.
  • Quantização: Sob quantização W4A16, o método proposto preserva o desempenho significativamente melhor que o FLA padrão, particularmente no RealWorldQA, com diferenças negligíveis nos scores de PPL e MMLU.
• Desempenho:
  • Aceleração (Speedup): Alcançou acelerações de 5.2×, 4.2× e 4.6× para kernels de inversão de matriz em tamanhos de bloco de 32, 64 e 128, respectivamente.
  • Redução de Overhead: Reduziu o custo de inversão de matriz de ~22–31% dos ciclos totais (em FLA) para ~5–9%, resultando em reduções de ciclos totais de 18.1% a 24.6%.
• Estudos de Ablação:
  • O truncamento de baixa ordem sozinho ($N=3$) causa divergência em baixa precisão; no entanto, adicionar o mascaramento de diagonal e a correção de resíduo ($S=8$) restaura a estabilidade e a precisão.
  • Para uma matriz 64×64, a configuração ideal é $N=3$ e $S=8$.

Significância e Alegações

O artigo afirma oferecer uma solução eficiente e amigável ao hardware para atenção linear escalável, visando especificamente os gargalos do modelamento de contexto longo em NPUs.

• Escalabilidade: Ao permitir tamanhos de bloco maiores (até 128) sem a penalidade sequencial da substituição progressiva, o método suporta um processamento de contexto longo mais eficiente.
• Implantação: A abordagem facilita a implantação de modelos de contexto longo em dispositivos com recursos limitados (plataformas móveis e de borda/edge) ao reduzir os requisitos de computação e energia através de aproximações amigáveis a inteiros.
• Filosofia de Troca (Trade-off): O trabalho enfatiza que a inversão "exata" não é necessária para um alto desempenho do modelo. Ao aceitar uma aproximação "bom o suficiente" que se alinha às capacidades do hardware (focada em MatMul e paralela), o método alcança o desempenho prático ideal.

Os autores observam que, embora o método melhore a eficiência, ele depende de uma avaliação cuidadosa para garantir a confiabilidade, particularmente sob restrições de baixa precisão, e não afirma resolver todos os problemas de instabilidade numérica em todas as arquiteturas potenciais, mas visa especificamente o contexto do Gated DeltaNet.