💻 computer science

FlashAttention for Scalable Vector Architectures

Este artigo apresenta o FlashAttention-V, uma implementação de FlashAttention em blocos otimizada para arquiteturas vetoriais escaláveis que acelera significativamente a inferência de transformers em CPUs ao aproveitar o paralelismo entre cabeças e o acesso eficiente à memória, alcançando até 42x de aceleração no prefill e 11x no decode, enquanto também destaca gargalos estruturais nos formatos de quantização atuais para execução de vetores longos.

Autores originais: Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os sistemas modernos de inteligência artificial, desde chatbots que redigem e-mails até assistentes de programação que depuram software, dependem de um tipo específico de programa de computador chamado transformer. Esses programas são construídos para compreender a linguagem ao observar como as palavras se relacionam umas com as outras em uma frase. Para fazer isso, eles utilizam um mecanismo chamado atenção, que atua como um holofote, permitindo que o sistema foque nas partes mais relevantes do texto enquanto ignora o restante. Embora esses sistemas sejam frequentemente executados em enormes centros de dados com poderosas placas de vídeo, há uma necessidade crescente de executá-los em dispositivos menores e cotidianos, como laptops, tablets e até mesmo microchips especializados encontrados na Internet das Coisas. Esses dispositivos menores costem usar um tipo diferente de processador projetado para lidar com muitos cálculos de uma vez, processando dados em linhas longas, conhecidas como arquiteturas vetoriais. No entanto, um grande obstáculo surgiu: o mecanismo de atenção é incrivelmente faminto por memória, exigindo que o processador busque e armazene constantemente grandes quantidades de dados, o que retarda tudo.

Pesquisadores da Universidade Tecnológica de Chalmers e da Universidade de Glasgow enfrentaram esse problema redesenhando a forma como o mecanismo de atenção funciona nesses processadores vetoriais. Eles criaram um novo método chamado FlashAttention-V, que altera a maneira como o computador organiza seu trabalho para se ajustar à forma única desses processadores. Em vez de tentar forçar o processador a lidar com uma pequena parte de dados por vez, o novo método agrupa múltiplos cálculos independentes em uma única linha larga de dados. Imagine uma linha de montagem de uma fábrica onde os trabalhadores geralmente lidam com um item por vez; essa nova abordagem permite que eles peguem uma bandeja inteira de itens e os processem todos de uma só vez, reduzindo drasticamente o tempo gasto caminhando de volta e para a frente até as prateleiras de armazenamento. Ao rearranjar a ordem das operações e compactar os dados de forma mais densa, os pesquisadores descobriram que poderiam fazer esses dispositivos menores rodarem significativamente mais rápido, especialmente ao lidar com curtos surtos de texto ou quando o dispositivo está gerando novas palavras uma por uma.

A equipe testou sua nova abordagem em vários modelos de linguagem diferentes, incluindo TinyLlama, Llama 3.2 e Qwen2.5, usando tanto hardware real quanto simulações computacionais detalhadas. Em uma placa de desenvolvimento física chamada Banana Pi BPI-F3, que utiliza um processador RISC-V, o novo método provou ser uma melhoria massiva. Quando o dispositivo estava se preparando para ler uma entrada curta, a nova abordagem foi entre doze e quatorze vezes mais rápida que a versão padrão não otimizada. Quando o dispositivo estava gerando texto palavra por palavra, foi quatro a cinco vezes mais rápido. Os pesquisadores também realizaram simulações extensas para ver como o método se comportaria se os processadores fossem construídos com linhas de dados ainda mais largas, capazes de lidar com pedaços muito maiores de informação de uma só vez. Essas simulações mostraram que, à medida que as linhas de dados cresciam em largura, os ganhos de velocidade continuavam a subir, atingindo até quarenta e duas vezes mais rápido que a versão básica nos melhores cenários de preparação de entradas.

No entanto, o estudo também revelou um limite distinto para o quanto esses dispositivos podem acelerar. Os pesquisadores descobriram que, embora a parte de atenção do programa se beneficie grandemente dessas linhas de dados mais largas, outras partes do sistema, especificamente as camadas que convertem números em previsões, não se beneficiam. Essas camadas utilizam uma forma específica de armazenar números chamada quantização, que comprime os dados para economizar espaço. A maneira como esses dados são atualmente empacotados cria um descompasso estrutural com as linhas de dados largas, forçando o processador a realizar um trabalho extra e ineficiente para separar e recombinar os números. As simulações mostraram que, para essas camadas específicas, o tempo economizado pelo processamento de mais dados foi completamente consumido pelo tempo gasto no rearranjo. Isso significa que, embora o mecanismo de atenção possa ser tornado incrivelmente rápido, a velocidade geral do sistema é atualmente contida por esses outros componentes, sugerindo que melhorias futuras exigirão uma mudança na forma como esses números são armazenados, não apenas como são processados.

As descobertas oferecem um caminho claro para tornar a inteligência artificial mais acessível em dispositivos cotidianos. O novo método, FlashAttention-V, consegue unir a lacuna entre o design dos modelos de linguagem modernos e as capacidades dos processadores vetoriais escaláveis. Ele prova que, simplesmente reordenando como o computador pensa sobre suas tarefas e empacotando os dados de forma mais eficiente, ganhos de desempenho significativos são possíveis sem a necessidade de novo hardware. A pesquisa confirma que, para tarefas curtas e geração de texto em tempo real, esses processadores otimizados podem ser altamente eficazes. No entanto, serve também como um alerta de que as formas atuais de comprimir dados para esses dispositivos podem estar atingindo um limite, e que desbloquear o potencial total de futuros processadores mais largos provavelmente dependerá de resolver o enigma de como armazenar e mover esses números comprimidos de forma mais inteligente.

Resumo Técnico: FlashAttention para Arquiteturas Vetoriais Escaláveis

Declaração do Problema

A inferência com modelos transformer em CPUs é cada vez mais crítica, particularmente para Modelos de Linguagem Pequenos (SLMs) implantados em dispositivos de borda. Embora as arquiteturas vetoriais como a Extensão de Vetor RISC-V (RVV) e a Extensão de Vetor Escalável (SVE) da ARM ofereçam substratos de execução promissores, o módulo de atenção permanece como um gargalo primário devido aos altos requisitos de largura de banda de memória.

As implementações existentes de FlashAttention em CPUs vetoriais (por exemplo, em llama.cpp) sofrem de uma limitação fundamental de escalabilidade: elas vinculam o comprimento do vetor (VL) à dimensão da cabeça ( $D$ ), tipicamente 64 ou 128. Consequentemente, quando o hardware suporta comprimentos de vetor significativamente maiores que $D$ (por exemplo, 512 bits, 2048 bits ou 8192 bits), essas implementações não conseguem utilizar a largura total do SIMD. Elas saturam em $VL \le D$ , deixando registradores vetoriais mais largos subutilizados e falhando em explorar o potencial de arquiteturas de vetores longos. Além disso, formatos de quantização padrão (especificamente Q8_0) introduzem incompatibilidades estruturais com a execução de vetores longos em camadas de projeção linear e de feed-forward, criando gargalos adicionais.

Metodologia

Os autores propõem o FlashAttention-V, um algoritmo FlashAttention redesenhado especificamente para arquiteturas vetoriais escaláveis. A inovação central é a exploração do paralelismo entre as cabeças de atenção, em vez de apenas dentro de uma única cabeça.

Transformações Algorítmicas Principais

Empacotamento Inter-Cabeça (Inter-Head Packing): Quando $VL > D$, o FlashAttention-V mapeia múltiplas cabeças de atenção em um único registrador vetorial. Ao reordenar os loops sobre as cabeças de atenção e aplicar o desenrolamento de loop (loop unrolling), o algoritmo empacota elementos de $Q$ , $K$ e $V$ de múltiplas cabeças em registradores vetoriais contíguos. Isso permite que o sistema utilize comprimentos de vetor que excedem a dimensão da cabeça.
Reordenação e Desenrolamento de Loop: O algoritmo reordena os loops para melhorar a localidade espacial e permitir acessos à memória com passo unitário (unit-stride). Ele aplica o desenrolamento de loop sobre as cabeças de atenção para aumentar o paralelismo ao nível de instrução (ILP) e maximizar a ocupação dos registradores vetoriais.
Consciência de GQA/MHA: O design suporta nativamente a Atenção de Consulta Agrupada (GQA) e a Atenção de Múltiplas Consultas (MQA). Para cabeças de chave-valor compartilhadas, o algoritmo carrega os dados uma única vez e os replica através do registrador vetorial, evitando acessos redundantes à memória.
Execução Bloqueada (Blocked Execution): A implementação utiliza estratégias de bloqueio conscientes de cache (inspiradas no FlashAttention-2) para manter dados intermediários nos registradores e reduzir o tráfego de memória.

Configuração Experimental

Implementação: Integrado ao framework ggml dentro do llama.cpp usando intrinsics de RISC-V e ARM SVE.
Modelos Avaliados: TinyLlama, Llama 3.2, Qwen2.5 (modelos GQA) e Pythia-410M (modelo MHA).
Hardware/Simulação:
- Hardware Real: Banana Pi BPI-F3 (RVV 256 bits).
- Simulação: gem5 configurado com RISC-V RiscvMinorCPU in-order. O simulador foi estendido para modelar latências vetoriais realistas proporcionais ao comprimento do vetor e à contagem de lanes (baseado na microarquitetura Vitruvius+), escalando de 512 bits a 8192 bits de comprimento de vetor e de 8 a 64 lanes.
- Baselines: FlashAttention não-vetorizado (ggml-scalar) e FlashAttention vetorizado existente (ggml-vec).

Principais Contribuições

Algoritmo FlashAttention-V: Uma nova abordagem que permite a utilização eficaz de comprimentos de vetor além da dimensão da cabeça ($VL > D$) explorando o paralelismo inter-cabeça. Ele alcança um ganho de velocidade de 22×–42× sobre o FlashAttention escalar na fase de prefill e 8×–11× na fase de decode com comprimentos de vetor de 512 bits (simulação gem5).
Análise de Escalabilidade: O artigo fornece uma análise quantitativa do escalonamento do FlashAttention-V até comprimentos de vetor de 8192 bits. Identifica que, embora os ganhos teóricos aumentem com a largura do vetor, o desempenho realista é governado pelas latências da unidade funcional vetorial. Os autores descobrem que configurações com 64 lanes vetoriais e vetores de 4096 bits alcançam a escalabilidade ideal (ganho de 2×–2.5× no prefill), enquanto os ganhos diminuem além deste ponto devido aos overheads de latência.
Identificação de Gargalos de Quantização: Os autores caracterizam uma incompatibilidade estrutural entre a quantização Q8_0 e a execução de vetores longos em camadas de projeção linear e feed-forward. Eles demonstram que o layout intercalado de pesos e escalas no Q8_0 força operações de empacotamento explícito e redução mascarada, que consomem até 60% dos ciclos de execução em VL de 2048 bits. Esse overhead anula os benefícios aritméticos de vetores mais longos, um achado consistente tanto em RVV quanto em ARM SVE.

Resultados

Hardware Real (Banana Pi BPI-F3): O FlashAttention-V alcançou um ganho de velocidade de 12×–14× sobre o FlashAttention escalar. Foi mais eficaz para contextos curtos ( $N \le 128$ ), que são comuns em inferência de borda.
Fase de Prefill (Simulação):
- Com VL de 512 bits, os ganhos de velocidade variaram de 22× (TinyLlama) a 42× (Qwen2.5) sobre os baselines escalares.
- Escalar para 8192 bits de VL proporcionou ganhos adicionais (até ~3×) para modelos com menores dimensões de cabeça, que podiam empacotar mais cabeças por registrador.
- Sob escalonamento de latência realista (64 lanes), a configuração de 4096 bits sustentou um ganho de 2×–2.5× sobre o baseline de 512 bits, enquanto as configurações de 8192 bits viram retornos decrescentes devido às penalidades de latência.
Fase de Decode: O FlashAttention-V alcançou um ganho de velocidade de 8×–11× a 512 bits de VL. No entanto, devido à natureza de token único do decoding, o desempenho mostrou sensibilidade decrescente à largura do vetor e contagem de lanes além de 512 bits, pois a carga de trabalho por iteração era insuficiente para amortizar os overheads de empacotamento/desempacotamento.
Camadas Quantizadas: Microbenchmarks revelaram que os overheads de empacotamento e redução mascarada em camadas lineares Q8_0 dominam o tempo de execução em comprimentos de vetor altos, impedindo a amortização aritmética.

Significância e Alegações

O artigo afirma preencher a lacuna entre o FlashAttention e as arquiteturas vetoriais escaláveis ao permitir a execução eficiente em comprimentos de vetor que excedem em muito a dimensão da cabeça. Os autores afirmam que suas otimizações (reordenação de loop, empacotamento inter-cabeça e desenrolamento) são princípios transferíveis que aceleram significativamente a inferência de transformers em dispositivos de borda.

Crucialmente, o artigo destaca uma limitação fundamental nas estratégias de quantização atuais para execução de vetores longos. Argumenta-se que, embora o FlashAttention-V consiga escalar o mecanismo de atenção, o layout estrutural das camadas lineares quantizadas em Q8_0 impõe uma barreira à escalabilidade semelhante em redes feed-forward. Os autores concluem que trabalhos futuros devem explorar formatos de quantização ou layouts de memória alternativos para eliminar os overheads de empacotamento explícito, pois os ganhos aritméticos atuais de vetores longos são atualmente compensados pelos custos de movimentação de dados em modelos quantizados.

O trabalho fornece insights acionáveis para projetistas de hardware e engenheiros de software, sugerindo que configurações de 64 lanes e 4096 bits oferecem um "ponto ideal" para escalabilidade antes que os overheads de latência dominem, e que otimizar apenas os kernels de atenção é insuficiente para ganhos de desempenho de ponta a ponta sem abordar os gargalos induzidos pela quantização.