VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration

Este artigo apresenta o VMXDOTP, uma extensão da arquitetura de instruções RISC-V Vector que otimiza a execução de produtos escalares em formatos microescalares (MX), alcançando alta eficiência energética e de área ao superar as limitações de regularidade das operações de ponto flutuante de baixa precisão em aceleradores de transformadores modernos.

O essencial

Imagine que você é o gerente de uma grande fábrica de inteligência artificial (IA). O trabalho dessa fábrica é processar milhões de imagens, textos e vozes para aprender e tomar decisões.

Até pouco tempo, essa fábrica usava caixas de ferramentas muito grandes e pesadas (dados de alta precisão) para fazer seu trabalho. Isso funcionava bem, mas consumia muita energia e deixava o estoque (memória) lotado.

Recentemente, os engenheiros descobriram um novo tipo de caixa de ferramentas: as caixas "Micro" (MX). Elas são super compactas, ocupam pouco espaço e economizam muita energia. O problema? A máquina da fábrica (o processador) foi feita para as caixas grandes. Quando tentam usar as caixas pequenas, a máquina precisa parar, abrir a caixa pequena, transformar o conteúdo em algo que ela entenda, fazer o cálculo e depois guardar tudo de volta. É como tentar cozinhar um prato gourmet usando uma colher de chá em vez de uma espátula: o trabalho é feito, mas é lento e cansativo.

Este artigo apresenta uma solução genial chamada VMXDOTP. Vamos entender como funciona com algumas analogias simples:

1. O Problema: A Fábrica Travada

Os processadores atuais (como o RISC-V, que é como um "esqueleto" de processador aberto e flexível) são ótimos para fazer contas em bloco. Mas as novas caixas "Micro" (MX) têm uma regra estranha: elas agrupam 32 números pequenos e dão a eles um único "termômetro" (escala) para todos.

Quando o software tenta usar isso no processador comum, ele precisa:

1. Pegar os 32 números.
2. Aumentar o tamanho deles (transformar de "mini" para "normal").
3. Pegar o "termômetro" e aplicá-lo a cada um.
4. Fazer a conta.

Isso faz o processador gastar mais tempo transformando dados do que realmente calculando. É como se um entregador de pizza gastasse 10 minutos trocando de sapatos antes de entregar cada pizza. O resultado? A fábrica fica lenta e gasta muita energia.

2. A Solução: VMXDOTP (A Nova Ferramenta Mágica)

Os autores criaram uma nova instrução, uma "ferramenta mágica" chamada VMXDOTP. Em vez de pedir ao entregador para trocar de sapatos, eles construíram uma esteira rolante especial dentro da fábrica.

• O que ela faz: Ela pega a caixa "Micro" fechada, lê os 32 números pequenos e o único "termômetro" de uma só vez, faz a conta matemática complexa (multiplicação e soma) e entrega o resultado pronto, tudo em um único passo.
• A analogia do "Kit de Montagem": Imagine que você tem que montar 32 brinquedos.
  • Sem VMXDOTP: Você pega uma peça, a coloca na mesa, pega a instrução, monta, guarda, pega a próxima...
  • Com VMXDOTP: Você tem uma máquina que pega o pacote fechado, aperta um botão e sai 32 brinquedos montados instantaneamente.

3. Os Resultados: Velocidade e Eficiência

Quando os pesquisadores testaram essa nova ferramenta em um protótipo de processador (chamado Spatz), os resultados foram impressionantes:

• Velocidade: A fábrica ficou até 7 vezes mais rápida. O que antes levava 7 horas, agora leva 1 hora.
• Energia: A máquina gastou quase 5 vezes menos energia para fazer o mesmo trabalho. É como trocar um carro que bebe 20 litros de gasolina por um elétrico que anda o mesmo caminho com uma bateria minúscula.
• Flexibilidade: Diferente de outras máquinas que só aceitam caixas de um tamanho fixo, essa nova ferramenta aceita caixas de vários tamanhos (definidos pelo software), o que é crucial porque a tecnologia de IA muda muito rápido.

4. Por que isso importa para o futuro?

Hoje, os modelos de IA (como os que geram texto ou criam imagens) estão ficando gigantes. Eles precisam de muita memória e muita energia. Se continuarmos usando as ferramentas antigas, nossos celulares e computadores vão ficar lentos e as baterias vão acabar em minutos.

O VMXDOTP é como uma atualização de sistema operacional para o hardware. Ele permite que usamos dados compactos (que economizam espaço e energia) sem perder a velocidade. Isso significa que, no futuro, poderemos ter assistentes de IA super inteligentes rodando diretamente no nosso relógio ou celular, sem precisar de uma nuvem gigante e sem gastar a bateria do dia todo.

Em resumo: Os autores pegaram uma ideia brilhante de compactação de dados (MX) que estava "travada" por falta de suporte no hardware, e criaram uma nova peça de engenharia (VMXDOTP) que desbloqueou todo o potencial de velocidade e economia de energia, tornando a inteligência artificial mais rápida, mais barata e mais verde.

Resumo técnico

Título: VMXDOTP: Uma Extensão ISA RISC-V Vector para Aceleração Eficiente de Formato Microescalado (MX)

1. O Problema

As cargas de trabalho modernas de Inteligência Artificial (IA), especialmente os transformadores baseados em decodificadores, exigem aceleradores flexíveis e energeticamente eficientes. Para lidar com o crescimento exponencial do tamanho e da largura de banda dos modelos, formatos de precisão reduzida, como o Microescalado (MX), tornaram-se atraentes. O formato MX utiliza representações de ponto flutuante de bloco (BFP), onde um grupo de elementos de baixa precisão (ex: FP8 ou FP4) compartilha um único fator de escala (expoente).

No entanto, existem desafios significativos ao implementar MX em processadores vetoriais padrão (como a extensão RISC-V Vector - RVV):

• Desalinhamento Semântico: A semântica do MX (escalonamento de bloco e operações de precisão mista em múltiplos passos) quebra a regularidade dos pipelines vetoriais.
• Emulação de Software Ineficiente: A abordagem atual exige a descompressão dos dados MX para formatos mais largos (ex: FP16 ou FP32) antes do cálculo. Isso introduz sobrecarga significativa de conversão, troca frequente de tipos de dados (vtype), pressão de registradores e instruções de controle, resultando em subutilização dos recursos de computação e degradação de desempenho.
• Falta de Suporte Nativo: Embora formatos MX sejam padronizados pelo OCP, a integração nativa em ISAs de propósito geral ainda não está clara, deixando ganhos de desempenho e eficiência na mesa.

2. Metodologia

Os autores propõem o VMXDOTP, uma extensão da ISA RISC-V Vector (RVV) 1.0 projetada para executar produtos escalares (dot products) em formato MX diretamente no hardware, sem necessidade de descompressão prévia.

• Arquitetura Base: A extensão foi integrada ao processador vetorial de código aberto Spatz, um cluster de Elementos de Processamento Vetorial (VPE) focado em eficiência energética.
• Design da Instrução (VMXDOTP):
  • Operação Nativa: A instrução vmxdotp realiza a multiplicação de elementos FP8/FP4, aplica o fator de escala do bloco (E8M0) e acumula o resultado em FP32 ou BF16 em uma única instrução.
  • Flexibilidade de Bloco: Ao contrário de soluções anteriores que fixam o tamanho do bloco (ex: 32), o VMXDOTP suporta tamanhos de bloco definidos por software. O hardware implementa um bloco base menor (ex: 8 elementos para FP8), e o software pode combinar múltiplas iterações para formar blocos maiores (ex: 32).
  • Codificação: Para lidar com os 5 operandos necessários (dois vetores de elementos, dois vetores/escalares de escala e o vetor de destino), os autores utilizam um espaço de codificação de 48 ou 64 bits (ou reutilizam espaços não utilizados de 32 bits em protótipos), contornando as limitações de codificação padrão da RVV.
• Implementação de Hardware:
  • Foi adicionada uma unidade de ponto flutuante (FPU) dedicada ao MX dentro do Spatz.
  • Para evitar o custo de área de portas de leitura adicionais no banco de registradores vetoriais (VRF), os fatores de escala são buscados em lotes, armazenados em buffers e consumidos progressivamente, multiplexando as portas de leitura existentes.
  • Suporte a formatos MXFP8 (E5M2/E4M3) e MXFP4 (E2M1).

3. Principais Contribuições

1. Análise de Limitações: Demonstração de que a emulação de software de operações MX em RVV padrão sofre de gargalos fundamentais (conversão de FP e escalonamento de software), resultando em baixa utilização da unidade funcional (VAU).
2. Nova Extensão ISA (VMXDOTP): Proposta de uma instrução vetorial nativa que suporta produtos escalares MXFP8 e MXFP4 com acumulação em FP32/BF16 e tamanhos de bloco flexíveis.
3. Implementação em Silício: Integração da extensão no processador Spatz e implementação física em tecnologia FinFET de 12 nm.
4. Avaliação Abrangente: Comparação de desempenho e eficiência energética contra emulação de software, kernels RVV padrão e aceleradores de estado da arte.

4. Resultados

A implementação foi sintetizada e avaliada sob condições típicas (1 GHz, 0.8 V):

• Desempenho e Eficiência:
  • Throughput: Até 125 GFLOPS para MXFP8 e 250 GFLOPS para MXFP4.
  • Eficiência Energética: Até 843 GFLOPS/W (MXFP8) e 1632 GFLOPS/W (MXFP4).
  • Utilização: O cluster alcançou 97% de utilização na execução de MatMul com MX.
• Comparação com Emulação de Software:
  • Aceleração: Até 7,0x mais rápido para FP32 e 4,8x para BF16 em comparação com kernels RVV emulados.
  • Eficiência Energética: Até 4,9x mais eficiente energeticamente.
• Custo de Área:
  • Overhead de área de apenas 7,2% no nível do cluster e 12,6% no nível do núcleo (Core Complex).
  • A maior parte do overhead (82%) vem das novas unidades FPU.
• Comparação com Estado da Arte:
  • Em comparação com o acelerador vetorial anterior "MXDOTP" (baseado em registradores de fluxo), o VMXDOTP é 1,4x mais eficiente em área e 2,1x mais eficiente em energia, além de oferecer maior flexibilidade de tamanho de bloco.
  • Mantém eficiência comparável a aceleradores de fluxo de dados de grande escala (como VEGETA), mas com a vantagem de ser um processador totalmente programável.

5. Significado e Conclusão

O artigo demonstra que a transição de formatos MX de uma solução puramente de armazenamento/compressão para uma solução de computação nativa é essencial para liberar todo o potencial de eficiência energética e de desempenho em arquiteturas vetoriais.

O VMXDOTP preenche uma lacuna crítica na extensão RVV, permitindo que processadores de propósito geral (como os baseados em RISC-V) executem inferência de IA de alta eficiência com formatos de baixa precisão sem a penalidade de desempenho da emulação de software. A capacidade de suportar tamanhos de bloco definidos por software torna a solução futura-proof, adaptável às mudanças rápidas nas técnicas de quantização de modelos de IA. Os resultados validam que a integração hardware-software próxima (co-design) é o caminho para aceleradores de IA escaláveis e energeticamente eficientes.