The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators

O artigo apresenta a família AetherFloat, uma arquitetura de ponto flutuante baseada em radix-4 e mantissa explícita projetada para aceleradores de IA que elimina a necessidade de lógica de escalonamento por bloco (Block-Scaling), oferecendo reduções significativas em área, potência e atraso de caminho crítico, enquanto utiliza arredondamento estocástico para mitigar gradientes que desaparecem.

O essencial

Imagine que você está construindo um supercomputador para ensinar um robô a pensar (como um modelo de Inteligência Artificial). Para fazer isso, o computador precisa fazer bilhões de cálculos matemáticos por segundo.

O problema é que, até hoje, todos usamos a mesma "ferramenta" para esses cálculos: o formato de ponto flutuante padrão (IEEE 754), que é como uma régua muito antiga e rígida. Essa régua funciona bem para tudo, mas é pesada, ocupa muito espaço e, quando o robô encontra números muito estranhos ou muito grandes (o que acontece muito em modelos de linguagem modernos), ela quebra ou precisa de um "ajustador" externo que deixa tudo lento.

Os autores deste artigo, Keita Morisaki e sua equipe, criaram uma nova ferramenta chamada AetherFloat. Pense nela como uma "régua inteligente" feita sob medida para robôs.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema da "Régua Antiga" (IEEE 754)

Imagine que você tem uma caixa de ferramentas cheia de martelos. O martelo padrão (IEEE 754) é ótimo, mas ele tem uma parte escondida (o "bit oculto") que você não vê, mas precisa calcular mentalmente toda vez que bate.

• O que isso causa: Em um chip de computador, isso ocupa muito espaço (área de silício) e gasta muita energia. Além disso, quando o robô encontra um número "fora do comum" (um outlier), a régua padrão não aguenta e precisa de um supervisor (chamado Block-Scaling ou AMAX) para reorganizar tudo na hora. Isso é como ter um gerente que para a linha de produção inteira para ajustar uma peça, deixando tudo lento.

2. A Solução: A "Régua AetherFloat"

A equipe criou uma nova régua com três truques principais:

A. A "Etiqueta de Cor" (Comparação Inteira)

Na régua antiga, números negativos são organizados de forma confusa (como se os números negativos estivessem escritos de trás para frente). Para compará-los, o computador precisa de um tradutor lento.

• AetherFloat: Eles mudaram a forma de escrever os números negativos (usando o "Complemento de Um"). Agora, os números negativos e positivos estão organizados em ordem perfeita, como uma fila de espera.
• Analogia: É como se, em vez de ter que traduzir um bilhete escrito em código, você pudesse ler a fila diretamente. O computador consegue dizer "quem é maior" instantaneamente, sem pensar. Isso acelera decisões rápidas, como "se o número for positivo, mantenha; se for negativo, zere" (uma operação comum em redes neurais).

B. A "Escada de 4 Degraus" (Base-4)

A régua antiga usa potências de 2 (2, 4, 8, 16...). A nova régua usa potências de 4 (4, 16, 64, 256...).

• Analogia: Imagine subir uma escada. A régua antiga tem degraus pequenos e muitos deles. A AetherFloat tem degraus mais largos (pulos de 4 em 4).
• O Benefício: Com degraus mais largos, você consegue cobrir uma distância muito maior (números muito grandes e muito pequenos) sem precisar de uma escada gigantesca. Isso permite que o robô lide com números "gigantes" que aparecem em modelos de linguagem modernos sem precisar daquele "supervisor" (Block-Scaling) que parava a produção.

C. A "Moeda Visível" (Mantissa Explícita)

Na régua antiga, há um dígito que é "invisível" (sempre assume-se que é 1). Isso economiza espaço no papel, mas exige que o computador faça cálculos extras para "desencriptar" esse número.

• AetherFloat: Eles decidiram mostrar todos os dígitos, inclusive aquele que era invisível.
• O Troco: Perdem um pouquinho de precisão matemática (como trocar uma moeda de ouro por uma de prata), mas ganham um espaço enorme no chip.
• Resultado: Como o chip não precisa mais ter aquela parte "escondida", o multiplicador (o coração do cálculo) fica menor. O artigo diz que isso reduziu o tamanho do chip em 33% e o consumo de energia em 22%. É como trocar um motor V8 grande por um motor híbrido compacto que faz o mesmo trabalho, mas gasta menos gasolina.

3. O Grande Diferencial: "Sem Supervisor" (Block-Scale-Free)

A maior inovação é que a versão de 8 bits (AF8) não precisa daquele supervisor (AMAX) que parava a linha de produção.

• Como funciona: A régua é tão flexível e tem um alcance tão grande que ela consegue "engolir" os números estranhos sozinha.
• O Preço: Para usar essa régua, você não pode apenas pegar um modelo pronto e usar (o que chamam de Post-Training Quantization). Você precisa "treinar" o robô especificamente para usar essa régua desde o início (Quantization-Aware Training). É como comprar um carro elétrico: você não pode usar gasolina, precisa aprender a carregar a bateria. Mas, uma vez treinado, o carro é muito mais eficiente.

Resumo dos Resultados

• Menor e Mais Rápido: O chip ocupa menos espaço e gasta menos energia.
• Mais Inteligente: Lida melhor com números gigantes sem travar.
• Precisão: Em testes com modelos de linguagem (como o Qwen2.5), a versão de 16 bits funcionou quase igual à padrão, e a versão de 8 bits funcionou muito bem, desde que o modelo fosse treinado especificamente para ela.

Em suma: O AetherFloat é uma reinvenção da matemática para chips de IA. Eles trocaram um pouco de precisão matemática teórica por uma eficiência prática enorme, criando uma ferramenta que é mais leve, mais rápida e não precisa de "ajustes manuais" constantes para funcionar.

Resumo técnico

Resumo Técnico: AetherFloat Family

1. O Problema

O padrão IEEE 754 de ponto flutuante, embora seja a base da computação moderna, impõe custos significativos de área de silício e consumo de energia quando implementado em Unidades de Processamento Neural (NPUs) massivamente paralelas. Os principais gargalos identificados são:

• Sobrecarga de Hardware: A normalização em base-2 exige cruzamentos de alinhamento profundos (barrel shifters) e lógica complexa para lidar com números subnormais (que causam traps de microcódigo e paradas na pipeline).
• Limitações em Formatos de Baixa Precisão (8-bit): A transição da indústria para formatos de 8 bits (como FP8 E4M3) para aceleradores de IA enfrenta o problema de "outliers" (valores extremos) nas ativações de Grandes Modelos de Linguagem (LLMs). Para evitar overflow e perda de precisão, é obrigatório o uso de hardware de Escalonamento de Bloco (Block-Scaling/AMAX), que exige a extração de máximos dinâmicos por bloco, aumentando a complexidade e a latência.
• Ineficiência na Comparação: A codificação tradicional de sinal-magnitude quebra a comparabilidade inteira, exigindo lógica dedicada de FPU para operações não lineares críticas como ReLU.

2. Metodologia e Arquitetura Proposta

A família AetherFloat é uma substituição arquitetural parametrizável, projetada a partir de princípios fundamentais para co-design hardware/software. Ela introduz três inovações estruturais principais:

• Descompactação Lexicográfica em Complemento de Um (Lexicographic One's Complement Unpacking):

  • Substitui a codificação de sinal-magnitude por um mapeamento que preserva a ordem. Números negativos são invertidos bitwise (complemento de um) em relação aos positivos.
  • Benefício: Permite que números de ponto flutuante sejam ordenados e comparados diretamente usando ALUs inteiras padrão sem latência de ciclo zero, eliminando a necessidade de lógica FPU dedicada para funções como max(0, x) (ReLU).

• Escalonamento Quad-Radix (Base-4):

  • Em vez da base-2, o expoente escala em potências de 4.
  • Benefício: Reduz a profundidade dos barrel shifters de 4 estágios para apenas 2 estágios (multiplexadores de 2 bits), economizando área e tempo de propagação.
  • Compensação de Precisão: Embora a base alta introduza variância de precisão ("wobble"), a natureza estocástica do Gradiente Descendente (SGD) em Deep Learning absorve essa variação, atuando como uma regularização benigna.

• Mantissa Explícita e Subnormais sem Traps:

  • Abandona o "bit oculto" (hidden bit) tradicional. A mantissa é totalmente explícita.
  • Benefício: Permite reduzir o array de multiplicadores de hardware. Por exemplo, no formato AF8, a mantissa explícita de 3 bits permite um multiplicador de 3x3 bits em vez de 4x4 bits (necessário se houvesse um bit oculto).
  • Subnormais Branchless: Quando o expoente é zero, a regra do "par de bits líderes não nulos" é suspensa. Os números subnormais fluem pela mesma pipeline de hardware sem interrupções ou traps de microcódigo.

3. Formatos Principais

• AetherFloat-8 (AF8): Focado em inferência "Block-Scale-Free" (livre de escalonamento de bloco).
  • Estrutura: 1 bit de sinal, 4 bits de expoente (Base-4), 3 bits de mantissa explícita.
  • Vantagem: Oferece um intervalo dinâmico nativo muito superior ao FP8 (aprox. $1.22 \times 10^{-4}$a$57.344$vs.$10^{-2}$a$448$ do FP8), absorvendo outliers de LLMs sem hardware AMAX.
  • Requisito: Projetado para ser usado com Treinamento Consciente de Quantização (QAT), não como substituto direto de PTQ (Quantização Pós-Treinamento).
• AetherFloat-16 (AF16): Substituição quase sem perdas para o bfloat16, utilizando uma grade de expoente mais grossa e mantissa explícita de 8 bits.

4. Resultados e Avaliação Empírica

Os resultados foram validados através de simulações em C++/PyTorch e síntese de hardware (Verilog) no processo SkyWater 130nm:

• Eficiência de Hardware (MAC Unit):

  • Redução de 33,17% na área de silício.
  • Redução de 21,99% no consumo total de energia.
  • Redução de 11,73% no atraso do caminho crítico.
  • Essas melhorias derivam principalmente da eliminação do bit oculto (reduzindo o multiplicador) e da simplificação do alinhamento de base-4.

• Desempenho de IA (LLMs):

  • AF16: Apresenta desempenho quase idêntico ao bfloat16 em benchmarks como WikiText-2 e HellaSwag, confirmando que a variância da base-4 é benigna em 16 bits.
  • AF8: Em cenários de PTQ (apenas pós-treinamento), o AF8 sofre degradação devido ao underflow de pesos pequenos (que não suportam o escalonamento AMAX). No entanto, quando utilizado com QAT (usando o Estimador Straight-Through - STE), o AF8 demonstra fluxo de gradiente viável e convergência favorável, superando a instabilidade observada no FP8 em etapas tardias do treinamento.

• Roteamento Estocástico (Stochastic Rounding):

  • Propõe uma topologia de arredondamento estocástico compartilhada por vetores (32-bit Galois LFSR), amortizando o custo de hardware de geração de números aleatórios por unidade de MAC, prevenindo gradientes que desaparecem (vanishing gradients).

5. Significado e Conclusão

O AetherFloat representa uma mudança de paradigma ao priorizar a simplificação do datapath de hardware em detrimento de uma pequena perda teórica de precisidade (absorvida pelo treinamento estocástico).

• Impacto Principal: Elimina a necessidade de hardware complexo de AMAX (Block-Scaling) em inferência de 8 bits, permitindo que LLMs lidem nativamente com outliers de ativação.
• Trade-off: A arquitetura exige uma mudança no fluxo de trabalho de desenvolvimento: o AF8 não é um substituto "plug-and-play" para PTQ, mas sim um formato otimizado para QAT, onde o custo de ajuste fino é compensado pela eficiência radical do hardware de inferência.
• Contribuição Final: Demonstra que a aceitação de uma variância de precisão medida (penalidade de SQNR de ~3,04 dB) e a troca de um bit de precisão matemática por eficiência de silício podem resultar em aceleradores de IA significativamente mais rápidos, menores e mais eficientes energeticamente.

O código de simulação e os arquivos Verilog estão disponíveis sob licença de avaliação acadêmica para fins de reprodução e pesquisa.