Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

Visão Geral

O artigo apresenta uma análise retrospectiva e uma evolução da arquitetura de funções de ativação (AF) baseada no algoritmo CORDIC (Coordinate Rotation Digital Computer) para aceleradores de Inteligência Artificial (IA). O trabalho foca na criação de uma solução de hardware reconfigurável e escalável em precisão, capaz de suportar diversas funções de ativação modernas (como Swish, GeLU, SeLU) além das tradicionais, visando otimizar o desempenho em sistemas com recursos limitados (edge devices) e grandes modelos (Transformers).

1. O Problema

• Gargalo nas Funções de Ativação: Embora a otimização de unidades de computação para operações lineares (GEMM, MAC) seja comum, as funções de ativação não-lineares tornaram-se um gargalo significativo na execução de modelos de IA complexos (DNNs, RNNs, LSTMs e Transformers).
• Ineficiência de Hardware Atual: Soluções existentes frequentemente utilizam abordagens baseadas em Tabelas de Busca (LUT), aproximações de Taylor ou séries estocásticas. Essas abordagens sofrem de:
  • Falta de escalabilidade de precisão (alto custo de armazenamento em LUTs para alta precisão).
  • Latência elevada e erros de quantização/interpolção.
  • Baixa flexibilidade para suportar múltiplas funções de ativação no mesmo hardware.
• Desperdício de Área e Energia: Processadores comerciais (como o Google TPUv4) dedicam uma área desproporcional a funções não-lineares (ex: 20% da área para menos de 2% das funções), indicando uma necessidade crítica de implementação de hardware mais eficiente.

2. Metodologia

A proposta central é o desenvolvimento de um núcleo de função de ativação programável chamado DA-VINCI, baseado na técnica CORDIC de "Shift-and-Add" (Deslocamento e Adição).

• Arquitetura Unificada CORDIC: O design utiliza um algoritmo CORDIC unificado que suporta modos lineares, circulares e hiperbólicos. Isso permite calcular funções trigonométricas e hiperbólicas necessárias para diversas AFs usando os mesmos blocos lógicos básicos (Adição/Subtração, MUX, deslocadores).
• Reconfigurabilidade Dinâmica: O núcleo DA-VINCI pode alternar em tempo de execução entre diferentes funções de ativação (Swish, SoftMax, SeLU, GeLU, Sigmoid, Tanh, ReLU) através de sinais de controle, sem a necessidade de reconfiguração física do hardware.
• Otimização de Recursos:
  • Uso de HOAA (High-Order Adder Array) para economizar área e potência.
  • Implementação em precisão fixa (FxP) de 8/16 bits, com suporte a 32 bits, permitindo um equilíbrio entre precisão e eficiência de hardware.
  • Integração de um buffer para ReLU, FIFO para SoftMax e multiplicadores adicionais para GeLU, mantendo o overhead de área ("dark silicon") mínimo.
• Unidade NEURIC: O núcleo DA-VINCI é integrado em uma unidade de processamento chamada NEURIC (Neuron Engine based on Reconfigurable Iterative CORDIC), que combina unidades MAC (Multiply-Accumulate) e AF reconfiguráveis.

3. Contribuições Principais

1. Núcleo DA-VINCI Programável: Um núcleo de AF que suporta uma vasta gama de funções (incluindo as modernas Swish, GeLU, SeLU) com overhead quase negligenciável, permitindo reconfigurabilidade em tempo de execução.
2. Arquitetura NEURIC: Introdução de um motor de neurônio baseado em CORDIC iterativo reconfigurável (8/16 bits), servindo como bloco fundamental para vetores de IA leves e multiplexados por camadas.
3. Validação Empírica e Escalabilidade: Demonstração de que a abordagem baseada em CORDIC supera soluções de estado da arte (SoTA) em termos de eficiência de recursos e precisão, validada através de simulações em Python, síntese em FPGA (Zybo/Xilinx) e ASIC (28nm e 45nm).
4. Motor Vetorial de Alta Performance: Desenvolvimento de um motor vetorial com 64 unidades NEURIC, otimizado para alta densidade de computação e eficiência energética em dispositivos de borda.

4. Resultados

Os resultados experimentais demonstram superioridade significativa em comparação com trabalhos anteriores (como RECON, AFB, SoftAct, etc.):

• Eficiência de Recursos (FPGA):
  • Redução de 4.5x no uso de LUTs e 3.2x em Flip-Flops (FFs) comparado a designs SoTA.
  • Redução de consumo de energia de até 4.2x a 5.4x.
  • Melhoria no atraso crítico (delay) de até 30%.
• Eficiência de Recursos (ASIC):
  • Redução de área de até 16.2x e 4x comparado a designs de 28nm e 45nm.
  • Redução de potência de 2.1x a 14.3x.
  • Densidade de computação e eficiência energética superiores, especialmente no nó de 28nm.
• Precisão e Qualidade de Resultados (QoR):
  • O design alcança 98.5% de QoR em benchmarks de modelos como VGG-16, ResNet-50 e MobileViT.
  • Erro médio (Mean Error) e Erro Absoluto Médio (MAE) significativamente reduzidos em comparação com aproximações LUT e Taylor.
• Desempenho em Aplicações:
  • Em um motor vetorial com 64 unidades NEURIC, alcançou uma taxa de transferência de 52.3 GOPS com tempo de inferência de 148 ms.
  • Em Transformers (MobileViT), a eficiência energética melhorou em 2.5x (vs. TRETA) e 17.54x (vs. SIGMA), com ganho de velocidade de 1.8x.

5. Significado e Impacto

Este trabalho é fundamental para o futuro dos aceleradores de IA por várias razões:

• Versatilidade: Resolve o problema da fragmentação de hardware, onde diferentes modelos exigem diferentes funções de ativação. O DA-VINCI permite que um único hardware suporte desde DNNs tradicionais até Transformers complexos.
• Eficiência para Edge AI: A redução drástica na área e no consumo de energia torna viável a execução de modelos de IA avançados em dispositivos com recursos limitados (bateria, área de silício).
• Sustentabilidade de Hardware: Ao reduzir a "área escura" (dark silicon) e otimizar o uso de recursos, o design contribui para aceleradores de IA mais sustentáveis e de alto desempenho.
• Adaptação à Evolução de Modelos: Diferente de soluções rígidas, esta abordagem é preparada para a evolução contínua das arquiteturas de redes neurais, oferecendo uma base sólida para implementações de hardware reconfiguráveis.

Em resumo, o artigo propõe uma mudança de paradigma no design de aceleradores de IA, movendo-se de unidades fixas para núcleos de ativação dinamicamente configuráveis e escaláveis, baseados em CORDIC, que equilibram perfeitamente precisão, velocidade e eficiência energética.