CORVET: A CORDIC-Powered, Resource-Frugal Mixed-Precision Vector Processing Engine for High-Throughput AIoT applications

Este artigo apresenta o CORVET, um motor de processamento vetorial adaptável e eficiente em recursos para IA na borda, que utiliza unidades MAC baseadas em CORDIC e execução com precisão mista para alcançar alta taxa de transferência e eficiência energética em aplicações de IAoT.

O essencial

Imagine que você tem um restaurante muito popular (o seu dispositivo de Inteligência Artificial, como um drone ou um celular) e precisa cozinhar milhões de pratos (processar dados) rapidamente, mas sua cozinha é pequena e a energia é limitada.

A maioria dos cozinheiros (chips de IA atuais) tenta resolver isso de duas formas: ou contrata uma equipe gigante de cozinheiros (o que gasta muita energia e ocupa muito espaço) ou usa uma receita fixa que nunca muda, mesmo que o prato seja simples ou complexo.

O CORVET, o projeto apresentado neste artigo, é como um chef de cozinha superinteligente e versátil que muda a estratégia dependendo do prato que está sendo feito.

Aqui está a explicação do funcionamento do CORVET, usando analogias do dia a dia:

1. O Segredo: O "Cordão" Mágico (CORDIC)

A maioria dos chips usa calculadoras complexas e caras para fazer multiplicações e somas (chamadas de MACs). O CORVET usa uma técnica antiga e elegante chamada CORDIC.

• A Analogia: Imagine que para medir uma distância, a maioria dos chips usa um GPS de alta precisão que gasta muita bateria. O CORVET, em vez disso, usa um "passo a passo" (iterativo). Ele dá um passo, verifica, dá outro passo.
• O Truque: Se o prato é simples (como uma salada), o chef dá apenas 3 passos e pronto (modo aproximado, rápido e econômico). Se o prato é complexo (como um bolo de casamento), ele dá 10 passos para garantir perfeição (modo preciso).
• O Resultado: O chip não precisa ter duas máquinas diferentes. Ele é a mesma máquina, mas decide quanta "energia" gastar em cada tarefa.

2. A Cozinha de Vários Andares (Processamento Vetorial)

Em vez de ter um único cozinheiro fazendo tudo um por um, o CORVET tem uma equipe de 64 a 256 cozinheiros (PEs) trabalhando juntos.

• A Analogia: Imagine uma linha de montagem de carros. Se um carro demora 10 minutos para ser montado, você não fica esperando 10 minutos para começar o próximo. Você coloca 10 carros na linha ao mesmo tempo.
• O Benefício: Mesmo que cada "cozinheiro" individual seja um pouco mais lento porque está contando os passos (iterativo), como eles trabalham todos juntos ao mesmo tempo, o restaurante serve os pratos muito mais rápido do que se tivesse apenas um cozinheiro super-rápido. Isso aumenta o rendimento em até 4 vezes sem precisar de mais espaço na cozinha.

3. O "Canivete Suíço" de Funções (Ativação Multi-Função)

Em redes neurais, além de somar e multiplicar, o chip precisa fazer "atividades" não lineares (como decidir se uma imagem é um gato ou um cachorro). Chips antigos gastam muito espaço dedicando uma máquina específica para cada tipo de função (uma só para "Gato", outra só para "Cachorro"), e essas máquinas ficam paradas a maior parte do tempo (o chamado "silício escuro").

• A Analogia: O CORVET usa um Canivete Suíço. Em vez de ter 10 ferramentas diferentes espalhadas pela mesa (que ocupam espaço e ficam vazias), ele tem uma única ferramenta que vira de tudo: chave de fenda, alicate, tesoura, abre-latas.
• O Resultado: Ele usa o mesmo hardware para fazer Sigmoid, Tanh, ReLU e outras funções, alternando rapidamente entre elas. Isso economiza muito espaço e energia, pois não há ferramentas paradas ocupando lugar.

4. O Gerente de Cozinha (Controle Adaptativo)

O chip tem um "gerente" que olha para a receita e diz: "Nesta parte da rede neural, a precisão não é tão importante, vamos fazer rápido! Naquela outra parte, precisamos de perfeição, vamos fazer devagar".

• A Analogia: É como um gerente de restaurante que sabe que o cliente que pediu um sanduíche quer rapidez, mas o cliente que pediu um banquete quer qualidade. O gerente ajusta o ritmo da cozinha automaticamente para cada pedido, sem precisar mudar a estrutura do restaurante.

Por que isso é incrível? (Os Resultados)

O artigo mostra que, ao usar essa abordagem:

• Economia de Energia: O chip gasta até 21% menos energia e é 33% mais rápido em certas tarefas do que os melhores chips atuais.
• Eficiência: Ele consegue fazer muito mais cálculos por milímetro quadrado de chip (como uma cidade que consegue abrigar mais pessoas no mesmo espaço).
• Versatilidade: Ele foi testado em situações reais (como detectar objetos em drones) e funcionou melhor do que computadores potentes e caros, mas consumindo muito menos bateria.

Resumo Final:
O CORVET é como um cozinheiro adaptável que não desperdiça energia. Ele sabe quando pode ser "aproximadamente" rápido e quando precisa ser "perfeitamente" lento, usando o mesmo hardware para tudo. Isso permite que dispositivos inteligentes (como drones, câmeras de segurança e celulares) tenham uma inteligência artificial poderosa sem precisar de baterias gigantes ou chips superaquecidos.

Resumo técnico

Resumo Técnico: CORVET

1. Problema e Motivação

A implementação de modelos de Inteligência Artificial (IA) em dispositivos de borda (Edge AI) e Internet das Coisas (IoT) enfrenta desafios críticos relacionados a restrições de energia, área de silício e latência.

• Ineficiência de Recursos: Aproximadamente 90% das operações em Redes Neurais Profundas (DNNs) são multiplicações e acumulações (MAC), enquanto as Funções de Ativação Não Lineares (NAFs) representam apenas 2-5%. No entanto, aceleradores existentes frequentemente alocam hardware dedicado e fixo para NAFs, resultando em ciclos ociosos (até 84% de inatividade) e "silício escuro" (dark silicon), reduzindo a eficiência energética.
• Rigidez de Aproximação: Soluções anteriores baseadas em aproximação (como CORDIC ou quantização) geralmente operam em pontos fixos de precisão. Isso impede o ajuste dinâmico entre precisão e latência, levando a perdas irreversíveis de acurácia ou à necessidade de lógica de correção complexa que anula os ganhos de energia.
• Falta de Adaptabilidade: A maioria dos aceleradores não suporta reconfiguração em tempo real baseada na sensibilidade de cada camada da rede neural, forçando um compromisso subótimo entre precisão e desempenho.

2. Metodologia e Arquitetura Proposta

O artigo apresenta o CORVET, um motor vetorial adaptativo em tempo real que utiliza uma unidade MAC (Multiply-Accumulate) baseada em CORDIC iterativo e de baixo recurso. A arquitetura é projetada para maximizar a utilização de hardware e permitir trocas dinâmicas entre modos aproximado e preciso.

• Unidade MAC Baseada em CORDIC Iterativo:

  • Utiliza uma estrutura CORDIC iterativa (em vez de pipeline fixo) onde o número de iterações ativas determina a precisão e a latência.
  • Modos de Operação: Suporta troca dinâmica entre modos "aproximado" (menos iterações, menor latência/energia, ~2% de perda de acurácia) e "preciso" (mais iterações, <0.5% de perda).
  • Precisão Mista: Suporta nativamente precisões de 4, 8 e 16 bits.
  • Eficiência: Reutiliza um único caminho de dados CORDIC, reduzindo a área e o consumo de energia estático em comparação com designs pipelined.

• Bloco Multi-NAF Multiplexado no Tempo:

  • Para resolver o problema de subutilização das funções de ativação, o CORVET integra um bloco único e compartilhado que suporta múltiplas funções não lineares (Sigmoid, Tanh, SoftMax, GELU, Swish, ReLU, SELU).
  • Utiliza recursos CORDIC comuns com caminhos de dados específicos ativados seletivamente, alcançando fatores de utilização de 72% a 86% com menos de 4% de sobrecarga de área e potência.

• Arquitetura Vetorial Escalável:

  • O motor consiste em N Elementos de Processamento (PEs) homogêneos (escaláveis de 64 a 256).
  • Adota um modelo de execução baseado em "lanes" (faixas), onde a latência multi-ciclo do MAC iterativo é amortizada pela execução paralela em múltiplos PEs, mantendo alta taxa de transferência (throughput).
  • Inclui unidades de pooling (AAD - Desvio Absoluto Médio) e normalização leves para reduzir o tráfego de memória.

• Co-design Hardware-Software:

  • Um motor de controle gerencia a reconfiguração em tempo real, ajustando a profundidade de iteração e a precisão por camada com base em heurísticas de sensibilidade à precisão, sem necessidade de reestruturação de hardware.

3. Principais Contribuições

1. Unidade MAC CORDIC Iterativa Adaptativa: Permite troca em tempo real entre modos aproximado e preciso sem lógica de correção auxiliar, suportando precisões de 4/8/16 bits.
2. Arquitetura Vetorial Escalável: Amortiza a latência do MAC iterativo através de paralelismo em múltiplos PEs, alcançando até 4x de melhoria na taxa de transferência sem sobrecarga excessiva de área.
3. Bloco Multi-NAF de Alta Utilização: Um bloco multiplexado no tempo que suporta uma ampla gama de funções de ativação com custo de hardware mínimo, mitigando o desperdício de silício.
4. Validação Abrangente: Avaliação completa desde emulação de software, prototipagem em FPGA, até síntese ASIC em tecnologia de 28 nm, demonstrando melhorias em cargas de trabalho de CNN e Transformers.

4. Resultados Experimentais

Os resultados foram validados em FPGA (AMD Virtex-707) e ASIC (28 nm HPC+, 0.9V):

• Eficiência do MAC:
  • Redução de até 33% no atraso do caminho crítico e 21% no consumo de energia por estágio MAC em comparação com designs CORDIC anteriores.
  • Em ASIC, o design alcança uma densidade de computação de 4,83 TOPS/mm² e eficiência energética de 11,67 TOPS/W na configuração de 256 PEs.
• Utilização de Hardware: O bloco Multi-NAF reduz significativamente o uso de LUTs e Flip-Flops em FPGA e o consumo de energia em ASIC, mantendo baixa latência.
• Desempenho de Sistema (Edge AI):
  • Implementado na plataforma Pynq-Z2 (com processador ARM Cortex-A9) para tarefas de detecção de objetos e classificação.
  • Latência e Energia: Para o modelo VGG-16, o sistema atingiu uma latência total de 84,6 ms com consumo de 0,43 W.
  • Comparação: Superou significativamente plataformas comerciais como NVIDIA Jetson Nano (226 ms / 1,34 W) e Raspberry Pi (555 ms / 2,7 W), além de outros aceleradores FPGA de última geração.

5. Significado e Impacto

O CORVET representa um avanço significativo para a computação de borda (Edge AI) ao resolver o dilema entre eficiência energética e flexibilidade.

• Ponte entre Aproximação e Precisão: Diferente de designs fixos, o CORVET permite que o sistema "respire" ajustando a precisão conforme a necessidade de cada camada da rede, maximizando a eficiência sem sacrificar a acurácia do modelo final.
• Otimização de Recursos: Ao eliminar o "silício escuro" nas unidades de ativação e utilizar iteração em vez de pipeline profundo, o design oferece uma solução altamente escalável e econômica para dispositivos com restrições severas de energia e área.
• Aplicabilidade: A arquitetura é particularmente adequada para aplicações de IAoT (Internet of Things) que exigem alta taxa de transferência e baixo consumo, como drones, sensores inteligentes e dispositivos vestíveis.

Em suma, o CORVET estabelece um novo padrão para aceleradores de IA de baixo custo, demonstrando que a reconfigurabilidade dinâmica e a reutilização inteligente de recursos CORDIC podem superar as limitações das abordagens tradicionais de hardware fixo.