ALADIN: Accuracy-Latency-Aware Design-space Inference Analysis for Embedded AI Accelerators

O artigo apresenta o ALADIN, um framework de análise do espaço de projeto que permite avaliar trade-offs entre precisão, latência e consumo de recursos em aceleradores de IA embarcados com memória scratchpad, utilizando modelos de redes neurais quantizadas sem a necessidade de implantação física no hardware alvo.

O essencial

Imagine que você é um chef de cozinha tentando preparar um prato complexo (uma Inteligência Artificial) para ser servido em uma pequena barraca de comida ambulante (um dispositivo eletrônico de baixo custo, como um relógio inteligente ou um sensor industrial).

O problema é o seguinte:

1. O Prato (A IA): É delicioso e preciso, mas exige ingredientes caros e muito tempo de cozimento.
2. A Barraca (O Dispositivo): Tem uma geladeira minúscula (pouca memória) e um fogão fraco (pouca potência de processamento).
3. O Prazo (Tempo Real): O cliente quer o prato pronto em 1 segundo, senão ele vai embora.

Se você tentar cozinhar o prato inteiro na barraca, vai falhar: o fogão vai queimar, a geladeira vai estourar e o cliente vai esperar demais.

O que é o ALADIN?

O ALADIN é como um simulador de cozinha superinteligente que permite ao chef testar milhares de receitas diferentes antes de ligar o fogão real.

Em vez de ir para a barraca, comprar ingredientes, tentar cozinhar, falhar, jogar tudo fora e tentar de novo (o que custa tempo e dinheiro), o ALADIN permite que você:

• "Desmonte" a receita em passos detalhados.
• Veja exatamente quantos ingredientes cada passo vai usar.
• Calcule quanto tempo cada passo vai demorar no seu fogão específico.
• Descubra onde você pode "cortar" ingredientes (reduzir a precisão) sem estragar o sabor do prato.

Como funciona a "Mágica" (Simplificada)

O papel descreve três etapas principais, que podemos comparar assim:

1. A Receita "Consciente da Implementação" (O Menu Detalhado)

Normalmente, uma receita de IA diz apenas: "Frite a batata". O ALADIN pega essa receita e a transforma em um manual de instruções ultra-detalhado.

• Ele decide: "Vou usar uma panela pequena (memória) ou vou fazer tudo de uma vez?"
• Ele calcula: "Se eu usar batatas picadas em cubos pequenos (baixa precisão), vou precisar de menos panela, mas talvez demore mais para cortar."
• Analogia: É como transformar um livro de receitas genérico em um plano de obra que diz exatamente quantos tijolos, cimento e horas de trabalho cada parede vai exigir.

2. A Receita "Consciente da Plataforma" (Adaptada à Barraca)

Agora, o ALADIN olha para a sua barraca específica.

• "Ah, sua geladeira tem apenas 10 litros. Então, não podemos colocar todos os ingredientes de uma vez. Temos que fazer em duas etapas (chamado de tiling ou fatiamento)."
• Ele divide a tarefa em pedaços pequenos que cabem na sua geladeira, garantindo que nada seja desperdiçado e que o fogão nunca fique parado esperando ingredientes.
• Analogia: É como um gerente de restaurante que diz: "Como temos apenas 2 mesas, vamos servir o prato em três rodadas pequenas para não deixar o cliente esperando, mas garantindo que a comida chegue quente."

3. O Teste Virtual (O Simulador)

O ALADIN roda essa receita detalhada em um computador que imita perfeitamente a sua barraca (o simulador GVSoC).

• Ele diz: "Se você fizer assim, vai demorar 0,8 segundos. Se você mudar para batatas em fatias finas, vai demorar 0,5 segundos, mas o sabor fica 5% pior."
• Isso permite que o engenheiro tome decisões inteligentes: "Ok, 5% a menos de sabor é aceitável se o cliente receber o prato em tempo hábil."

Por que isso é importante? (O Diferencial)

Sem o ALADIN, os engenheiros teriam que fazer o método de "tentativa e erro" no mundo real:

1. Programam a IA.
2. Colocam no dispositivo.
3. O dispositivo trava ou demora muito.
4. Jogam fora e tentam de novo.

Isso é caro, lento e frustrante. Com o ALADIN, eles podem testar milhares de combinações de "sabor vs. velocidade" em minutos no computador, encontrando o equilíbrio perfeito antes de gastar um centavo com hardware real.

O Resultado Final

O ALADIN ajuda a criar IAs que são:

• Rápidas o suficiente para sistemas de tempo real (como carros autônomos que precisam frear em milissegundos).
• Leves o suficiente para caber em dispositivos pequenos e baratos.
• Precisas o suficiente para fazer o trabalho certo.

Em resumo, o ALADIN é a ferramenta que permite que engenheiros "cozinhem" a Inteligência Artificial perfeita para o mundo real, garantindo que ela caiba na geladeira pequena e chegue à mesa antes que o cliente fique com fome.

Resumo técnico

Título: ALADIN: Análise de Espaço de Projeto de Inferência Consciente de Precisão e Latência para Aceleradores de IA Embarcados em Tempo Real

1. Problema

A inferência de Redes Neurais Profundas (DNNs) em sistemas embarcados com recursos limitados (como dispositivos IoT) apresenta um desafio crítico: equilibrar a precisão do modelo, a latência de inferência e as limitações de hardware (memória e energia), especialmente sob restrições de tempo real estritas.

• Desafio Atual: A exploração tradicional de soluções (design-space exploration) requer a implementação e portabilidade de cada configuração candidata para o hardware alvo, seguida de ciclos demorados de implantação e avaliação. Isso resulta em uma abordagem de "tentativa e erro" que limita drasticamente o espaço de projeto que pode ser avaliado dentro de orçamentos de desenvolvimento realistas.
• Consequência: Decisões de co-design hardware-software (como dimensionamento de memória e unidades de computação) são frequentemente tomadas tardiamente, com insights quantitativos limitados, dificultando a otimização sistemática de cargas de trabalho de IA sob restrições de tempo real.

2. Metodologia

O artigo propõe o ALADIN, um framework de análise que permite avaliar trade-offs entre precisão, latência e consumo de recursos sem a necessidade de implantar o modelo no hardware físico. O fluxo de trabalho baseia-se em um processo de refinamento progressivo de modelos:

1. Modelo Consciente da Implementação (Implementation-Aware Model):

   • O ponto de partida é um modelo QONNX (Quantized ONNX) de uma Rede Neural Quântica (QNN).
   • O framework "decora" o modelo com detalhes de implementação específicos, como o uso de Tabelas de Busca (LUTs) versus cálculos diretos (MACs), e estratégias de quantização (uniforme vs. não uniforme, escalonamento diádico vs. árvores de limiar).
   • Calcula-se o custo computacional (MACs, BOPs) e o footprint de memória para cada operação, considerando transformações como im2col para convoluções.

2. Modelo Consciente da Plataforma (Platform-Aware Model):

   • O modelo anterior é refinado com base nas especificações do hardware alvo (ex: arquitetura baseada em RISC-V com cluster de núcleos, memórias L1/L2 tipo scratchpad, e L3 DRAM).
   • As operações são divididas em sub-operações granulares para permitir o agendamento (scheduling) individual.
   • O framework analisa a viabilidade de memória (se os dados cabem no scratchpad L1) e gera estratégias de tiling (divisão de dados) e double-buffering.

3. Simulação e Validação:

   • O modelo refinado é utilizado como entrada para o Dory (gerador de código C) e simulado no GVSoC (simulador de ciclo exato baseado em RISC-V).
   • Isso permite extrair métricas precisas de latência (ciclos de relógio) e uso de memória, validando as previsões teóricas.

3. Contribuições Principais

• Framework ALADIN: Uma ferramenta que conecta decisões de quantização mista (mixed-precision) e escolhas de implementação diretamente à latência de inferência e uso de recursos, sem necessidade de compilação e execução no hardware final nas fases iniciais.
• Análise de Trade-offs Quantitativa: Capacidade de prever como diferentes estratégias (ex: uso de LUTs para multiplicação, quantização de 2/4/8 bits) impactam a precisão, a latência e o footprint de memória.
• Suporte a Co-design HW-SW: Permite que arquitetos de hardware explorem como variações nos recursos (número de núcleos, tamanho da memória L2) afetam o desempenho de modelos específicos, identificando gargalos antes da fabricação do chip.
• Modelagem de Operações Complexas: Detalha como operações como convoluções (via im2col), camadas totalmente conectadas, quantização (árvores de limiar vs. escalonamento diádico) e funções de ativação são mapeadas para custos de hardware e memória.

4. Resultados Experimentais

O framework foi validado utilizando a rede MobileNetV1 no dataset CIFAR-10, simulada na plataforma GAP8 (8 núcleos RISC-V). Foram comparados três casos com diferentes configurações de precisão e implementação:

• Análise de Implementação:
  • Convoluções depthwise mostraram ser mais intensivas em MACs, mas com footprint de memória significativamente menor, tornando-as candidatas ideais para otimização via LUTs.
  • Implementações de quantização baseadas em árvores de limiar (threshold-tree) introduzem um overhead de memória comparável à quantização de 8 bits, exigindo cautela em plataformas com memória restrita.
• Análise de Desempenho:
  • Im2col: Em camadas iniciais, a redução de bits (4-bit) não trouxe ganho de velocidade devido ao overhead de bit-unpacking, mas reduziu o footprint de memória, permitindo estratégias de prefetch mais eficientes.
  • LUTs: A implementação com LUTs de 2 bits (Case 3) não apresentou o ganho de velocidade esperado em relação à de 4 bits. A análise revelou que o gargalo não era o cálculo, mas o acesso concorrente à memória L1: como a LUT era pequena e compartilhada por todos os 8 núcleos, criou-se um conflito de acesso que limitou o desempenho.
• Avaliação de Design de Hardware:
  • Um estudo de varredura (grid search) mostrou que aumentar o número de núcleos melhora o desempenho em camadas leves, mas para camadas profundas e intensivas em memória, o ganho satura após 4 núcleos.
  • Nesses casos, o aumento da capacidade da memória L2 foi o fator crítico para reduzir a latência, pois permitiu maior reutilização de dados e reduziu transferências custosas via DMA.

5. Significado e Impacto

O ALADIN representa um avanço significativo no desenvolvimento de sistemas de IA embarcados em tempo real ao:

1. Reduzir Custos e Tempo: Elimina a necessidade de múltiplos ciclos de "compilar-implantar-testar" no hardware físico durante a fase de exploração de design.
2. Revelar Tensões Ocultas: Permite detectar gargalos sutis (como contenção de memória em LUTs compartilhadas) que seriam difíceis de prever apenas com métricas de precisão ou contagem de operações.
3. Facilitar o Co-design: Fornece uma base quantitativa sólida para arquitetos tomarem decisões sobre a arquitetura do acelerador (tamanho de memória, número de núcleos) e engenheiros de software otimizarem a quantização e o agendamento simultaneamente, garantindo que os sistemas atendam a restrições rigorosas de tempo real e recursos.