Optimizing Binary and Ternary Neural Network Inference on RRAM Crossbars using CIM-Explorer

O artigo apresenta o CIM-Explorer, um kit de ferramentas modular que otimiza a inferência de Redes Neurais Binárias e Ternárias em matrizes RRAM por meio de uma cadeia de compilação e exploração de espaço de projeto integrada, superando as limitações de ferramentas existentes que se concentram em apenas um aspecto ou utilizam quantização de 8 bits.

O essencial

Imagine que você tem uma biblioteca gigante de livros (os dados) e um bibliotecário super inteligente (o computador) que precisa encontrar informações neles.

No mundo dos computadores de hoje, existe um problema chamado "gargalo de von Neumann". É como se o bibliotecário tivesse que correr da estante (memória) até a mesa de leitura (processador) para pegar um livro, ler uma frase, voltar à estante, pegar outro, e assim por diante. Isso gasta muita energia e demora muito.

A Computação em Memória (CIM) é a solução genial para isso: em vez de correr, o bibliotecário lê e processa os livros diretamente na estante. A tecnologia RRAM é o tipo de "estante" inteligente que faz isso, usando resistência elétrica para armazenar dados.

O problema é que essas estantes inteligentes (RRAM) são um pouco "imperfeitas". Elas podem variar de um livro para outro, esquentar e mudar de comportamento. Para lidar com isso, os cientistas decidiram usar apenas dois estados simples para os dados: Ligado (resistência baixa) e Desligado (resistência alta). Isso é como usar apenas "Sim" e "Não".

Aqui entra o CIM-Explorer, o tema deste artigo. Vamos explicar como ele funciona usando uma analogia de construção de uma casa:

1. O Problema: O Arquiteto vs. O Construtor

Antes do CIM-Explorer, existiam ferramentas separadas:

• Um arquiteto que desenhava a casa (o compilador).
• Um simulador que imaginava como a casa ficaria (o simulador).
• Um explorador que tentava encontrar o melhor terreno (DSE - Exploração de Espaço de Projeto).

O problema era que eles não conversavam entre si. O arquiteto podia desenhar algo que o simulador achava perfeito, mas que o construtor real (o chip de memória) não conseguia fazer, resultando em uma casa torta ou com telhado caindo (baixa precisão).

2. A Solução: O CIM-Explorer (O "Super-Gerente" de Obra)

Os autores criaram o CIM-Explorer, que é como um Super-Gerente de Obra que faz tudo em um só lugar. Ele integra:

• O Arquiteto (Compilador): Ele pega o projeto original (uma Rede Neural, que é como um cérebro digital) e o traduz para a linguagem que a "estante inteligente" (RRAM) entende.
• O Tradutor de Idiomas (Mapeamento): Como a estante só entende "Sim" e "Não" (ou talvez "Sim", "Não" e "Talvez"), o gerente precisa traduzir os dados complexos para esses estados simples. Ele tem várias estratégias (chamadas de "modos de computação") para fazer essa tradução da melhor forma possível.
• O Simulador de Realidade: Antes de construir a casa de verdade, ele cria uma maquete virtual. Ele simula como a casa se comportaria se o terreno fosse instável, se chovesse muito ou se os tijolos fossem um pouco tortos.

3. Como ele funciona na prática?

Imagine que você quer treinar um robô para reconhecer gatos e cachorros (isso é uma Rede Neural).

1. Treinamento: O robô aprende no computador normal.
2. Tradução (Compilação): O CIM-Explorer pega esse cérebro treinado e o "espreme" para caber na memória RRAM. Ele decide como colocar os pesos (a importância de cada característica do gato) na memória.
3. Escolha da Estratégia: O gerente testa várias formas de colocar esses pesos.
   • Estratégia A: Usa 1 tijolo por peso (mais barato, mas mais sensível a erros).
   • Estratégia B: Usa 2 tijolos para representar um peso (um para o positivo, um para o negativo), o que é mais robusto contra erros, mas gasta mais espaço.
4. Teste de Estresse (DSE): O gerente simula o robô funcionando em condições ruins (temperatura alta, tijolos defeituosos). Ele descobre: "Ah, se usarmos a Estratégia B e tivermos um conversor de sinal (ADC) de 4 bits, o robô ainda reconhece o gato perfeitamente, mesmo com defeitos!"

4. Por que isso é importante?

O CIM-Explorer permite que os cientistas e engenheiros:

• Economizem tempo e dinheiro: Em vez de fabricar um chip caro e descobrir que ele não funciona, eles simulam tudo primeiro.
• Escolham o melhor equilíbrio: Eles podem ver exatamente quantos "tijolos" (células de memória) e quanta precisão (bits) são necessários para que o robô funcione bem, sem desperdiçar recursos.
• Trabalhem com redes mais simples: Eles focam em Redes Neurais Binárias (BNN) e Ternárias (TNN), que são como "cérebros" que pensam apenas em "Sim/Não" ou "Sim/Não/Talvez". Isso é perfeito para a tecnologia RRAM, que é barata e eficiente energeticamente.

Resumo em uma frase

O CIM-Explorer é uma caixa de ferramentas inteligente que ajuda os engenheiros a projetar "cérebros digitais" que funcionam diretamente na memória do computador, garantindo que eles não fiquem confusos mesmo quando a memória é um pouco defeituosa, tudo isso antes de gastar um centavo na fabricação do chip.

É como ter um simulador de voo para pilotos de drones: você pode testar milhares de tempestades e falhas de motor no computador para garantir que, quando o drone voar de verdade, ele não caia.

Resumo técnico

Título: Otimização de Inferência de Redes Neurais Binárias e Ternárias em Crossbars RRAM usando CIM-Explorer

1. Problema

A arquitetura de von Neumann enfrenta um gargalo de desempenho e eficiência energética devido à separação entre memória e processamento. As arquiteturas de Computação em Memória (CIM), utilizando Memória Resistiva de Acesso Aleatório (RRAM), oferecem uma solução promissora ao fundir armazenamento e cálculo. No entanto, a implementação prática de CIM com RRAM enfrenta desafios significativos:

• Não-Idealidades do Hardware: Variabilidade célula-a-célula (C2C) e dispositivo-a-dispositivo (D2D), instabilidade térmica, endurance limitado e efeitos de perturbação na leitura.
• Limitações de Precisão: Devido a essas não-idealidades, os crossbars RRAM são frequentemente operados em modo binário (dois estados: Alto Resistivo - HRS e Baixo Resistivo - LRS), o que torna as Redes Neurais Binárias (BNNs) e Ternárias (TNNs) ideais para mapeamento.
• Falta de Ferramentas Integradas: Projetos de software existentes focam apenas em um aspecto isolado (compilação, simulação ou Exploração de Espaço de Design - DSE) e geralmente assumem quantização de 8 ou 16 bits, não oferecendo soluções completas para BNNs e TNNs em hardware não ideal.

2. Metodologia

Os autores apresentam o CIM-Explorer, um toolkit modular de ponta a ponta projetado para otimizar a inferência de BNNs e TNNs em crossbars RRAM. A metodologia abrange todo o fluxo de design, desde a estimativa de precisão inicial até a geração de código para chips fabricados.

O sistema é composto por quatro módulos principais (Ilustrado na Figura 1 do artigo):

1. Compilador Baseado em TVM (Tensor Virtual Machine):

   • Utiliza um frontend personalizado para o framework de treinamento Larq (suporte nativo para BNNs e TNNs).
   • Transforma redes neurais pré-treinadas em operações de Multiplicação Matriz-Vetor (MVM) otimizadas.
   • Implementa otimizações específicas para crossbar, como maximização da reutilização de pesos e suporte a batches múltiplos.
   • Realiza particionamento de loops e inserção de chamadas de API para interfaces funcionais.

2. Mapeamento e Modos de Cálculo (Compute Modes):

   • O toolkit implementa diversas técnicas de mapeamento para converter aritmética inteira (pesos/ativamentos -1, 0, +1) para aritmética digital e, subsequentemente, analógica no crossbar.
   • Abordagens de Mapeamento:
     • Diferencial: Usa duas células RRAM por valor (uma para parte positiva, outra para negativa) para lidar com pesos negativos e reduzir erros analógicos.
     • Escala Linear: Ajusta pesos e entradas para serem positivos, usando apenas uma célula por peso (mais eficiente em área, mas mais sensível a erros).
   • O compilador gera equações de correção digital e analógica para compensar offsets e não-linearidades do hardware.

3. Interfaces e Simuladores:

   • Define interfaces funcionais claras que separam o compilador do backend de execução.
   • Suporta diferentes simuladores (incluindo um simulador de crossbar analógico) e, potencialmente, hardware real.
   • Modela o conversor Analógico-Digital (ADC) considerando resolução de bits, faixa de entrada e erros de clipping (saturação) e quantização.

4. Fluxo de DSE (Exploração de Espaço de Design):

   • Automatiza a análise do impacto de parâmetros do crossbar (tamanho, variabilidade de HRS/LRS), parâmetros do ADC e estratégias de mapeamento na precisão final da inferência.

3. Principais Contribuições

• Kit de Ferramentas Integrado: O primeiro toolkit unificado que combina compilação, múltiplas estratégias de mapeamento e simulação para BNNs e TNNs em RRAM.
• Suporte a BNNs e TNNs: Diferente de ferramentas focadas em 8/16 bits, o CIM-Explorer foi projetado especificamente para redes de baixa precisão, essenciais para CIM robusto.
• Flexibilidade de Mapeamento: Oferece 6 estratégias de mapeamento para BNNs e 5 para TNNs, permitindo comparar trade-offs entre número de células por peso, ciclos de cálculo e robustez a erros.
• Interface Modular: Permite que pesquisadores substituam facilmente o compilador, o mapeador ou o simulador, facilitando a integração com novos hardwares ou algoritmos.
• Código Aberto: O toolkit e o simulador de crossbar estão disponíveis publicamente no GitHub.

4. Resultados

Os autores realizaram estudos de caso usando o CIFAR-10 e CIFAR-100 com arquiteturas como VGG-7, BinaryNet e BinaryDenseNet.

• Impacto do ADC:
  • O mapeamento BNN VI (baseado em XNOR e diferencial) apresentou a maior precisão, mantendo a acurácia original mesmo com resolução de ADC de apenas 3 bits em uma ampla faixa de fatores de clipping.
  • Mapeamentos lineares (BNN I e II) também performaram bem, enquanto o mapeamento XNOR puro (BNN V) mostrou-se o pior em termos de tolerância a erros.
• Variabilidade de Células (HRS/LRS):
  • O mapeamento BNN VI demonstrou ser o mais robusto contra variabilidade de células.
  • A variabilidade do estado HRS (alta resistência) impactou mais a precisão do que a do LRS em certos cenários, devido à assimetria na distribuição Gaussiana de correntes negativas impossíveis no hardware.
• Escalabilidade:
  • Redes maiores (como BinaryDenseNet37) mostraram-se menos sensíveis a não-linearidades do hardware do que redes menores com a mesma acurácia de base, sugerindo que modelos maiores podem ser preferíveis em hardware RRAM imperfeito.
• Comparação BNN vs. TNN:
  • Mapeamentos diferenciais para TNNs (TNN I-III) superaram os de escala linear.
  • Embora as TNNs tenham maior precisão teórica, elas são menos robustas à variabilidade do HRS do que as BNNs diferenciais, pois o valor "0" (mapeado para HRS) ocorre com mais frequência.

5. Significado e Conclusão

O CIM-Explorer preenche uma lacuna crítica no ecossistema de pesquisa de CIM, permitindo uma avaliação realista do desempenho de redes neurais binárias e ternárias antes da fabricação de chips.

• Tomada de Decisão de Design: A ferramenta permite que engenheiros determinem os requisitos mínimos de hardware (ex: resolução do ADC, tolerância à variabilidade) para atingir uma precisão alvo, evitando superdimensionamento ou falhas de design.
• Otimização de Trade-offs: Demonstra que não existe uma solução única; a escolha do mapeamento ideal depende dos parâmetros específicos do crossbar e das restrições de área/energia.
• Avanço da Comunidade: Ao fornecer um framework aberto e modular, o trabalho acelera o desenvolvimento de aceleradores de IA baseados em RRAM, facilitando a transição de modelos de treinamento para inferência em hardware não ideal.

Em suma, o artigo valida que, com o mapeamento e a compensação corretos (especialmente usando abordagens diferenciais como BNN VI), é possível alcançar alta precisão de inferência em hardware RRAM imperfeito, mesmo com resoluções de ADC muito baixas (3-4 bits).