Multibit neural inference in a N-ary crossbar architecture

1. Declaração do Problema

As arquiteturas convencionais de computação von Neumann enfrentam limitações fundamentais de eficiência, especificamente o "gargalo de von Neumann" (movimento de dados entre memória e CPU) e a "parede de memória" (lacunas de velocidade entre processadores e memória). Essas questões são exacerbadas pelas demandas de energia e latência dos modelos de IA modernos. Embora a Computação em Memória (IMC) usando arrays de crossbar ofereça uma solução ao realizar Multiplicações Matriz-Vetor (MVM) analógicas diretamente dentro da memória, vários desafios permanecem:

• Interface Analógico-Digital: A conversão de entradas digitais para sinais analógicos (DAC) e de saídas analógicas de volta para digitais (ADC) introduz sobrecarga energética significativa e erros de quantização.
• Não Idealidades dos Dispositivos: Dispositivos memristivos do mundo real (por exemplo, MRAM, RRAM) sofrem com erros sistemáticos (variações de dispositivo para dispositivo, defeitos de fabricação) e ruído aleatório (flutuações térmicas).
• Quantização: Mapear pesos de redes neurais de precisão total para os estados de resistência discretos limitados das células de hardware introduz erro de quantização, o que degrada a precisão da inferência.
• Falta de um Framework Geral: Abordagens existentes frequentemente acoplam rigidamente a física do hardware com o treinamento da rede, limitando a modularidade e a generalização para diferentes implementações de hardware.

2. Metodologia

Os autores propõem um framework de simulação para arquiteturas de crossbar $N$-árias (onde as células possuem mais de 2 estados distintos) que recupera resultados de MVM com suposições mínimas sobre a física subjacente.

• Modelo de Arquitetura e Dispositivo:

  • O framework simula um array de crossbar usando Junções de Túnel Magnético Multieestado (M2TJs) com 4 estados de resistência distintos, baseados em dados de estudos anteriores [29, 30].
  • A operação de MVM é modelada usando as leis de Ohm e Kirchhoff: Tensões de entrada ($V$) multiplicadas por condutâncias de célula ($G$) geram correntes, que são somadas para produzir tensões de saída.
  • O framework assume codificação linear das entradas e níveis de resistência equidistantes, permitindo a recuperação do resultado de MVM ($\tilde{y}$) via uma equação de escala linear (Eq. 13) aplicada ao vetor de saída medido. Isso permite que o crossbar funcione como um coprocessor autônomo sem modificar o pipeline de inferência.

• Quantização de Pesos:

  • Pesos de precisão total são quantizados em $N$ níveis equidistantes ($A_i$) para minimizar a distância quadrada entre pesos originais e valores quantizados (semelhante a $k$-means, mas com espaçamento fixo).
  • A otimização do primeiro estado ($A_1$) e do tamanho do passo ($d$) é realizada usando o método de minimização de Powell.

• Modelagem de Erros:

  • Erros Sistemáticos: Modelados como um deslocamento aleatório compartilhado ($\sigma_{NL}$) aplicado a todas as células, simulando defeitos de fabricação (por exemplo, desalinhamento de camadas ferromagnéticas).
  • Erros Específicos da Célula: Modelados como deslocamentos aleatórios independentes ($\sigma_{\perp}$) para cada célula, simulando ruído térmico e variações de dispositivo.
  • Erro de Quantização: Analisado variando o número de estados ($N$) de 1 a 64.

• Benchmarks:

  • Tarefa XOR: Uma rede neural simples de 2 camadas treinada para resolver o problema XOR para verificar capacidades básicas de separação não linear.
  • Tarefa MNIST: Uma tarefa padrão de classificação de dígitos (784 neurônios de entrada, 128 ocultos, 10 de saída).
  • Redução de Dimensionalidade: Análise de Componentes Principais (PCA) foi aplicada à entrada do MNIST para reduzir a dimensionalidade de 784 para 87, simulando o uso de arrays de crossbar menores.

3. Contribuições Principais

1. Framework de Recuperação Generalizado: Desenvolveu um método para extrair resultados de MVM de saídas analógicas de crossbar usando apenas sinais de entrada e saídas medidas, sem exigir que a física do hardware seja incorporada no loop de treinamento.
2. Análise de Fontes de Erro: Isolou e quantificou sistematicamente o impacto do erro de quantização, das não idealidades sistemáticas e do ruído aleatório específico da célula na precisão da inferência.
3. Demonstração do Efeito de Média: Provou que o ruído aleatório específico da célula é menos prejudicial do que erros sistemáticos de mesma magnitude, porque erros aleatórios se anulam em média através do array, enquanto erros sistemáticos se acumulam.
4. Determinação de Estados Ótimos: Identificou um número ótimo de estados por célula ($N_{opt}$) que equilibra a redução do erro de quantização contra a perda de resolução de estados de resistência em ambientes ruidosos.
5. Leis de Escala: Estabeleceu como o erro de MVM escala com as dimensões do array, mostrando que o erro é constante com o número de linhas, mas escala com a raiz quadrada do número de colunas.

4. Resultados

• Inferência XOR: O array de crossbar simulado alcançou resultados equivalentes à linha de base de software totalmente digital, confirmando que o framework preserva as propriedades do modelo aprendido.
• Classificação MNIST:
  • Linha de Base: A precisão apenas de software foi de 97,56%.
  • Crossbar (array 4x4, 4 estados): Alcançou precisão de 94,48%. A queda de 3,08% foi atribuída principalmente à quantização de pesos.
  • Com PCA: Reduzir a dimensionalidade de entrada para 87 características melhorou a linha de base de software para 98,03% e a inferência do crossbar para 95,24%, estreitando a lacuna hardware-software para 2,79%.
• Quantização vs. Estados ($N$): O Erro Quadrático Médio (RMSE) seguiu uma tendência clara de $1/N$. Aumentar o número de estados reduz significativamente o erro de quantização, mesmo com $N$ pequeno (por exemplo, $N=3$ ou $4$).
• Impacto do Ruído:
  • O RMSE aumentou linearmente com as magnitudes de erro sistemático ($\sigma_{NL}$) e específico da célula ($\sigma_{\perp}$).
  • No entanto, a inclinação para ruído específico da célula foi mais rasa devido ao efeito de média.
• Estados Ótimos ($N_{opt}$):
  • Em ambientes de baixo ruído, $N$ mais alto é preferido para minimizar o erro de quantização.
  • Em ambientes de alto ruído ($\sigma_{\perp} > 100 \Omega$), $N_{opt}$ diminui porque a resolução entre estados torna-se muito baixa para distingui-los de forma confiável.
  • Crucialmente, o sistema permaneceu robusto; mesmo com ruído significativo, o uso de $N > 4$ estados foi frequentemente benéfico em comparação com implementações binárias.

5. Significado

Este trabalho fornece uma ponte crítica entre conceitos teóricos de IMC e implementação prática de hardware.

• Co-Design Hardware-Software: Demonstra que algoritmos especializados (como PCA) podem mitigar efetivamente limitações de hardware (tamanho pequeno do array), tornando a tecnologia atual de crossbar viável para tarefas complexas.
• Diretrizes de Projeto: A identificação de um número ótimo de estados ($N_{opt}$) dependente dos níveis de ruído oferece uma regra de projeto concreta para futuros desenvolvedores de chips memristivos. Sugere que, em ambientes ruidosos, menos estados, mas mais robustos, podem ser superiores a muitos estados de alta granularidade.
• Robustez de Sistemas Multibit: As descobertas validam que arrays de crossbar multibit ($N$-ários) são superiores aos binários mesmo com dispositivos imperfeitos, desde que o número de estados seja ajustado ao perfil de ruído específico do hardware.
• Modularidade: Ao desacoplar o processo de recuperação de hardware da fase de treinamento, o framework facilita a integração de diversas tecnologias memristivas em pipelines padrão de IA sem retreinar as redes neurais.

Em conclusão, o artigo estabelece que a IMC multibit é um caminho viável para inferência de IA energeticamente eficiente, desde que estratégias de quantização e características de ruído do dispositivo sejam cuidadosamente gerenciadas através do framework proposto.