🤖 machine learning

Neural Network Training with Approximate Logarithmic Computations

Este artigo propõe um esquema de treinamento e inferência de rede neural profunda de ponta a ponta usando computações de sistema de números logarítmicos aproximados com aritmética de ponto fixo, demonstrando que o processamento em domínio logarítmico de 16 bits alcança uma precisão de classificação dentro de aproximadamente 1% das bases de ponto flutuante, ao mesmo tempo em que elimina a necessidade de multiplicadores de hardware.

Autores originais: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

Publicado 2019-10-22

📖 4 min de leitura☕ Leitura rápida

Autores originais: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno, os computadores tornaram-se extraordinariamente bons em reconhecer padrões, desde identificar um gato em uma fotografia até compreender palavras faladas. Essa habilidade provém de um tipo de software chamado rede neural, que é projetada para imitar a maneira como o cérebro humano processa informações, conectando muitas unidades de processamento simples entre si. Para tornar essas redes inteligentes, elas devem ser treinadas usando vastas quantidades de dados, um processo que exige que o computador realize bilhões de cálculos complexos. Tradicionalmente, esses cálculos dependem fortemente da multiplicação, uma operação que é matematicamente direta, mas que requer energia significativa e hardware especializado para ser realizada rapidamente. À medida que tentamos executar esses sistemas inteligentes em dispositivos menores, alimentados por bateria, como smartphones ou sensores, a alta demanda por multiplicação torna-se um gargalo, drenando energia e retardando o processo de aprendizado.

Uma equipe de pesquisadores da University of Southern California propôs uma maneira diferente de lidar com esses cálculos, uma que poderia tornar o treinamento dessas redes muito mais eficiente. Em vez de realizar a multiplicação padrão exigida pelos métodos tradicionais, eles sugerem converter todos os números para um formato logarítmico. Neste sistema, a tarefa difícil de multiplicar dois números é substituída pela tarefa muito mais simples de somá-los. Embora essa conversão pareça promissora, ela introduz um novo desafio: somar números neste formato logarítmico não é tão simples quanto a adição padrão e geralmente requer tabelas de consulta complexas ou aproximações para funcionar corretamente. Os pesquisadores buscaram verificar se poderiam simplificar ainda mais essas adições, usando aproximações grosseiras que sejam fáceis de serem construídas pelo hardware, sem arruinar a precisão do resultado final.

Os pesquisadores desenvolveram um sistema completo onde todo o processo de treinamento e teste de uma rede neural acontece dentro deste mundo logarítmico. Eles substituíram as etapas de multiplicação padrão por adição e lidaram com as partes complicadas da adição logarítmica usando dois atalhos específicos. Um atalho utiliza uma pequena tabela de valores pré-calculados, semelhante a uma folha de consulta, enquanto o outro utiliza uma técnica simples de deslocamento de bits (bit-shifting), que é uma forma rápida de computadores multiplicarem por potências de dois. Para testar sua ideia, eles construíram uma simulação digital de uma rede neural e a treinaram em vários conjuntos de dados de imagens bem conhecidos, incluindo fotos de dígitos manuscritos e itens de vestuário. Eles compararam seu novo método logarítmico com o método padrão de ponto flutuante de alta precisão que é atualmente usado na maioria dos computadores potentes.

Os resultados foram surpreendentemente encorajadores. Quando os pesquisadores usaram uma representação de 16 bits para seus números, o método logarítmico alcançou uma precisão de classificação que ficou a cerca de um por cento do método de ponto flutuante padrão. Isso significa que, apesar de usar matemática simplificada e aproximações, a rede aprendeu a reconhecer imagens quase tão bem quanto o sistema tradicional. Eles descobriram que, mesmo com uma tabela de consulta muito pequena contendo apenas vinte entradas, o sistema teve um bom desempenho e, em muitos casos, o atalho simples de deslocamento de bits foi suficiente para manter a alta precisão. O estudo sugere que, para muitas tarefas comuns, uma representação de ponto fixo de 16 bits no domínio logarítmico é suficiente para se aproximar do desempenho de computações de ponto flutuante muito mais complexas.

Este trabalho demonstra que é possível treinar redes neurais profundas sem depender de hardware de multiplicação caro, desde que as operações de adição sejam tratadas com essas aproximações específicas. Os pesquisadores mostraram que a degradação na precisão é mínima, sugerindo que futuros designs de hardware poderiam potencialmente eliminar multiplicadores inteiramente para tarefas de treinamento e inferência. Isso levaria a dispositivos menores, mais rápidos e mais eficientes energeticamente, capazes de aprender e se adaptar diretamente na borda (edge) sem a necessidade de enviar dados de volta para um servidor grande. Embora o estudo tenha se concentrado em tipos específicos de redes e conjuntos de dados, as descobertas indicam um caminho viável para tornar a inteligência artificial avançada mais acessível e prática para dispositivos do cotidiano.

Resumo Técnico: Treinamento de Redes Neurais com Computações Logarítmicas Aproximadas

Declaração do Problema
A alta complexidade computacional associada ao treinamento de redes neurais profundas (DNNs) restringe a viabilidade de treinamento online e em tempo real em dispositivos de borda (edge devices). Embora as Unidades de Processamento Gráfico (GPUs) forneçam aceleradores massivos de hardware para multiplicação-acumulação (MAC), elas são de propósito geral e podem não utilizar o hardware de forma eficiente para o processamento de DNNs. Aceleradores de hardware customizados oferecem um caminho para melhorar a velocidade e a eficiência energética através de co-design, mas a dominância da circuiteria de multiplicadores nas unidades MAC continua sendo um gargalo significativo. Métodos existentes de redução de complexidade frequentemente focam em esparsidade, poda (pruning) ou quantização, mas há uma necessidade de abordagens que reduzam fundamentalmente a complexidade das próprias unidades MAC.

Metodologia
Este artigo propõe um esquema de treinamento e inferência de ponta a ponta para DNNs que elimina multiplicações ao realizar todas as computações no domínio logarítmico usando um Sistema de Número Logarítmico (LNS). Em LNS, um número real $v$ é representado pelo logaritmo de seu valor absoluto ( $V = \log_2 |v|$ ) e seu sinal ( $s_v$ ). Esta transformação converte multiplicações no domínio linear em adições no domínio logarítmico.

O principal desafio no LNS é a operação de adição no domínio logarítmico, que requer o cálculo de termos $\Delta$ complexos ( $\Delta_+$ e $\Delta_-$ ) para lidar com a soma de logaritmos. Para resolver isso, os autores propõem aproximações de baixa complexidade inspiradas em técnicas amigáveis ao hardware:

Tabelas de Busca (LUTs): Tabelas pré-computadas para $\Delta_\pm(d)$ , onde $d$ é a diferença entre os valores logarítmicos.
Aproximações por Deslocamento de Bits (Bit-Shift): Generalização de um método anterior de deslocamento de bits para lidar com aritmética com sinal. Estas aproximações são mostradas como casos especiais de LUTs com resoluções específicas.

O procedimento de treinamento é implementado inteiramente no domínio logarítmico usando representações de dados de ponto fixo. Os autores adaptam componentes padrão de DNN para este domínio:

Funções de Ativação: A leaky-ReLU é traduzida para uma log-leaky ReLU (llReLU).
Inicialização de Pesos: Distribuições simétricas são convertidas para o domínio logarítmico, onde o sinal torna-se uma variável de Bernoulli.
Soft-max: A camada soft-max e o custo de entropia cruzada são reformulados para operações no domínio logarítmico.
Análise de Ponto Fixo: O artigo analisa os requisitos de largura de bits, observando que, embora a análise de pior caso sugira que representações no domínio logarítmico exijam mais bits do que equivalentes no domínio linear, resultados empíricos sugerem que elas podem ser comparáveis.

Principais Contribuições

Treinamento de Ponta a Ponta no Domínio Logarítmico: Os autores demonstram um pipeline completo de treinamento e inferência para DNNs usando computações LNS aproximadas, removendo a necessidade de multiplicadores.
Aproximações de Deslocamento de Bits Generalizadas: O artigo estende as aproximações de deslocamento de bits existentes para lidar com aritmética com sinal e estabelece sua equivalência a configurações específicas de LUT.
Implementação de Ponto Fixo: Um framework abrangente para implementar o treinamento de DNN com LNS de ponto fixo, incluindo adaptações específicas para funções de ativação, inicialização de pesos e camadas soft-max.

Resultados Experimentais
Os autores avaliaram o método proposto em quatro conjuntos de dados (MNIST, Fashion-MNIST, EMNIST-Digits e EMNIST-Letters) usando uma arquitetura de Perceptron Multicamadas (MLP). Eles compararam implementações de ponto fixo de 12 e 16 bits tanto no domínio linear quanto no domínio logarítmico (usando tanto aproximações por LUT quanto por deslocamento de bits) contra bases de comparação de ponto flutuante.

Acurácia: O treinamento baseado em log de 16 bits alcançou acurácia de classificação dentro de aproximadamente 1% das bases de comparação de ponto flutuante equivalentes em todos os conjuntos de dados testados.
Sensibilidade de Aproximação: Descobriu-se que a camada soft-max no domínio logarítmico é mais sensível a erros de aproximação do que outras operações, exigindo uma LUT de maior resolução (640 elementos) em comparação com as operações padrão (20 elementos).
Desempenho de Deslocamento de Bits: Aproximações simples de deslocamento de bits, que podem ser vistas como equivalentes a LUTs menores, forneceram bom desempenho de classificação em muitos casos, embora as LUTs geralmente tenham gerado resultados ligeiramente melhores.
Precisão: Representações de ponto fixo de 16 bits no domínio logarítmico foram suficientes para se aproximar da acurácia de computações de ponto flutuante, com implementações de 12 bits mostrando uma degradação ligeiramente maior.

Significância e Alegações
O artigo afirma que a abordagem proposta permite implementações de hardware de treinamento e inferência de DNN sem multiplicadores, potencialmente reduzindo significativamente a complexidade de implementação e o consumo de energia. Os autores concluem que:

A aproximação da adição no domínio logarítmico usando uma operação de máximo, um somador e uma aproximação baseada em LUT para o termo $\Delta$ resulta em apenas uma modesta degradação na acurácia de classificação em comparação ao processamento linear.
Representações de ponto fixo de 16 bits são suficientes para alcançar desempenho comparável ao de computações de ponto flutuante.
Uma LUT de tamanho 20 é suficiente para a maioria das operações, e aproximações simples de deslocamento de bits são alternativas viáveis em muitos cenários.

Os autores mantêm uma postura modesta quanto ao deployment prático, observando que, para a abordagem ser desejável, a complexidade de implementação de circuito do somador aproximado no domínio logarítmico deve ser significativamente menor que a de um multiplicador. Eles identificam como direções de pesquisas futuras a aplicação do método em redes neurais convolucionais maiores e a co-otimização de aproximações do termo $\Delta$ tanto para acurácia quanto para complexidade de hardware.

Mais como este