🤖 machine learning

Neural Network Training with Approximate Logarithmic Computations

Este artículo propone un esquema de entrenamiento e inferencia de redes neuronales profundas de extremo a extremo utilizando computaciones de sistema de números logarítmicos aproximados con aritmética de punto fijo, demostrando que el procesamiento en el dominio logarítmico de 16 bits logra una precisión de clasificación dentro de aproximadamente un 1% de las bases de punto flotante al tiempo que elimina la necesidad de multiplicadores de hardware.

Autores originales: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

Publicado 2019-10-22

📖 4 min de lectura☕ Lectura para el café

Autores originales: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, las computadoras se han vuelto notablemente buenas reconociendo patrones, desde identificar un gato en una fotografía hasta comprender palabras habladas. Esta capacidad proviene de un tipo de software llamado red neuronal, la cual está diseñada para imitar la forma en que el cerebro humano procesa la información conectando muchas unidades de procesamiento simples entre sí. Para hacer que estas redes sean inteligentes, deben ser entrenadas utilizando vastas cantidades de datos, un proceso que requiere que la computadora realice miles de millones de cálculos complejos. Tradicionalmente, estos cálculos dependen en gran medida de la multiplicación, una operación que es matemáticamente sencilla pero que requiere una energía significativa y hardware especializado para realizarse rápidamente. A medida que intentamos ejecutar estos sistemas inteligentes en dispositivos más pequeños y alimentados por baterías, como teléfonos inteligentes o sensores, la fuerte demanda de multiplicación se convierte en un cuello de botella, agotando la energía y ralentizando el proceso de aprendizaje.

Un equipo de investigadores de la Universidad del Sur de California ha propuesto una forma diferente de manejar estos cálculos, una que podría hacer que el entrenamiento de estas redes sea mucho más eficiente. En lugar de realizar la multiplicación estándar requerida por los métodos tradicionales, sugieren convertir todos los números a un formato logarítmico. En este sistema, la difícil tarea de multiplicar dos números es reemplazada por la tarea mucho más simple de sumarlos. Si bien esta conversión suena prometedora, introduce un nuevo desafío: sumar números en este formato logarítmico no es tan simple como la suma estándar y usualmente requiere tablas de búsqueda complejas o aproximaciones para funcionar correctamente. Los investigadores se propusieron ver si podían simplificar estas sumas aún más, utilizando aproximaciones rudimentarias que sean fáciles de construir para el hardware, sin arruinar la precisión del resultado final.

Los investigadores desarrollaron un sistema completo donde todo el proceso de entrenamiento y prueba de una red neuronal ocurre dentro de este mundo logarítmico. Reemplazaron los pasos de multiplicación estándar con suma y manejaron las partes complicadas de la suma logarítmica utilizando dos atajos específicos. Un atajo utiliza una pequeña tabla de valores precalculados, similar a una hoja de trucos, mientras que el otro utiliza una técnica simple de desplazamiento de bits, que es una forma rápida para que las computadoras multipliquen por potencias de dos. Para probar su idea, construyeron una simulación digital de una red neuronal y la entrenaron con varios conjuntos de datos de imágenes bien conocidos, incluyendo imágenes de dígitos escritos a mano y artículos de ropa. Compararon su nuevo método logarítmico contra el método estándar de punto flotante de alta precisión que se utiliza actualmente en la mayoría de las computadoras potentes.

Los resultados fueron sorprendentemente alentadores. Cuando los investigadores utilizaron una representación de 16 bits para sus números, el método logarítmico logró una precisión de clasificación que estuvo dentro de aproximadamente un uno por ciento del método de punto flotante estándar. Esto significa que, a pesar de usar matemáticas simplificadas y aproximaciones, la red aprendió a reconocer imágenes casi tan bien como el sistema tradicional. Encontraron que incluso con una tabla de búsqueda muy pequeña que contenía solo veinte entradas, el sistema funcionó bien, y en muchos casos, el atajo simple de desplazamiento de bits fue suficiente para mantener una alta precisión. El estudio sugiere que para muchas tareas comunes, una representación de punto fijo de 16 bits en el dominio logarítmico es suficiente para acercarse al rendimiento de computaciones de punto flotante mucho más complejas.

Este trabajo demuestra que es posible entrenar redes neuronales profundas sin depender de hardware de multiplicación costoso, siempre que las operaciones de suma se manejen con estas aproximaciones específicas. Los investigadores demostraron que la degradación en la precisión es mínima, lo que sugiere que los futuros diseños de hardware podrían potencialmente eliminar los multiplicadores por completo para tareas de entrenamiento e inferencia. Esto conduciría a dispositivos que son más pequeños, más rápidos y más eficientes energéticamente, capaces de aprender y adaptarse directamente en el borde sin necesidad de enviar datos de vuelta a un servidor grande. Si bien el estudio se centró en tipos específicos de redes y conjuntos de datos, los hallazgos indican un camino viable hacia hacer que la inteligencia artificial avanzada sea más accesible y práctica para los dispositivos cotidianos.

Resumen Técnico: Entrenamiento de Redes Neuronales con Computaciones Logarítmicas Aproximadas

Planteamiento del Problema
La alta complejidad computacional asociada con el entrenamiento de redes neuronales profundas (DNN) restringe la viabilidad del entrenamiento en línea y en tiempo real en dispositivos de borde (edge devices). Si bien las Unidades de Procesamiento Gráfico (GPU) proporcionan aceleradores masivos de multiplicación-acumulación (MAC) de hardware, estas son de propósito general y pueden no utilizar el hardware de manera eficiente para el procesamiento de DNN. Los aceleradores de hardware personalizados ofrecen un camino hacia una mejor velocidad y eficiencia energética mediante el codiseño, pero el dominio de la circuitería de multiplicadores en las unidades MAC sigue siendo un cuello de botella significativo. Los métodos de reducción de complejidad existentes se centran a menudo en la dispersión (sparsity), la poda (pruning) o la cuantización, pero existe la necesidad de enfoques que reduzcan fundamentalmente la complejidad de las propias unidades MAC.

Metodología
Este artículo propone un esquema de entrenamiento e inferencia de extremo a extremo para DNN que elimina las multiplicaciones al realizar todos los cálculos en el dominio logarítmico utilizando un Sistema de Número Logarítmico (LNS). En LNS, un número real $v$ se representa mediante el logaritmo de su valor absoluto ( $V = \log_2 |v|$ ) y su signo ( $s_v$ ). Esta transformación convierte las multiplicaciones en el dominio lineal en sumas en el dominio logarítmico.

El desafío principal en LNS es la operación de suma en el dominio logarítmico, la cual requiere calcular términos $\Delta$ complejos ( $\Delta_+$ y $\Delta_-$ ) para manejar la suma de logaritmos. Para abordar esto, los autores proponen aproximaciones de baja complejidad inspiradas en técnicas compatibles con hardware:

Tablas de Búsqueda (LUTs): Tablas precomputadas para $\Delta_\pm(d)$ donde $d$ es la diferencia entre los valores logarítmicos.
Aproximaciones de Desplazamiento de Bits (Bit-Shift): Generalización de un método previo de desplazamiento de bits para manejar la aritmética con signo. Se demuestra que estas aproximaciones son casos especiales de LUTs con resoluciones específicas.

El procedimiento de entrenamiento se implementa enteramente en el dominio logarítmico utilizando representaciones de datos de punto fijo. Los autores adaptan los componentes estándar de las DNN a este dominio:

Funciones de Activación: La leaky-ReLU se traduce a una log-leaky ReLU (llReLU).
Inicialización de Pesos: Las distribuciones simétricas se convierten al dominio logarítmico, donde el signo se convierte en una variable de Bernoulli.
Soft-max: La capa soft-max y el costo de entropía cruzada se reformulan para operaciones en el dominio logarítmico.
Análisis de Punto Fijo: El artículo analiza los requisitos de ancho de bits, señalando que, si bien el análisis de peor caso sugiere que las representaciones en el dominio logarítmico requieren más bits que sus equivalentes en el dominio lineal, los resultados empíricos sugieren que pueden ser comparables.

Contribuciones Clave

Entrenamiento en Dominio Logarítmico de Extremo a Extremo: Los autores demuestran un flujo completo de entrenamiento e inferencia para DNN utilizando computaciones LNS aproximadas, eliminando la necesidad de multiplicadores.
Aproximaciones de Desplazamiento de Bits Generalizadas: El artículo extiende las aproximaciones de desplazamiento de bits existentes para manejar la aritmética con signo y establece su equivalencia con configuraciones específicas de LUT.
Implementación de Punto Fijo: Un marco integral para implementar el entrenamiento de DNN con LNS de punto fijo, incluyendo adaptaciones específicas para funciones de activación, inicialización de pesos y capas soft-max.

Resultados Experimentales
Los autores evaluaron el método propuesto en cuatro conjuntos de datos (MNIST, Fashion-MNIST, EMNIST-Digits y EMNIST-Letters) utilizando una arquitectura de Perceptrón Multicapa (MLP). Compararon implementaciones de punto fijo de 12 y 16 bits tanto en el dominio lineal como en el dominio logarítmico (usando aproximaciones tanto de LUT como de desplazamiento de bits) frente a bases de comparación de punto flotante.

Precisión: El entrenamiento basado en logaritmos de 16 bits logró una precisión de clasificación dentro de aproximadamente el 1% de las bases de comparación de punto flotante equivalentes en todos los conjuntos de datos probados.
Sensibilidad de la Aproximación: Se encontró que la capa soft-max en el dominio logarítmico es más sensible a los errores de aproximación que otras operaciones, requiriendo una LUT de mayor resolución (640 elementos) en comparación con las operaciones estándar (20 elementos).
Desempeño del Desplazamiento de Bits: Las aproximaciones simples de desplazamiento de bits, que pueden verse como equivalentes a LUTs más pequeñas, proporcionaron un buen desempeño de clasificación en muchos casos, aunque las LUTs generalmente arrojaron resultados ligeramente mejores.
Precisión: Las representaciones de punto fijo de 16 bits en el dominio logarítmico fueron suficientes para acercarse a la precisión de las computaciones de punto flotante, mostrando las implementaciones de 12 bits una degradación ligeramente mayor.

Significancia y Reclamaciones
El artículo afirma que el enfoque propuesto permite implementaciones de hardware para el entrenamiento e inferencia de DNN sin multiplicadores, reduciendo potencialmente de manera significativa la complejidad de implementación y el consumo de energía. Los autores concluyen que:

Aproximar la suma en el dominio logarítmico utilizando una operación de máximo, un sumador y una aproximación basada en LUT para el término $\Delta$ resulta en una degradación solo modesta en la precisión de la clasificación en comparación con el procesamiento lineal.
Las representaciones de punto fijo de 16 bits son suficientes para lograr un desempeño comparable al de las computaciones de punto flotante.
Una LUT de tamaño 20 es suficiente para la mayoría de las operaciones, y las aproximaciones simples de desplazamiento de bits son alternativas viables en muchos escenarios.

Los autores mantienen una postura modesta respecto al despliegue práctico, señalando que para que el enfoque sea deseable, la complejidad de implementación del circuito del sumador aproximado en el dominio logarítmico debe ser significativamente menor que la de un multiplicador. Identifican como direcciones de investigación futuras la aplicación del método a redes neuronales convolucionales más grandes y la co-optimización de las aproximaciones del término $\Delta$ tanto para la precisión como para la complejidad de hardware.

Más como este