DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

Resumen Técnico: DeVIT – Aceleración de Vision Transformer de Bajo Consumo mediante Computación Delta

Planteamiento del Problema
Los Vision Transformers (ViTs) han logrado un rendimiento de vanguardia en visión computacional aprovechando la autoatención para modelar dependencias de largo alcance. Sin embargo, su despliegue en dispositivos con recursos limitados se ve obstaculizado por requisitos sustanciales de computación y memoria. A diferencia de las Redes Neuronales Convolucionales (CNNs), los ViTs exhiben una complejidad cuadrática en la longitud de la secuencia para la autoatención, lo que genera cargas masivas de multiplicaciones-acumulaciones (MAC). Por ejemplo, un modelo ViT-B/16 requiere 17.6 mil millones de MACs para una sola imagen de 224×224, superando significativamente los 4.1 mil millones de MACs requeridos por ResNet-50. Aunque la cuantización (por ejemplo, de 8 bits) es un método estándar para reducir el tamaño y la complejidad del modelo, introduce una propiedad secundaria: la localidad de valores. En matrices cuantizadas de pocos bits, los pesos están restringidos a un rango limitado de valores discretos, lo que provoca que muchos pesos dentro de una fila sean idénticos o muy cercanos en valor. Los aceleradores de hardware existentes a menudo no logran explotar plenamente esta localidad para eliminar multiplicaciones redundantes, particularmente en las capas lineales densas (proyecciones y Redes de Alimentación hacia Adelante o FFN) que dominan la computación de los ViT.

Metodología: DeVIT
El artículo propone DeVIT (Vision Transformer codificado con Delta), un método de aceleración que aprovecha la computación diferencial para reemplazar las costosas multiplicaciones con operaciones de desplazamiento y suma (shift-and-add). La metodología central involucra tres pasos clave:

1. Ordenamiento de Pesos y Codificación Delta:
   En lugar de almacenar valores de peso absolutos, DeVIT ordena los pesos dentro de cada fila de la matriz de pesos en orden ascendente. Luego, almacena las diferencias ($\Delta W$) entre los pesos ordenados consecutivos en lugar de los pesos mismos.

   • Computación Delta: La multiplicación de un elemento de entrada $a$ con un peso ordenado $W_2$ se calcula como $a \times W_2 = (a \times W_1) + (a \times \Delta W)$, donde $W_1$ es el peso precedente.
   • Desplazamiento y Suma (Shift-and-Add): Debido a la localidad de valores, los valores de $\Delta W$ son típicamente pequeños (a menudo 0, 1 o 2). Estos pequeños diferenciales se aproximan como potencias de dos, permitiendo que la multiplicación $a \times \Delta W$ sea reemplazada por una simple operación de desplazamiento de bits.
   • Omisión de Delta Cero: Cuando los pesos consecutivos son idénticos, $\Delta W = 0$. El sistema omite la computación para estas instancias y reutiliza el producto parcial anterior, eliminando efectivamente las operaciones para pesos redundantes.

2. Flujo de Datos de Estacionariedad de Entrada (Input-Stationary):
   Para permitir la reutilización de los resultados de la multiplicación, DeVIT adopta un orden de ejecución de estacionariedad de entrada. Los elementos de entrada se recuperan secuencialmente y se reutilizan en todas las computaciones requeridas para una fila específica de pesos. Esto asegura que un único operando de entrada sea multiplicado por una secuencia de pesos ordenados, haciendo factible el enfoque diferencial.

3. Estrategia de Particionamiento:
   Para gestionar los tamaños de los búferes y el consumo de energía, las matrices de pesos se particionan en bloques más pequeños (por ejemplo, 64 o 16 elementos) antes de ser ordenadas y codificadas.

   • Compromisos (Trade-offs): Los particionamientos más pequeños reducen el almacenamiento requerido para los índices de destino y los búferes de salida, pero aumentan ligeramente la magnitud de los deltas (reduciendo la frecuencia de deltas cero o pequeños).
   • Codificación de Índice: Cada delta se empareja con un índice que indica su posición de columna original para restaurar el orden de salida correcto. La codificación utiliza un código delta de 4 bits (signo + magnitud de 3 bits para potencias de dos) y un ancho de índice variable dependiendo del tamaño de la partición.

Contribuciones Clave

• Aceleración Basada en Delta para ViTs: DeVIT es la primera arquitectura que adapta la computación diferencial (previamente explorada en CNNs como $\Delta$NN) específicamente para el flujo de datos denso y basado en tokens de los Vision Transformers.
• Multiplicación de Matrices sin Multiplicadores: Al transformar las matrices de pesos en formatos codificados con delta, el enfoque convierte las operaciones dominantes de GEMM (Multiplicación de Matriz General) en los ViTs en procesos básicos de desplazamiento y suma, reduciendo significativamente la complejidad del hardware.
• Optimización Consciente del Sistema: El artículo introduce un flujo de datos específico, una estrategia de particionamiento y un esquema de gestión de índices adaptados a las capas de proyección densa y de alimentación hacia adelante de los ViTs, distinguiéndose del trabajo previo centrado en la dispersión (sparsity) o mecanismos de atención.
• Implementación de Hardware: Los autores presentan un diseño RTL sintetizado en un proceso de tecnología de 15 nm, demostrando la viabilidad práctica del enfoque.

Resultos Experimentales
Los autores evaluaron DeVIT en varios benchmarks, incluyendo ViT-B/16, DeiT, Swin Transformer y DETR-ResNet-50, utilizando pesos cuantizados de 8 bits.

• Carga de Computación: DeVIT reduce la carga de computación normalizada a 0.53 de una línea base no optimizada. Esto es inferior a las configuraciones de salto de atención (0.70) y salto de FC1 (0.61) del método FACT, aunque ligeramente superior al FC2-skip (0.47) más agresivo de FACT.
• Eficiencia Energética: La energía de un solo GEMM medida para DeVIT es de 159.57 nJ. Esto es aproximadamente un 5.5% menor que la configuración de menor energía de ShiftAddLLM (168.84 nJ) incluida en la comparación.
• Precisión: El método mantiene una alta precisión con una degradación mínima. Por ejemplo, la precisión Top-1 de ViT-B/16 cae de 83.71% (FP32) a 83.48% (DeVIT $\Delta$-64). La mayor caída de precisión observada fue de 3.11 puntos porcentuales para Swin Top-1 y 2.53 puntos mAP para DETR en la configuración de partición de 32 elementos.

Significancia y Reivindicaciones
El artículo afirma que DeVIT mejora significativamente la practicidad de desplegar modelos de transformadores para tareas de procesamiento de imágenes en una gama más amplia de dispositivos al reducir tanto la carga computacional como el consumo de energía más allá de lo que es posible solo con la cuantización. Al explotar la localidad de valores mediante la computación diferencial, DeVIT simplifica las operaciones esenciales de multiplicación de matrices en las capas de los transformadores en procesos de desplazamiento y suma sin requerir una programación dinámica compleja o predicción por entrada. Los autores posicionan a DeVIT como una optimización complementaria consciente del sistema que apunta a las capas lineales densas —el principal cuello de botella en los ViTs— ofreciendo un equilibrio entre eficiencia de hardware, uso de memoria y precisión del modelo.