Resumen Técnico: EVA - Aceleración de la Decodificación de LLM mediante una Arquitectura de Cuantización Vectorial Eficiente

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) sufren ineficiencias significativas en la inferencia durante la fase de decodificación autoregresiva. A diferencia de la etapa de prellenado, que utiliza operaciones de Multiplicación de Matrices Generales (GEMM) limitadas por cómputo, la decodificación genera tokens secuencialmente, resultando en una serie de operaciones de Multiplicación de Matriz-Vectores Generales (GEMV) a pequeña escala. Este cambio conduce a dos cuellos de botella principales en los aceleradores de hardware modernos:

1. Ineficiencia de Cómputo: Las operaciones GEMV subutilizan los elementos de procesamiento (PE) en aceleradores optimizados para cargas de trabajo GEMM grandes, dejando la mayoría de las vías inactivas.
2. Ineficiencia de Memoria: Aunque la Cuantización Vectorial (VQ) solo de Pesos comprime efectivamente los pesos del modelo (hasta 2 bits) para reducir el ancho de banda de memoria, el proceso de decodificación estándar requiere búsquedas en el libro de códigos. Estas búsquedas implican patrones de acceso a memoria irregulares y no concatenados que causan frecuentes conflictos de bancos de memoria, serialización y una eficiencia de caché reducida. En consecuencia, las implementaciones convencionales de VQ a menudo no superan, e incluso pueden ser más lentas que, la inferencia estándar en FP16.

2. Metodología: La Arquitectura EVA

El artículo propone EVA, una arquitectura diseñada conjuntamente para hardware y software que reestructura el proceso de decodificación VQ para eliminar tanto los cuellos de botella computacionales como los de memoria. La idea central es transformar el flujo de trabajo de decodificación de un GEMV limitado por memoria con búsquedas propensas a conflictos en un GEMM eficiente en cómputo y libre de conflictos.

A. Reformulación Algorítmica: De GEMV a GEMM

EVA introduce una reformulación en dos pasos del cálculo de decodificación:

1. Productos Puntos Entrada-Libro de Códigos (GEMV $\to$ GEMM): En lugar de reconstruir la matriz de pesos completa a partir de índices y luego realizar GEMV, EVA calcula directamente los productos punto entre los vectores de activación de entrada y el Libro de Códigos de Pesos (WC).
   • La entrada se remodela en vectores de tamaño $d$.
   • Estos vectores se multiplican por el WC (que contiene $2^n$ centroides) para generar un Libro de Códigos de Salida (OC) intermedio.
   • Esto transforma la operación de $M=1$ GEMV a un GEMM compacto ($O = X \times B$), aumentando significativamente la intensidad aritmética y el paralelismo.
2. Búsqueda Libre de Conflictos: La salida final se obtiene buscando valores en el OC utilizando la matriz de Índices de Pesos (WI).
   • A diferencia de la VQ estándar donde las búsquedas en el WC causan conflictos de bancos, el OC está estructurado de tal manera que diferentes filas (derivadas de diferentes vectores de entrada) se mapean a diferentes bancos de memoria.
   • Esto asegura que los accesos simultáneos a índices (por ejemplo, índices 5 y 3) se mapeen a bancos distintos, eliminando por completo los conflictos de memoria.

B. Arquitectura de Hardware

EVA implementa esta reformulación en un acelerador especializado:

• Unidad GEMM de Precisión Mixta Reconfigurable: El núcleo utiliza una matriz sístólica que soporta tanto INT8 (para la etapa de prellenado) como FP16 (para la decodificación VQ). Logra esto reconfigurando una matriz de $32 \times 32$ INT8 en una matriz de $32 \times 8$ FP16, descomponiendo las multiplicaciones FP16 en cuatro operaciones INT8. Esto permite cambiar sin problemas entre los modos de prellenado y decodificación sin duplicar el hardware.
• Unidad de Epílogo (EU): Una unidad dedicada y ligera maneja las operaciones posteriores al GEMM. Realiza búsquedas libres de conflictos en el OC y acumula los resultados utilizando árboles de sumadores. La EU está diseñada para ser escalable y opera en paralelo con la tubería GEMM para ocultar la latencia.
• Estrategia de Fragmentación: La arquitectura emplea un enfoque de pesos estacionarios donde el Libro de Códigos de Pesos y el Libro de Códigos de Salida permanecen en el chip, mientras que los tensores de entrada e índice se transmiten en fragmentos. Esto minimiza el tráfico de memoria fuera del chip.

3. Contribuciones Clave

1. Formulación GEMM Impulsada por Libro de Códigos: El artículo propone una reformulación matemática novedosa que reemplaza la decodificación de pesos con productos punto directos entrada-libro de códigos. Esto cambia el paradigma de decodificación de GEMV limitado por memoria a GEMM eficiente en cómputo.
2. Búsqueda en Libro de Códigos de Salida Libre de Conflictos: Se desarrolla un mecanismo que reorganiza el acceso a la memoria para eliminar conflictos de bancos, una limitación principal de los métodos de cuantización basados en búsquedas existentes.
3. Arquitectura Co-Optimizada para Hardware y Software: EVA está diseñada específicamente para la decodificación de LLM manteniendo la compatibilidad con la ejecución convencional de prellenado. Cuenta con una matriz sístólica reconfigurable y una unidad de epílogo especializada para maximizar la utilización en diferentes precisiones de cuantización.

4. Resultados Experimentales

Los autores evaluaron EVA utilizando los modelos LLaMA-1, LLaMA-2, LLaMA-3, Mixtral-8x7B y Qwen3-30B-A3B frente a líneas base del estado del arte (Matriz Sístólica, ANT, FIGNA y FIGLUT) en un proceso TSMC de 28 nm a 500 MHz.

• Aceleración: EVA logra una aceleración de hasta 11.17× en la latencia de decodificación en comparación con la arquitectura basada en búsquedas del estado del arte (FIGLUT).
• Eficiencia Energética: EVA demuestra una eficiencia energética 7.17× mayor en comparación con FIGLUT.
• Precisión: EVA preserva la precisión aritmética después de la cuantización vectorial. A una precisión de 2 bits, EVA (usando AQLM) mantiene una precisión competitiva, superando a las líneas base no analíticas como GPTQ por márgenes significativos (por ejemplo, ~19 puntos porcentuales en promedio en diversos puntos de referencia aguas abajo para 2 bits).
• Rendimiento de Extremo a Extremo: En conjuntos de datos pesados en decodificación (por ejemplo, Dolly), EVA logra una aceleración de extremo a extremo promedio de 8.20× a 24.49× sobre las líneas base.

5. Significado y Afirmaciones

El artículo afirma que EVA representa un cambio fundamental en la forma en que se ejecuta la inferencia de LLM cuantizados vectorialmente en hardware. Al abordar las causas raíz de la ineficiencia, específicamente la subutilización de GEMV y los conflictos de bancos de memoria inherentes a la cuantización basada en búsquedas, EVA permite el despliegue práctico de modelos altamente comprimidos (2 bits) sin sacrificar la velocidad de inferencia.

Los autores enfatizan que su enfoque es agnóstico al algoritmo con respecto al método de cuantización específico (por ejemplo, AQLM, GPTVQ), pero se basa en las propiedades estructurales de la cuantización vectorial. Afirman que EVA es el primer acelerador a nivel de arquitectura diseñado específicamente para resolver los cuellos de botella del sistema de memoria de la inferencia de LLM cuantizados vectorialmente, ofreciendo una solución escalable que cierra la brecha entre la compresión agresiva de modelos y la ejecución de hardware de alto rendimiento.