A 35B Hybrid-Attention Mixture-of-Experts Model on a 6GB 2011 GPU: Hand-Written 4-bit CUDA Inference for Fermi

Resumen Técnico: Inferencia de 4 bits escrita a mano para CUDA en Fermi (sm_20)

Planteamiento del Problema
El artículo aborda el desafío de ejecutar un modelo de lenguaje de gran escala (LLM) contemporáneo y de clase de vanguardia en hardware que precede a los aceleradores de inferencia modernos. Específicamente, los autores intentan ejecutar Qwen3.6-35B-A3B, un modelo de Mezcla de Expertos (MoE) de 35 mil millones de parámetros con una arquitectura híbrida de red de compuerta delta (GDN) y atención completa, en una NVIDIA Tesla C2075. Lanzada en 2011, esta GPU de generación Fermi (sm_20) posee solo 6 GB de memoria GDDR5, carece de núcleos Tensor, no tiene aritmética FP16 nativa y carece de la instrucción de producto punto entero DP4A. Crucialmente, el modelo cuantizado de 4 bits requiere aproximadamente 10.5 GB de memoria, excediendo la capacidad del dispositivo por casi un factor de dos. Además, la arquitectura híbrida del modelo incluye un estado recurrente (GDN) que complica las estrategias estándar de caché de prefijos, y el CPU host (Intel Xeon X5690) carece de instrucciones AVX, limitando las capacidades SIMD a SSSE3.

Metodología
Para superar estas limitaciones, los autores construyeron un motor de inferencia desde los principios fundamentales, evitando herramientas modernas y kernels preexistentes. La estrategia central es un modelo de ejecución híbrido que divide la carga de trabajo entre la GPU y el CPU host basándose en los cuellos de botella específicos de cada fase:

1. Híbrido GPU-Prefill / CPU-Decode:

   • Prefill (GPU): La GPU gestiona el procesamiento por lotes (batched) del prompt de entrada. Dado que los 10.5 GB del modelo no caben en los 6 GB de VRAM, los pesos de los expertos se transmiten capa por capa desde la RAM del host hacia la GPU. La GPU realiza la recurrencia GDN, la atención softmax y un GEMM de 4 bits agrupado para el enrutamiento de MoE.
   • Decode (CPU): El CPU gestiona la generación de un solo token. Transmitir pesos a través de PCIe 2.0 para un solo token es prohibitivo en términos de latencia; por lo tanto, el CPU lee los pesos de 4 bits directamente desde la RAM. Los autores implementaron un kernel de enteros W4A8 (pesos de 4 bits, activaciones de 8 bits) escrito a mano utilizando la instrucción pmaddubsw de SSSE3 para realizar sumas de productos enteros, sorteando la falta de AVX.

2. Memoria y Cuantización:

   • Cuantización: El modelo utiliza cuantización simétrica por grupos (familia Q4_0) para los pesos, junto con activaciones de 8 bits para la ruta de decodificación.
   • Poda de Expertos (Expert Pruning): Para reducir la huella de memoria residente, se aplica REAP (Router-weighted Expert Activation Pruning), eliminando el 50% de los expertos (reduciendo de 256 a 128 por capa) sin una pérdida significativa de precisión.
   • Gestión de Memoria: Los expertos se almacenan en memoria del host con bloqueo de páginas (page-locked) e intercalado NUMA para maximizar el ancho de banda y minimizar los costos de transferencia de PCIe.

3. Caché de Prefijos para Arquitecturas Recurrentes:

   • Los cachés KV estándar no pueden reutilizarse para las capas GDN porque el estado recurrente solo es válido al final de una secuencia. Los autores implementaron un caché de instantáneas indexado por posición (position-indexed snapshot cache), registrando el estado recurrente completo en los límites de los bloques. Esto permite que nuevas solicitudes reanuden la ejecución desde la instantánea válida más cercana si comparten un prefijo, en lugar de recomputar toda la secuencia.

4. Optimizaciones:

   • Fijación de Expertos (Expert Pinning): Mover los expertos a memoria con bloqueo de páginas redujo significamente el tiempo de transferencia.
   • Prefill de Paso Único (Single-Pass Prefill): Procesar todo el prompt en un solo paso (en lugar de fragmentarlo) eliminó la retransmisión redundante de expertos y maximizó el tamaño del lote de GEMM.
   • Intercalado NUMA: Distribuir la asignación de memoria entre ambos sockets de CPU mejoró ligeramente el rendimiento de la decodificación.

Contribuciones Clave

1. Motor de Ejecución Híbrido: Un sistema funcional para sm_20 que delega el prefill a la GPU (transmitiendo expertos) y el decode al CPU (SIMD de enteros), dictado por los techos de memoria y la ausencia de productos punto enteros rápidos en la GPU.
2. Ruta de Decode con SIMD de Enteros: Un kernel personalizado W4A8 que utiliza pmaddubsw y que logra velocidades de decodificación en un CPU sin AVX comparables a las librerías optimizadas modernas, triplicando el rendimiento respecto a una base escalar.
3. Caché de Prefijo Recurrente: Un mecanismo de caché novedoso para arquitecturas de red de compuerta delta que permite la reutilización de prefijos mediante instantáneas de estado, reduciendo la latencia de prefill repetido de 78s a 0.5s.
4. Suelo de Hardware Empírico: Un estudio de medición detallado que identifica los límites estructurales del hardware Fermi, incluyendo resultados negativos que definen el techo práctico de la plataforma.
5. Soporte Multimodal: Una torre de visión desarrollada desde cero y portada a sm_20 que discrimina con éxito entradas visuales, demostrando la capacidad del motor más allá del texto.

Resultados

• Reducción de Latencia: Mediante la fijación de expertos, el prefill de paso único y el intercalado NUMA, la latencia de prefill para un prompt de 947 tokens se redujo en un 34% (de 57.2s a 37.5s).
• Mejora de Rendimiento (Throughput): El kernel de decodificación SIMD de enteros aumentó el rendimiento de decodificación de 2.8 a 8.6 tokens/segundo (una mejora de aproximadamente 3×).
• Reutilización de Prefijos: Los prompts repetidos que utilizaron el caché de instantáneas vieron caer el tiempo de prefill de 78.4s a 0.5s.
• Resultados Negativos (Límites de Hardware):
  • Delegar la cabeza del modelo de lenguaje (language model head) a la GPU fue más lento (116ms → 139ms/token) debido a la latencia de PCIe 2.0.
  • El Hyper-threading (usando 24 núcleos lógicos frente a 12 físicos) fue catastrófico, aumentando la latencia a 1,722ms/token debido a la contención de recursos.
  • Nuevas reescrituras de kernels (dividiendo la recurrencia GDN o moviendo el estado a la memoria compartida) no proporcionaron beneficios o fueron ligeramente más lentas, indicando que los cuellos de botella son estructurales (GEMM de matriz delgada y recurrencia secuencial) más que ajustables.

Significancia y Reivindicaciones
Los autores declaran explícitamente que este trabajo no es un récord de velocidad ni una pretensión de un nuevo algoritmo. En su lugar, su importancia radica en:

• Rigor de Ingeniería: Demostrar qué se requiere para ejecutar un modelo MoE de clase 2026 en silicio de hace 14 años, escribiendo todo el motor a mano para una capacidad de cómputo no soportada.
• Diseño Impulsado por Restricciones: Mostrar cómo limitaciones específicas de hardware (falta de núcleos Tensor, poca VRAM, ausencia de AVX) fuerzan decisiones arquitectónicas específicas (división híbrida CPU/GPU, SIMD de enteros, caché de instantáneas).
• Realidad de los Hechos: Proporcionar un "suelo de hardware honesto" documentando qué es lo que falla (delegación, hyper-threading, reescritura de kernels), definiendo así los límites prácticos de la arquitectura Fermi.
• Viabilidad de Legado: Concluir que una sorprendente cantidad de capacidad contemporánea es alcanzable en hardware abandonado por el ecosistema de software, siempre que se esté dispuesto a cambiar la conveniencia por la optimización manual de bajo nivel.