Resumen Técnico: TileQ - Cuantización de Bajo Rango Eficiente para Mezclas de Expertos con Tiling 2D

1. Declaración del Problema

Los modelos de Mezcla de Expertos (MoE) se han convertido en un paradigma dominante para escalar los Modelos de Lenguaje Grandes (LLM) activando de forma dispersa sub-redes especializadas llamadas "expertos". Aunque esta arquitectura reduce los costos computacionales durante la inferencia, introduce un cuello de botella crítico de memoria: todo el conjunto de parámetros de los expertos debe permanecer residente en memoria, incluso cuando solo un pequeño subconjunto está activo por token. Esta gran huella de memoria limita severamente el despliegue en hardware con recursos restringidos y aumenta los costos de inferencia en la nube.

Los métodos existentes de Cuantización Post-Entrenamiento (PTQ), particularmente los enfoques de bajo rango, ofrecen una vía para la compresión. Sin embargo, los métodos actuales del estado del arte enfrentan tres limitaciones significativas al aplicarse a modelos MoE:

1. Degradación de la Precisión: Los esquemas de cuantización simples sufren caídas severas de rendimiento en anchos de bits extremadamente bajos (por ejemplo, 2 bits).
2. Sobrecarga de Memoria: Los PTQ de bajo rango tradicionales a menudo incurren en una sobrecarga de memoria adicional no despreciable debido al almacenamiento de factores de bajo rango para cada experto de forma independiente o al uso de estrategias de compartición 1D que no explotan plenamente la redundancia entre expertos.
3. Latencia de Inferencia: Los métodos de cuantización de alta precisión a menudo introducen una latencia significativa. En modelos MoE, donde los expertos son pequeños y dispersos, la sobrecarga de gestionar matrices de bajo rango disjuntas para cada experto puede degradar la velocidad de inferencia en más del 50%, anulando los beneficios de la dispersión.

Además, los métodos basados en ajuste fino (como LoRA) degradan la generalización del modelo y no son adecuados para la adaptación rápida a tareas sin reentrenamiento. El objetivo es lograr alta precisión y ratios de compresión con una latencia de inferencia mínima sin necesidad de ajuste fino.

2. Metodología: TILEQ

Los autores proponen TILEQ, un método PTQ sin ajuste fino que emplea cuantización de bajo rango estructurada con tiling 2D. La innovación central reside en compartir factores de bajo rango a través de las dimensiones de entrada y salida de los expertos MoE, en lugar de tratar a los expertos de forma independiente o compartir solo a lo largo de una sola dimensión.

2.1. Cuantización de Bajo Rango Estructurada con Tiling 2D

El método aproxima la matriz de pesos $W_k$ de cada experto $k$ organizando todos los $K$ expertos en una disposición de mosaico 2D. Esto permite compartir factores de bajo rango $U$ y $V$ a través de la cuadrícula.

El proceso implica cinco pasos clave:

1. Escalar: Se aplica una matriz de escalado diagonal a la matriz de pesos de cada experto basada en datos de calibración para alinear los vectores singulares con los espacios de características de entrada/salida.
2. Extraer: Se extraen factores SVD aproximados de rango-$r_0$ ($U_k, V_k$) para cada experto escalado. Estos se vectorizan y normalizan para crear incrustaciones de características.
3. Agrupar: Se aplica un algoritmo de biclustering (K-Means) a las incrustaciones normalizadas para asignar cada experto a una coordenada de cuadrícula ideal $(m, n)$ en una cuadrícula de mosaico $M \times N$. Esto agrupa expertos con subespacios singulares similares.
4. Colocación con Tiling 2D: Para resolver conflictos donde múltiples expertos se mapean al mismo mosaico, se utiliza una estrategia de asignación espacial codiciosa. Esto minimiza la distancia entre la posición ideal del clúster de un experto y su posición física real del mosaico. Luego, los expertos se colocan en una gran matriz de bloques $W_{big}$.
5. Cuantizar: La gran matriz de mosaico $W_{big}$ experimenta una descomposición global de bajo rango (aproximada mediante Sketching Gaussiano para evitar SVD costoso). Los factores de bajo rango compartidos resultantes ($U, V, \Sigma$) se almacenan, y el error residual para cada experto se cuantiza utilizando métodos conscientes del Hessiano (GPTQ/GPTVQ) y técnicas de rotación (LOPRO).

Insight Técnico Clave: Al estructurar los expertos en una cuadrícula 2D, TILEQ permite que los expertos en la misma fila compartan una base izquierda (espacio de salida) y que los expertos en la misma columna compartan una base derecha (espacio de entrada). Esto reduce significativamente la sobrecarga de almacenamiento en comparación con los métodos de compartición 1D o elemento a elemento.

2.2. Inferencia Dispersa de Bajo Rango Fusionada Eficiente

Para abordar el cuello de botella de latencia, TILEQ introduce LoTileMoE, un algoritmo de inferencia que fusiona múltiples cálculos de expertos de bajo rango en una operación de un solo paso.

• Mecanismo: En lugar de realizar un despacho disperso irregular por token para cada experto, el algoritmo proyecta todo el lote de entrada sobre el factor izquierdo compartido $(U\Sigma)$ una vez. Luego, remodela esta proyección en un tensor 3D, aplica pesos de enrutamiento para seleccionar los mosaicos activos y realiza una única multiplicación de matrices por lotes con el factor derecho compartido $V$.
• Optimización: El método evita construir explícitamente grandes tensores intermedios 3D utilizando un búfer de acumulación in situ. Esto reemplaza los accesos a memoria irregulares con operaciones de tensores densos regulares (GEMM) altamente optimizadas en hardware moderno (GPUs/TPUs).
• Complejidad: El enfoque reduce la complejidad de manejar $K$ GEMM pequeños separados a dos GEMM grandes y bien formados, mejorando significativamente la utilización del hardware y reduciendo la sobrecarga de lanzamiento de kernels.

3. Contribuciones Clave

1. PTQ de Bajo Rango con Tiling 2D: Un método de cuantización novedoso y sin ajuste fino que aprovecha la similitud entre expertos mediante tiling 2D para habilitar representaciones compartidas eficientes a través de las dimensiones de entrada y salida, logrando ratios de compresión más altos que los métodos de compartición 1D o independientes.
2. Algoritmo de Inferencia Fusionada: Una técnica de inferencia optimizada (LoTileMoE) que fusiona los cálculos de expertos de bajo rango en una operación de un solo paso, eliminando la sobrecarga de latencia asociada con el despacho disperso de expertos en modelos MoE.
3. Eficiencia de Rendimiento: El método logra una precisión de cuantización del estado del arte mientras reduce el uso de memoria extra de bajo rango hasta en un 10$\times$ y la latencia de inferencia a aproximadamente el 5% de la sobrecarga de la línea base, sin requerir ajuste fino.

4. Resultados Experimentales

Los autores evaluaron TILEQ en varios modelos MoE representativos, incluidos Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B y Deepseek-MoE-16B.

• Precisión: TILEQ demuestra robustez bajo configuraciones de bits extremadamente bajos (2 bits y 3 bits).
  • En Mixtral-8$\times$7B a 2 bits, TILEQ logra una perplejidad de 4.78, superando significativamente a GPTQ (15.3) y GPTVQ (5.28).
  • A 3 bits, TILEQ se acerca al rendimiento FP16 (por ejemplo, perplejidad 4.10 frente a 3.87 para FP16 en Mixtral) y logra puntuaciones MMLU comparables a modelos sin cuantizar.
  • Supera consistentemente a líneas base como GPTQ, GPTVQ, MOEQUANT y LOPRO en diversas tareas posteriores (ARC, PIQA, Winogrande, MMLU, HellaSwag).
• Eficiencia de Memoria: TILEQ reduce la sobrecarga de memoria adicional requerida para factores de bajo rango hasta en un 90% (reducción de 10$\times$) en comparación con los métodos por experto. Por ejemplo, en Qwen3-30B-A3B, logra una reducción de 8$\times$ en la sobrecarga de memoria en comparación con la cuantización de bajo rango por experto.
• Latencia de Inferencia:
  • Prefill: TILEQ reduce la latencia a menos del 5% al reemplazar el despacho disperso irregular con GEMM estructurados.
  • Decode: A pesar de estar limitado por la memoria, TILEQ mantiene una latencia baja (alrededor de un 5-10% de sobrecarga) utilizando diseños de pesos contiguos y acceso vectorizado, mientras que los métodos elemento a elemento y compartidos 1D sufren aumentos de latencia del 15-75%.
• Estudios de Ablación: Los experimentos confirman que el mecanismo de tiling 2D es el principal impulsor del rendimiento, ya que eliminarlo aumenta los requisitos de ancho de bits en 8$\times$ mientras mantiene una precisión similar. El método es escalable en modelos con variaciones en dispersión y tamaños de expertos.

5. Significado y Afirmaciones

El artículo afirma que TILEQ proporciona una solución escalable y amigable con el hardware para desplegar modelos MoE bajo estrictas restricciones de memoria y computación. Al estructurar conjuntamente a los expertos en una disposición de tiling 2D y fusionar las operaciones de inferencia, TILEQ supera las compensaciones entre precisión, compresión y latencia que afectan a los métodos existentes de PTQ de bajo rango.

Los autores enfatizan que TILEQ sirve como una extensión ligera y de propósito general para marcos PTQ existentes (como GPTQ), permitiendo el despliegue de modelos MoE dispersos de próxima generación sin necesidad de ajuste fino o reentrenamiento computacionalmente costoso. El método es particularmente significativo para escenarios que requieren cuantización de ultra-bajos bits (2-3 bits) donde los métodos tradicionales no logran mantener la fidelidad.