🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP es un método dinámico de cuantización de pesos sin calibración para la inferencia de LLM que determina automáticamente los parámetros del código basándose en umbrales de calidad especificados por el usuario, separando eficazmente los valores atípicos dispersos para lograr un alto rendimiento y precisión, al tiempo que permite que modelos masivos se ajusten dentro de memoria restringida mediante su iteración "H-Process" impulsada por la calidad.

Autores originales: Thomas Witt

Publicado 2026-05-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Witt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter un castillo de Lego masivo de 397 mil millones de piezas (un modelo de IA gigante) en una mochila pequeña (una computadora de estación de trabajo estándar).

Normalmente, para hacer que el castillo quepa, intentas aplastar los ladrillos hasta convertirlos en polvo uniforme y diminuto (compresión estándar). Pero esto arruina el castillo; los detalles se vuelven borrosos y la IA empieza a cometer errores.

XFP es una nueva y más inteligente forma de empacar ese castillo. En lugar de aplastarlo todo, utiliza un enfoque de "Calidad Primero". Así es como funciona, usando analogías simples:

1. El "Suelo de Calidad" en lugar de "Ancho de Bits"

En el método antiguo, le dices a la computadora: "Empaca esto en 4 bits por ladrillo". La computadora hace lo mejor que puede, pero si los ladrillos tienen formas extrañas, el resultado es malo.

XFP lo invierte. Le dices a la computadora: "Necesito que el castillo se vea al menos un 96% como el original".
La computadora luego descubre el resto por sí misma. Se pregunta: "Bien, para mantener un 96% de calidad, ¿cuántos bits necesito realmente para esta parte específica?"

Para algunas partes, podría necesitar solo 2 bits.
Para otras partes, podría necesitar 4 bits.
No impone una regla de talla única para todos.

2. El problema de los "Valores Atípicos" (Los Ladrillos Gigantes)

Imagina que en tu castillo de Lego, el 99% de los ladrillos son pequeños y normales, pero el 1% son ladrillos gigantes, pesados y de formas extrañas.

Método Antiguo: Intentas aplastar los ladrillos gigantes para que quepan en la caja pequeña. Esto distorsiona toda la caja, haciendo que los ladrillos pequeños también se vean mal.
Método XFP: Dice: "Vamos a sacar esos ladrillos gigantes y extraños y ponerlos en un bolsillo especial y separado".
- El Bolsillo Especial mantiene los ladrillos gigantes en su forma original y de alta calidad (usando un poco más de espacio, pero solo para los pocos que lo necesitan).
- La Caja Principal solo contiene el 99% de los ladrillos normales, que ahora son fáciles de comprimir porque todos son similares.

3. El "Diccionario Personalizado" (El Libro de Códigos)

En lugar de usar un diccionario estándar donde cada palabra tiene la misma longitud, XFP aprende un diccionario personalizado para cada capa individual de la IA.

Observa los ladrillos en una habitación específica del castillo y aprende exactamente qué formas aparecen con más frecuencia.
Crea una lista diminuta (un "libro de códigos") solo con esas formas.
Luego, en lugar de guardar el ladrillo completo, solo guarda un número diminuto (un índice) que apunta a esa forma en la lista.
Como la lista está hecha a medida para esa habitación específica, es increíblemente eficiente.

4. Las Dos Reglas (Estricta vs. Relajada)

La IA tiene diferentes tipos de habitaciones:

Las Habitaciones "Estrictas": (Como el mecanismo de atención, que presta atención a los detalles). XFP es muy cuidadoso aquí. Utiliza un diccionario de alta calidad y mantiene más ladrillos gigantes en el bolsillo especial.
Las Habitaciones "Relajadas": (Como los "expertos enrutados", que son trabajadores especializados). Estas habitaciones son más flexibles. XFP utiliza un diccionario más pequeño y tosco aquí, porque estas partes de la IA pueden tolerar ser aplastadas más sin romperse.

Esto permite que XFP ahorre cantidades masivas de espacio sin arruinar el cerebro de la IA.

5. El "Proceso H" (El Ajuste Apretado)

El artículo describe un desafío específico: ajustar un modelo de 397 mil millones de parámetros en dos tarjetas gráficas estándar (que normalmente no pueden contenerlo).

Utilizaron un proceso llamado Proceso H.
Piénsalo como un juego de "Caperucita Roja" (o la historia de los tres osos). Siguiendo ajustando las reglas "Estrictas" y "Relajadas".
- Si hacían las reglas demasiado estrictas, el modelo no cabía en la mochila (Falta de Memoria).
- Si hacían las reglas demasiado laxas, la IA empezaba a hablar tonterías (Salida Basura).
Encontraron la configuración "Justa" (llamada H1.5) donde el modelo cabe perfectamente, funciona rápido y aún así da buenas respuestas.

Los Resultados

Velocidad: En una computadora de estación de trabajo de gama alta, XFP funciona un 49% más rápido que el método estándar actual más eficiente (Marlin INT4) para un modelo de 122 mil millones.
Calidad: Mantiene la inteligencia de la IA casi exactamente igual a la versión original sin comprimir.
Accesibilidad: Permite a los investigadores ejecutar modelos masivos de IA en computadoras de escritorio estándar y potentes sin necesidad de supercomputadoras costosas de centros de datos.

En resumen: XFP es un sistema de empaquetado inteligente que no fuerza todo a entrar en una caja uniforme. Separa los elementos extraños y pesados, aprende diccionarios personalizados para el resto y te permite decidir cuánto calidad quieres mantener, calculando automáticamente la forma más eficiente de que todo quepa.

Resumen Técnico: XFP – Cuantización Adaptativa de Libros de Códigos Orientada a la Calidad

1. Declaración del Problema

El artículo aborda las limitaciones de las estrategias actuales de cuantización para Modelos de Lenguaje Grandes (LLM) al desplegar modelos masivos de Mezcla de Expertos (MoE) en hardware de clase estación de trabajo (por ejemplo, NVIDIA RTX PRO 6000 Blackwell). Los autores identifican tres problemas estructurales en los enfoques existentes:

El Problema de los Valores Atípicos (Outliers): Las matrices de pesos de los transformadores exhiben distribuciones de cola pesada. La cuantización lineal uniforme (INT-N) o los libros de códigos logarítmicos fijos (como NVFP4) deben acomodar valores atípicos extremos, forzando un único factor de escala que degrada la resolución para el bloque central denso de pesos.
El Problema de la Heterogeneidad MoE: Los diferentes componentes dentro de los modelos MoE (atención, expertos compartidos, expertos enrutados) poseen distribuciones de pesos distintas. Los expertos enrutados son empíricamente más tolerantes a la cuantización gruesa que las capas de atención. Un único umbral de calidad global o ancho de bits no logra aprovechar esta asimetría.
El Problema del Almacenamiento del Libro de Códigos: Los libros de códigos aprendidos por canal consumen Memoria Compartida (SMEM) significativa en las GPU. En GPU de clase estación de trabajo (99 KB SMEM/CTA), esto limita el tamaño de la caché de filas de activación, forzando operaciones de "K dividido" que aumentan la latencia y limitan el tamaño máximo del modelo desplegable en un solo flujo.

Además, el artículo señala que, si bien el formato NVFP4 de NVIDIA ofrece un rendimiento acelerado por hardware en chips Blackwell de centros de datos (SM100+), esta vía no está disponible o está incompleta en hardware de estación de trabajo (SM120/121), dejando a los operadores con formatos que ignoran distribuciones de pesos específicas.

2. Metodología: El Marco XFP

XFP invierte el flujo de trabajo de cuantización convencional. En lugar de que el operador seleccione un ancho de bits objetivo y acepte la pérdida de calidad resultante, el operador especifica suelos de calidad de reconstrucción basados en la similitud coseno por canal. XFP determina automáticamente el tamaño del libro de códigos necesario, el presupuesto de valores atípicos y la estrategia de empaquetado para cada capa.

Mecanismos Principales

Separación Escasa de Valores Atípicos:
Los pesos se descomponen en un residuo de alta precisión escaso y un bloque denso.
- Los valores atípicos se definen como pesos donde $|w - \mu| > k\sigma$ (por defecto $k=4.0$ , limitado al 2% de los pesos).
- Estos valores atípicos se almacenan como una matriz fp16 dispersa en sus posiciones originales.
- Los pesos restantes del "bloque" se reemplazan por su media de grupo y se cuantizan.
Libros de Códigos Aprendidos Adaptativos:
La distribución del bloque se cuantiza utilizando un libro de códigos aprendido por grupo mediante iteración de Lloyd.
- Modo V2 (Por Canal): Almacena un libro de códigos fp16 independiente por canal de salida. Soporta anchos de bits $N \in \{2, 3, 4, 5, 6\}$ .
- Modo V2a (Biblioteca Compartida): Almacena una pequeña biblioteca de $L$ libros de códigos (por defecto $L=32$ ) por capa. A cada grupo de pesos se le asigna la entrada de la biblioteca que mejor se ajusta. Esto reduce el uso de SMEM de $O(\text{dim\_salida})$ a una constante de $\sim 1$ KB, permitiendo ventanas de contexto más grandes en GPU de estación de trabajo.
Selección Automática Orientada a la Calidad (Dos Umbrales):
El sistema utiliza dos umbrales de similitud coseno distintos para impulsar la selección del ancho de bits:
- Umbral Estricto ( $\tau_{strict}$ ): Aplicado a proyecciones de atención y expertos compartidos.
- Umbral Holgazán ( $\tau_{lazy}$ ): Aplicado a rutas de expertos enrutados MoE.
- El algoritmo itera a través de anchos de bits candidatos ( $N$ ) y selecciona el mínimo $N$ que satisface el umbral relevante. Esto permite que los expertos enrutados utilicen cuantización más gruesa (por ejemplo, $N=2$ ) mientras las capas de atención utilizan cuantización más fina (por ejemplo, $N=4$ ) sin intervención manual.
Núcleo de Decodificación Fusionado:
Un núcleo personalizado fusiona cuatro operaciones: desempaquetar índices, recolectar del libro de códigos, dispersar valores atípicos dispersos y realizar el GEMM. Opera nativamente en bf16 y almacena en caché las filas de activación en SMEM para minimizar el uso del ancho de banda de memoria global.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

(C1) El Cuantizador XFP: Un cuantizador dinámico y orientado a la calidad que converge a anchos de bits efectivos de $\sim 3.97$ en Qwen3.5-122B y $\sim 3.4$ en Qwen3.5-397B bajo el "Proceso-H" (una iteración de compresión restringida). No requiere cálculo de Hessiano, no requiere datos de calibración y no requiere selección manual de ancho de bits.
(C2) Modos de Almacenamiento Dual con Motor Unificado: Dos modos de almacenamiento (V2 y V2a) comparten un único frontend de selección automática y un núcleo de decodificación fusionado. Esto cubre el rango de 30B a 397B parámetros en GPU de estación de trabajo sin depender de los Núcleos Tensor NVFP4.
(C3) El Proceso-H: Una iteración impulsada por la calidad sobre los dos umbrales de coseno que ajusta con éxito el modelo Qwen3.5-A17B de 397B (512 expertos enrutados/capa) en 2×96 GB de VRAM. Logra esto a $\sim 3.4$ bits efectivos mientras retiene toda la población de expertos, evitando la necesidad de poda de expertos.

4. Resultados Experimentales

Los experimentos se realizaron en hardware de clase estación de trabajo (RTX PRO 6000 Blackwell, DGX Spark) utilizando los modelos Qwen3.5 y GLM-4.7-Flash.

Qwen3.5-122B-A10B (Modo V2):
- Logró 138 tokens/s de decodificación en flujo único con TP=2.
- 49% más rápido que Marlin INT4 (AutoRound) con TP=1.
- Mantuvo 94.49% de coincidencia estricta en GSM8K (3 semillas), comparable a las líneas base de 4 bits.
- Ancho de bits efectivo: $\sim 3.97$ .
Qwen3.5-397B-A17B (Proceso-H, Modo V2):
- Desplegado con éxito en 2×96 GB de GPU.
- Logró 100.9 tokens/s en decodificación de salida larga.
- Logró 66.72% de coincidencia estricta en GSM8K en el conjunto completo de 1,319 problemas (semilla única).
- Ancho de bits efectivo: $\sim 3.4$ .
- Comparación con REAP (poda de expertos): XFP+H retuvo todos los expertos y logró mayor precisión (66.72% vs 33–44% para INT4 podado) con una huella de memoria menor o comparable.
Sondas del Modo V2a:
- Demostraron ganancias de rendimiento de +47% sobre Marlin INT4 en Qwen3.5-122B, validando el enfoque de biblioteca compartida para escenarios con restricciones de memoria.

5. Significado y Afirmaciones

El artículo posiciona a XFP no meramente como un formato de cuantización, sino como un mecanismo para el despliegue de clase electrodoméstico. Su significado radica en:

Invertir el Flujo de Trabajo: Cambiar el rol del operador de seleccionar anchos de bits a definir restricciones de calidad, permitiendo que el sistema se adapte automáticamente a la heterogeneidad del modelo.
Viabilidad en Estación de Trabajo: Habilitar el despliegue de modelos MoE masivos (hasta 397B parámetros) en hardware de consumo/estación de trabajo (GPU de 96 GB) sin soporte de Núcleos Tensor específico para centros de datos (NVFP4) ni poda de expertos.
Compresión Impulsada por la Calidad: Demostrar que la "calidad" (similitud coseno) es una métrica de dirección más efectiva que los anchos de bits fijos, particularmente para modelos MoE donde diferentes componentes tienen tolerancias de cuantización muy diferentes.
Agnosticismo de Hardware: Proporcionar una ventaja de rendimiento definida por software en hardware donde las vías de cuantización dedicadas (NVFP4) no están disponibles o están incompletas, superando a los núcleos INT4 más optimizados (Marlin) leyendo menos bytes por token.

Los autores declaran explícitamente que la compensación implica la sobrecarga del libro de códigos por grupo y las iteraciones de Lloyd durante el tiempo de codificación, lo que favorece a XFP en el nivel de estación de trabajo para cargas de trabajo limitadas por memoria, aunque la elección sigue siendo una decisión de despliegue y no un veredicto universal de referencia.