🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

Este artículo presenta TileFuse, una biblioteca de kernels de precisión mixta cercana al metal para las NPU AMD XDNA2 que fusiona el desempaquetado, la descuantización y las operaciones matriciales para permitir un soporte nativo y eficiente para la inferencia de LLM cuantizados de estilo AWQ, logrando ganancias significativas de rendimiento y eficiencia energética sobre las líneas base existentes en dispositivos de borde para clientes.

Autores originales: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Publicado 2026-06-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un camión de reparto nuevo y superrápido (el NPU) estacionado en tu garaje, pero el único mapa de carreteras que tienes (el software) te indica cómo conducir una bicicleta vieja y lenta. No puedes usar la velocidad del camión porque el mapa no sabe navegar por sus carriles.

Este es el problema al ejecutar chatbots de IA modernos (LLM) en los nuevos chips de computadoras portátiles hoy en día. Estos chips tienen potentes "motores de IA" (NPU) diseñados para ahorrar batería y funcionar rápido, pero el software usualmente obliga a la IA a cambiar su forma para adaptarse al motor, en lugar de permitir que el motor se adapte a la IA.

TileFuse es un nuevo conjunto de herramientas que soluciona esto. Es como construir una autopista personalizada de alta velocidad específicamente para el camión, permitiéndole transportar cargas pesadas de datos comprimidos sin tener que detenerse a reempaquetarlos.

Aquí es cómo el artículo explica esta solución utilizando analogías simples:

1. El Problema: El cuello de botella del "reempaquetado"

Normalmente, para ejecutar una IA en estos nuevos chips, tienes que tomar los pesos "comprimidos" de la IA (que son como libros empacados apretadamente en una maleta pequeña) y desempaquetarlos en un formato voluminoso (como sacar los libros y extenderlos sobre una mesa) solo para que el chip pueda leerlos.

La forma antigua: El chip lee la maleta, desempaqueta los libros, los vuelve a meter en una maleta diferente y luego comienza a leer. Esto desperdicia tiempo y energía.
La forma de TileFuse: El chip lee la maleta, la abre y lee los libros mientras todavía se están desempaquetando. Lo hace todo en un solo movimiento fluido.

2. La Solución: Kernels "Fusionados"

Los autores crearon una librería llamada TileFuse. Piensa en un "kernel" como un manual de instrucciones específico para el chip.

Fusión: En lugar de tener tres trabajadores separados (uno para desempaquetar, uno para convertir y uno para calcular), TileFuse los combina en un supertrabajador. Este trabajador toma los datos comprimidos, los convierte sobre la marcha y realiza las matemáticas, todo en un solo paso.
El Resultado: Esto es como un chef que no solo pica las verduras; pica, sazona y cocina en un solo movimiento continuo. El artículo afirma que esto hace que la parte de "desempaquetado" sea hasta 2.8 veces más rápida para ciertas tareas en comparación con los métodos antiguos.

3. El Diseño "Intercalado": Organizando el almacén

Los modelos de IA grandes tienen listas masivas de números (pesos). El sistema de memoria del chip tiene un límite de qué tan lejos puede alcanzar para agarrar la siguiente pieza de datos. Si los datos están almacenados de una forma desordenada y dispersa, el chip tiene que hacer viajes largos y lentos para obtener la siguiente pieza.

La analogía: Imagina un almacén donde las cajas están apiladas al azar. Un montacargas tiene que conducir 50 pies para obtener la siguiente caja.
El arreglo de TileFuse: Ellos reorganizan el almacén (llamado "Pre-tiling Intercalado") para que las cajas que el montacargas necesita a continuación estén justo al lado de las otras. Esto permite que el chip tome enormes bloques de datos en un solo barrido fluido, soportando modelos de IA mucho más grandes (hasta 32,000 elementos de ancho) que antes no cabían.

4. El Problema del "GEMV": El embotellamiento

Los chatbots de IA trabajan en dos fases:

Prefilling (Pre-llenado): Leer un prompt largo de una sola vez (como leer un libro entero). Esto es rápido y fácil para el camión.
Generación de Tokens: Escribir una palabra a la vez (como escribir una oración). Esto es lento y complicado.

El problema: Cuando se escribe una palabra a la vez, el "camión" del chip a menudo se queda inactivo porque está diseñado para cargar grandes volúmenes, no pequeños. Es como usar un camión de carga para entregar una sola carta; el motor está encendido, pero el camión está vacío.
El arreglo: TileFuse rediseñó el flujo de tráfico para esta fase. En lugar de enviar datos a solo un carril de la autopista, distribuye el trabajo a través de los 32 carriles del chip simultáneamente. Esto mantiene todo el motor ocupado, incluso cuando la "carga" es pequeña.

5. Resultados del Mundo Real

El equipo probó esto en laptops AMD reales (Ryzen AI) y lo comparó con el uso de su tarjeta gráfica estándar (iGPU).

Velocidad: Para la lectura de prompts largos (prefilling), el NPU con TileFuse fue hasta 2 veces más rápido que la tarjeta gráfica.
Batería: Debido a que el NPU es más eficiente, utilizó 64% menos de energía para realizar el mismo trabajo.
El inconveniente: Para la escritura de una palabra a la vez (generación de tokens), el NPU fue a veces más lento que la tarjeta gráfica. Esto se debe a que el "tiempo de configuración" para configurar el NPU es demasiado largo para tareas tan pequeñas y rápidas.
La solución híbrida: El artículo sugiere un enfoque de "lo mejor de ambos mundos": Usar el NPU para el trabajo pesado (lectura de prompts largos) y la tarjeta gráfica para las tareas rápidas (escritura de palabras). Esta combinación ofrece la mejor velocidad y duración de batería.

Resumen

TileFuse es un puente. Toma los formatos de IA comprimidos populares que los desarrolladores ya usan (como AWQ) y los hace funcionar de forma nativa en los nuevos chips de IA de AMD sin necesidad de cambiar los modelos de IA mismos. Al fusionar los pasos de desempaquetado y de cálculo, organizar los datos perfectamente y utilizar todo el poder de los carriles del chip, hace que ejecutar IA en laptops sea significativamente más rápido y eficiente energéticamente.

Resumen Técnico: TileFuse

Declaración del Problema

El despliegue de Modelos de Lenguaje Extensos (LLMs) en dispositivos de borde depende cada vez más de las Unidades de Procesamiento Neuronal (NPUs) para cumplir con estrictos presupuestos de potencia y térmicos. Sin embargo, la inferencia práctica de LLMs en NPUs de cliente, específicamente la arquitectura XDNA2 de AMD, enfrenta barreras significativas. El obstáculo principal es la fragmentación de los stacks de software y la falta de programabilidad de bajo nivel. La mayoría de los frameworks de NPU (por ejemplo, Apple Core ML, Intel OpenVINO, Qualcomm QNN) exponen solo interfaces de alto nivel o rutas de despliegue propietarias que no soportan de forma nativa formatos de cuantización ampliamente utilizados como AWQ (Quantization de Activación-Peso).

Consecuentemente, los desarrolladores se ven obligados a remodelar los modelos para ajustarlos a esquemas de cuantización específicos de la NPU o a depender de una ejecución de precisión completa menos eficiente. Aunque algunos trabajos previos han explorado la cuantización consciente del hardware para plataformas específicas (por ejemplo, ScalingLLM de Qualcomm), a menudo no logran soportar formatos estándar como $W4A16$ o no pueden manejar las grandes dimensiones de matrices (por ejemplo, >8K) comunes en los LLMs modernos. Además, las optimizaciones de NPU existentes suelen carecer de la capacidad de fusionar el desempaquetado (unpacking) y la descuantización directamente en el kernel de cómputo, lo que conduce a un tráfico de memoria innecesario y a un movimiento de datos ineficiente.

Metodología

TileFuse es una librería de kernels de precisión mixta cercana al metal diseñada para las NPUs AMD XDNA2, dirigida a las capas lineales (GEMM y GEMV) que dominan la inferencia de LLMs. El sistema aprovecha el flujo de programación abierto MLIR-AIE (IRON) para el codiseño de layouts de pesos, colocación de metadatos, microkernels y flujos de datos a nivel de arreglo.

1. Kernels de Precisión Mixta Fusionados

TileFuse fusiona tres operaciones distintas en un único flujo de kernel:

Desempaquetado (Unpacking): Extracción de pesos empaquetados en INT4/INT8.
Descuantización: Conversión de enteros de bajo bit a BF16 utilizando escalas y puntos de cero (zero-points) por grupo o por canal.
Ejecución: Realización de la multiplicación de matrices (GEMM) o la multiplicación de matriz-vector (GEMV).

Al mantener los pesos en formato comprimido hasta que alcanzan el núcleo de cómputo, TileFuse evita el viaje de ida y vuelta a la memoria global requerido para materializar los pesos de precisión completa (BF16). Los microkernels están diseñados para desempaquetar y descuantizar cada tile de peso una sola vez, almacenar los valores BF16 resultantes en la memoria local del núcleo de cómputo y reutilizarlos para operaciones de matriz subsiguientes, preservando así los patrones de reutilización esenciales para el rendimiento de GEMM en mosaicos (tiled GEMM).

- Tiling Intercalado (Interleaved Pre-Tiling)

Para abordar las limitaciones de las restricciones de streaming DMA en tiempo de ejecución (que típicamente limitan las dimensiones soportadas por debajo de 8K), TileFuse emplea una estrategia de pre-tiling intercalado offline.

Empaquetado de Metadatos: Los metadatos de cuantización (escalas y puntos de cero) se empaquetan directamente en los tiles de peso en memoria, asegurando que todos los datos requeridos para la descuantización estén disponibles de forma contigua.
Reorganización de Layout: La matriz de pesos se reorganiza en un layout de columnas intercaladas (interleaved column-major layout). Esto asegura que los tiles de peso asignados a la misma columna de AIE sean contiguos en memoria, eliminando grandes saltos de memoria que de otro modo obligarían a dividir una única operación GEMM en múltiples invocaciones de kernel. Este enfoque soporta dimensiones de GEMM de hasta 32K.

3. Codiseño de Flujo de Datos para GEMV

La generación de tokens en LLMs de borde es típicamente una operación GEMV de tamaño de lote (batch-size) 1, la cual suele estar limitada por la memoria en precisión completa, pero se vuelve limitada por el cómputo cuando se introducen la cuantización y la descuantización.

Limitación de la Línea Base: Los mapeos de GEMV estándar suelen utilizar solo una fila del arreglo de cómputo AIE de 4×8, dejando la mayor parte del hardware inactivo.
Optimización: TileFuse rediseña el flujo de datos para distribuir los pesos a través de todo el arreglo 4×8. Utiliza núcleos de memoria como una capa de distribución intermedia, transmitiendo ráfagas de tiles de peso desde núcleos shim hacia núcleos de memoria, los cuales luego se distribuyen hacia las cuatro filas de cómputo. Esto maximiza la utilización espacial y el rendimiento aritmético para la generación de tokens.

4. Optimización Consciente de la Reconfigurabilidad

El sistema aprovecha explícitamente la reconfigurabilidad de la arquitectura XDNA2 para personalizar los microkernels de los núcleos de cómputo y los patrones de acceso DMA. Sin embargo, los autores reconocen que esta flexibilidad introduce una sobrecarga de despacho en tiempo de ejecución y de reconfiguración del fabric. TileFuse está optimizado para amortizar esta sobrecarga durante los GEMM de pre-llenado (prefilling) de gran escala, pero reconoce sus limitaciones para las operaciones GEMV de pequeña escala y baja latencia.

Contribuciones Clave

Kernels Fusionados para Cuantización Práctica: Implementación de kernels AIE fusionados que consumen directamente pesos de estilo AWQ $W4A16$ y $W8A16$ , eliminando la necesidad de remodelar el modelo o utilizar esquemas de cuantización propietarios.
Pre-Tiling Intercalado: Una estrategia de layout que soporta dimensiones de GEMM de hasta 32K y permite un streaming eficiente en tiempo de ejecución al alinear el acceso a memoria con las restricciones del descriptor de buffer DMA.
Rediseño del Flujo de Datos de GEMV: Un nuevo flujo de datos que distribuye los pesos a través de todo el arreglo AIE 4×8, mejorando significamente el rendimiento de la generación de tokens.
Eficiencia de Borde de Extremo a Extremo: Integración de estos kernels en un runtime híbrido (NPU para capas lineales, iGPU para atención/capas no lineales) que demuestra ganancias sustanciales en latencia y eficiencia energética.

Resultados

Las evaluaciones se realizaron en laptops Ryzen AI (Ryzen AI 7 350 y Ryzen AI 9 HX 370) utilizando modelos como Llama3-8B, Gemma-2B y Qwen2.5-3B.

Rendimiento de Kernel:
- GEMM: TileFuse logra una mejora de rendimiento de hasta el 121.6% sobre las líneas base de precisión completa.
- GEMV: TileFuse logra una mejora de rendimiento de hasta el 281% sobre las líneas base de precisión completa.
- Comparación: En GEMM, TileFuse ofrece más de 2× ganancias de rendimiento y eficiencia energética sobre bases sólidas de iGPU (kernels fusionados de llama.cpp).
Inferencia de LLM de Extremo a Extremo:
- Pre-llenado (Prefilling): En el Ryzen AI 7 350, TileFuse logra hasta un 2.0× menor latencia de pre-llenado (por ejemplo, una aceleración de 2.00× para Llama3-8B a 2048 tokens) comparado con la línea base de iGPU.
- Energía: La ruta de la NPU reduce el consumo de energía en más de un 64.6% en el Ryzen AI 7 350 y un 52.8% en el Ryzen AI 9 HX 370.
- Generación de Tokens: La NPU rinde por debajo de la iGPU para la generación de tokens debido a la sobrecarga de milisegundos del despacho de kernel y la reconfiguración en relación con la ejecución de microsegundos de los operadores GEMV.
Comparación con Trabajo Previo: TileFuse supera a los frameworks recientes impulsados por NPU como FastFlowLM y Scaling NPU en throughput de pre-llenado (por ejemplo, aceleraciones de 1.45× y 1.61× respectivamente en Llama3-8B y Qwen2.5-3B).

Significado y Reivindicaciones

El artículo afirma que TileFuse demuestra que las NPUs AMD XDNA2 son un objetivo práctico para la inferencia eficiente de LLMs cuantizados de uso estándar. Al traer formatos estándar como AWQ directamente al hardware mediante la optimización cercana al metal, este trabajo cierra la brecha entre el potencial bruto de la NPU y el despliegue real en clientes.

Los autores enfatizan que el éxito de TileFuse depende de una estrategia de despliegue híbrida: utilizar el arreglo espacial reconfigurable de la NPU para el pre-llenado de contexto largo (donde la sobrecarga se amortiza) mientras se depende de la iGPU para la generación de tokens sensible a la latencia. Este enfoque valida que las NPUs pueden mejorar sustancialmente la usabilidad de los LLMs en el borde cuando el hardware se adapta a los formatos de cuantización utilizados por los usuarios, en lugar de forzar a los modelos a conformarse a restricciones propietarias. El trabajo establece que, con un diseño conjunto de kernel y flujo de datos apropiado, las NPUs pueden entregar beneficios significativos de rendimiento y energía para la IA de borde, incluso ante la presencia de fragmentación en el stack de software.