🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

Ce document présente TileFuse, une bibliothèque de noyaux à précision mixte proche du matériel pour les NPU AMD XDNA2 qui fusionne le dépaquetage, la déquantification et les opérations matricielles afin de permettre un support natif et efficace pour l'inférence de LLM quantifiés de type AWQ, atteignant des gains significatifs de performance et d'efficacité énergétique par rapport aux bases de référence existantes sur les appareils de bord clients.

Auteurs originaux : Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un camion de livraison flambant neuf et ultra-rapide (le NPU) garé dans votre garage, mais que la seule carte routière dont vous disposez (le logiciel) vous indique comment conduire un vieux vélo lent. Vous ne pouvez pas utiliser la vitesse du camion car la carte ne sait pas naviguer dans ses voies de circulation.

C'est le problème de l'exécution des chatbots d'IA modernes (LLM) sur les nouvelles puces d'ordinateurs portables aujourd'hui. Ces puces possèdent des « moteurs d'IA » puissants (NPU) conçus pour économiser la batterie et être rapides, mais le logiciel force généralement l'IA à changer de forme pour s'adapter au moteur, plutôt que de laisser le moteur s'adapter à l'IA.

TileFuse est un nouvel ensemble d'outils qui corrige cela. C'est comme construire une autoroute personnalisée à grande vitesse spécifiquement pour le camion, lui permettant de transporter de lourdes charges de données compressées sans avoir à les réemballer.

Voici comment l'article explique cette solution en utilisant des analogies simples :

1. Le Problème : Le goulot d'étranglement du « réemballage »

Habituellement, pour exécuter une IA sur ces nouvelles puces, vous devez prendre les poids « compressés » de l'IA (qui sont comme des livres emballés étroitement dans une petite valise) et les déballer dans un format volumineux (comme sortir les livres et les étaler à plat sur une table) juste pour que la puce puisse les lire.

L'ancienne méthode : La puce lit la valise, déballe les livres, les remet dans une autre valise, et ensuite commence à les lire. Cela gaspille du temps et de l'énergie.
La méthode TileFuse : La puce lit la valise, l'ouvre, et lit les livres pendant qu'ils sont encore en train d'être déballés. Elle fait tout en un seul mouvement fluide.

2. La Solution : Les noyaux (Kernels) « Fusionnés »

Les auteurs ont créé une bibliothèque appelée TileFuse. Considérez un « noyau » comme un manuel d'instructions spécifique pour la puce.

Fusion : Au lieu d'avoir trois travailleurs distincts (un pour déballer, un pour convertir, un pour calculer), TileFuse les combine en un seul super-travailleur. Ce travailleur saisit les données compressées, les convertit à la volée, et effectue les calculs, le tout en un seul mouvement continu.
Le Résultat : C'est comme un chef qui ne se contente pas de couper les légumes ; il les coupe, les assaisonne et les cuit en un seul mouvement continu. L'article affirme que cela rend la partie « déballage » du processus jusqu'à 2,8 fois plus rapide pour certaines tâches par rapport aux anciennes méthodes.

3. La disposition « Entrelacée » (Interleaved) : Organiser l'entrepôt

Les grands modèles d'IA possèdent des listes massives de nombres (poids). Le système de mémoire de la puce a une limite sur la distance qu'il peut parcourir pour saisir la pièce de donnée suivante. Si les données sont stockées de manière désordonnée et éparpillée, la puce doit faire de longs trajets lents pour obtenir la pièce suivante.

L'analogie : Imaginez un entrepôt où les boîtes sont empilées de manière aléatoire. Un chariot élévateur doit parcourir 50 pieds pour obtenir la boîte suivante.
La correction de TileFuse : Ils réorganisent l'entrepôt (appelé « Interleaved Pre-tiling ») pour que les boîtes dont le chariot élévateur a besoin ensuite soient juste à côté les unes des autres. Cela permet à la puce de saisir de gros blocs de données en un seul mouvement fluide, supportant des modèles d'IA beaucoup plus larges (jusqu'à 32 000 éléments de large) qui ne могли pas auparavant tenir dans l'espace.

4. Le Problème du « GEMV » : Le bouchon de circulation

Les chatbots d'IA fonctionnent en deux phases :

Le Pré-remplissage (Prefilling) : Lire une longue instruction d'un coup (comme lire un livre entier). C'est rapide et facile pour le camion.
La Génération de Tokens : Écrire un mot à la fois (comme écrire une phrase). C'est lent et délicat.

Le Problème : Lorsqu'il écrit un mot à la fois, le « camion » de la puce reste souvent inactif car il est conçu pour transporter de grosses charges, pas de petites. C'est comme utiliser un semi-remorque pour livrer une seule lettre ; le moteur tourne, mais le camion est vide.
La Correction : TileFuse a redessiné le flux de circulation pour cette phase. Au lieu d'envoyer les données vers une seule voie de l'autoroute, il distribue le travail sur les 32 voies de la puce simultanément. Cela maintient tout le moteur occupé, même lorsque la « charge » est petite.

5. Résultats dans le monde réel

L'équipe a testé cela sur de vrais ordinateurs portables AMD (Ryzen AI) et a comparé les résultats à l'utilisation de la carte graphique standard (iGPU) de l'ordinateur.

Vitesse : Pour la lecture de longues instructions (pré-remplissage), le NPU avec TileFuse était jusqu'à 2 fois plus rapide que la carte graphique.
Batterie : Comme le NPU est plus efficace, il a utilisé 64 % d'énergie en moins pour accomplir le même travail.
Le Bémol : Pour l'écriture d'un mot à la fois (génération de tokens), le NPU était parfois plus lent que la carte graphique. Cela est dû au fait que le « temps de configuration » pour configurer le NPU est trop long pour des tâches aussi petites et rapides.
La Solution Hybride : L'article suggère une approche du « meilleur des deux mondes » : Utiliser le NPU pour le gros du travail (lecture de longues instructions) et la carte graphique pour les tâches rapides (écriture de mots). Cette combinaison offre la meilleure vitesse et la meilleure autonomie de batterie.

Résumé

TileFuse est un pont. Il prend les formats d'IA compressés populaires que les développeurs utilisent déjà (comme AWQ) et les fait fonctionner nativement sur les nouvelles puces d'IA d'AMD sans avoir besoin de modifier les modèles d'IA eux-mêmes. En fusionnant les étapes de déballage et de calcul, en organisant parfaitement les données et en utilisant toute la puissance des voies de la puce, il rend l'exécution de l'IA sur les ordinateurs portables nettement plus rapide et plus économe en énergie.

Résumé Technique : TileFuse

Problématique

Le déploiement de modèles de langage étendus (LLM) sur les appareils de bord (edge) repose de plus en plus sur les unités de traitement neuronal (NPU) pour respecter des budgets de puissance et de thermique stricts. Cependant, l'inférence pratique des LLM sur les NPU clients, spécifiquement l'architecture XDNA2 d'AMD, fait face à des barrières significatives. L'obstacle principal est la fragmentation des piles logicielles et le manque de programmabilité de bas niveau. La plupart des frameworks NPU (par exemple, Apple Core ML, Intel OpenVINO, Qualcomm QNN) n'exposent que des interfaces de haut niveau ou des chemins de déploiement propriétaires qui ne supportent pas nativement les formats de quantification largement utilisés et prêts à l'emploi comme l'AWQ (Activation-Weight Quantization).

En conséquence, les développeurs sont souvent contraints de remodeler les modèles pour qu'ils s'adaptent aux schémas de quantification spécifiques aux NPU ou de s'appuyer sur une exécution en pleine précision moins efficace. Bien que certains travaux antérieurs aient exploré la quantification sensible au matériel pour des plateformes spécifiques (par exemple, ScalingLLM de Qualcomm), ils échouent souvent à supporter des formats standards comme le $W4A16$ ou ne peuvent pas gérer les grandes dimensions de matrices (par exemple, >8K) courantes dans les LLM modernes. De plus, les optimisations NPU existantes manquent souvent de la capacité de fusionner le dépaquetage et la déquantification directement dans le noyau de calcul, ce qui entraîne un trafic mémoire inutile et un mouvement de données inefficace.

Méthodologie

TileFuse est une bibliothèque de noyaux à précision mixte proche du métal conçue pour les NPU AMD XDNA2, ciblant les couches linéaires (GEMM et GEMV) qui dominent l'inférence des LLM. Le système exploite le flux de programmation ouvert MLIR-AIE (IRON) pour co-concevoir les dispositions de poids, le placement des métadonnées, les micro-noyaux et les flux de données au niveau des tableaux.

1. Noyaux de précision mixte fusionnés

TileFuse fusionne trois opérations distinctes en un seul flux de noyau :

Dépaquetage (Unpacking) : Extraction des poids INT4/INT8 empaquetés.
Déquantification : Conversion des entiers à faible nombre de bits en BF16 en utilisant des échelles et des points de zéro par groupe ou par canal.
Exécution : Réalisation de la multiplication de matrices (GEMM) ou de la multiplication matrice-vecteur (GEMV).

En conservant les poids sous format compressé jusqu'à ce qu'ils atteignent le cœur de calcul, TileFuse évite l'aller-retour dans la mémoire globale requis pour matérialiser les poids en pleine précision (BF16), ce qui économise de la bande passante. Les micro-noyaux sont conçus pour dépaqueter et déquantifier chaque tuile de poids une seule fois, stocker les valeurs BF16 résultantes dans la mémoire locale du cœur de calcul, et les réutiliser pour les opérations de matrice suivantes, préservant ainsi les modèles de réutilisation essentiels à la performance du GEMM titré.

2. Pré-titrage entrelacé (Interleaved Pre-Tiling)

Pour remédier aux limitations des contraintes de streaming DMA au moment de l'exécution (qui plafonnent généralement les dimensions supportées en dessous de 8K), TileFuse emploie une stratégie de pré-titrage entrelacé hors ligne.

Empaquetage des métadonnées : Les métadonnées de quantification (échelles et points de zéro) sont empaquetées directement dans les tuiles de poids en mémoire, garantissant que toutes les données requises pour la déquantification sont disponibles de manière contiguë.
Réorganisation de la disposition (Layout) : La matrice de poids est réorganisée dans une disposition entrelacée en colonne (column-major). Cela garantit que les tuiles de poids assignées à la même colonne AIE sont contiguës en mémoire, éliminant les grands sauts de mémoire qui forceraient autrement une seule opération GEMM à être divisée en plusieurs appels de noyau. Cette approche supporte des dimensions de GEMM allant jusqu'à 32K.

3. Co-conception du flux de données GEMV

La génération de jetons (tokens) dans les LLM de bord est typiquement une opération GEMV de taille de lot (batch size) 1, qui est souvent limitée par la mémoire en pleine précision mais devient limitée par le calcul lorsque la quantification et la déquantification sont introduites.

Limitation de base : Les mappages GEMV standards utilisent souvent une seule rangée de la matrice de calcul AIE 4×8, laissant la majeure partie du matériel inactif.
Optimisation : TileFuse redessine le flux de données pour distribuer les poids sur l'ensemble de la matrice 4×8. Il utilise les cœurs de mémoire comme une couche de distribution intermédiaire, diffusant des lots de tuiles de poids depuis les cœurs shim vers les cœurs de mémoire, qui les distribuent ensuite vers les quatre rangées de calcul. Cela maximise l'utilisation spatiale et le débit arithmétique pour la génération de jetons.

4. Optimisation sensible à la reconfigurabilité

Le système exploite explicitement la reconfigurabilité de l'architecture XDNA2 pour personnaliser les micro-noyaux des cœurs de calcul et les modes d'accès DMA pour des charges de travail spécifiques. Cependant, les auteurs reconnaissent que cette flexibilité introduit un surcoût de dispatch et de reconfiguration de la matrice (fabric). TileFuse est optimisé pour amortir ce surcoût lors des GEMM de pré-remplissage (prefilling) de grande taille, mais reconnaît ses limites pour les opérations GEMV de petite échelle sensibles à la latence.

Contributions clés

Noyaux fusionnés pour une quantification pratique : Implémentation de noyaux AIE fusionnés qui consomment directement des poids de type AWQ ( $W4A16$ et $W8A16$ ), éliminant le besoin de remodelage de modèle ou de schémas de quantification propriétaires.
Pré-titrage entrelacé : Une stratégie de disposition qui supporte des dimensions de GEMM jusqu'à 32K et permet un streaming efficace au moment de l'exécution en alignant l'accès mémoire avec les contraintes des descripteurs de buffers DMA.
Redesign du flux de données GEMV : Un nouveau flux de données qui distribue les poids sur l'ensemble de la matrice 4×8 de l'AIE, améliorant considérablement le débit de génération de jetons.
Efficacité de bout en bout pour l'Edge : Intégration de ces noyaux dans un runtime hybride (NPU pour les couches linéaires, iGPU pour l'attention/couches non-linéaires) qui démontre des gains substantiels en latence et en efficacité énergétique.

Résultats

Les évaluations ont été menées sur des ordinateurs portables Ryzen AI (Ryzen AI 7 350 et Ryzen AI 9 HX 370) en utilisant des modèles tels que Llama3-8B, Gemma-2B et Qwen2.5-3B.

Performance des noyaux :
- GEMM : TileFuse atteint jusqu'à 121,6 % d'amélioration de performance par rapport aux bases en pleine précision.
- GEMV : TileFuse atteint jusqu'à 281 % d'amélioration de performance par rapport aux bases en pleine précision.
- Comparaison : Sur GEMM, TileFuse offre plus de 2× de gains de performance et d'efficacité énergétique par rapport aux bases solides d'iGPU (noyaux fusionnés de llama.cpp).
Inférence LLM de bout en bout :
- Pré-remplissage (Prefilling) : Sur le Ryzen AI 7 350, TileFuse atteint jusqu'à 2,0× de latence de pré-remplissage inférieure (ex: accélération de 2,00× pour Llama3-8B à 2048 jetons) par rapport à la base iGPU.
- Énergie : Le chemin NPU réduit la consommation d'énergie de plus de 64,6 % sur le Ryzen AI 7 350 et de 52,8 % sur le Ryzen AI 9 HX 370.
- Génération de jetons : Le NPU est moins performant que l'iGPU pour la génération de jetons en raison du surcoût de dispatch de noyau et de reconfiguration à l'échelle de la milliseconde par rapport à l'exécution des opérateurs GEMV à l'échelle de la microseconde.
Comparaison avec les travaux antérieurs : TileFuse surpasse les frameworks récents pilotés par NPU comme FastFlowLM et Scaling NPU en termes de débit de pré-remplissage (ex: accélérations respectives de 1,45× et 1,61× sur Llama3-8B et Qwen2.5-3B).

Signification et Revendications

L'article affirme que TileFuse démontre que les NPU AMD XDNA2 sont une cible pratique pour une inférence LLM quantifiée efficace et prête à l'emploi. En apportant des formats standards comme l'AWQ directement sur le matériel via une optimisation proche du métal, ce travail comble le fossé entre le potentiel brut des NPU et le déploiement réel chez les clients.

Les auteurs soulignent que le succès de TileFuse repose sur une stratégie de déploiement hybride : utiliser la matrice spatiale reconfigurable du NPU pour le pré-remplissage à contexte large (où le surcoût est amorti) tout en s'appuyant sur l'iGPU pour la génération de jetons sensible à la latence. Cette approche valide que les NPU peuvent améliorer substantiellement l'utilisabilité des LLM en bordure (edge) lorsque le matériel est adapté aux formats de quantification utilisés par les utilisateurs, plutôt que de forcer les modèles à se conformer à des contraintes propriétaires. Ce travail établit qu'avec une co-conception appropriée des noyaux et des flux de données, les NPU peuvent offrir des bénéfices significatifs de performance et d'énergie pour l'IA de bord, même en présence de fragmentation des piles logicielles.