🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

Dieses Paper führt TileFuse ein, eine „Close-to-Metal“-Mixed-Precision-Kernel-Bibliothek für AMD XDNA2 NPUs, die Unpacking, Dequantisierung und Matrixoperationen fusioniert, um eine effiziente, native Unterstützung für populäre AWQ-Stil quantisierte LLM-Inferenz zu ermöglichen und signifikante Leistungs- sowie Energieeffizienzgewinne gegenüber bestehenden Baselines auf Client-Edge-Geräten zu erzielen.

Ursprüngliche Autoren: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brandneuen, superschnellen Lieferwagen (die NPU) in Ihrer Garage stehen, aber die einzige Landkarte, die Sie haben (die Software), beschreibt, wie man ein langsames, altes Fahrrad fährt. Sie können die Geschwindigkeit des Lastwagens nicht nutzen, weil die Karte nicht weiß, wie sie seine Fahrspuren navigieren soll.

Dies ist das Problem beim Ausführen moderner KI-Chatbots (LLMs) auf neuen Laptop-Chips von heute. Diese Chips besitzen leistungsstarke „KI-Motoren“ (NPUs), die darauf ausgelegt sind, den Akku zu schonen und schnell zu arbeiten, aber die Software zwingt die KI meist dazu, ihre Form anzupassen, damit sie in den Motor passt, anstatt den Motor die KI anpassen zu lassen.

TileFuse ist ein neues Set an Werkzeugen, das dieses Problem löst. Es ist wie der Bau einer maßgeschneiderten, Hochgeschwindigkeits-Autobahn speziell für den Lastwagen, die es ihm ermöglicht, schwere Lasten an komprimierten Daten zu transporten, ohne sie zwischendurch neu verpacken zu müssen.

Hier erklärt das Paper diese Lösung anhand einfacher Analogien:

1. Das Problem: Der „Umverpackungs“-Engpass

Normalerweise muss man, um eine KI auf diesen neuen Chips auszuführen, die „komprimierten“ Gewichte der KI (welche wie Bücher sind, die eng in einen kleinen Koffer gepackt wurden) in ein sperriges Format entpacken (wie die Bücher auszupacken und flach auf einen Tisch zu legen), nur damit der Chip sie lesen kann.

Der alte Weg: Der Chip liest den Koffer, packt die Bücher aus, legt sie in einen anderen Koffer um und fängt dann erst an, sie zu lesen. Das verschwendet Zeit und Energie.
Der TileFuse-Weg: Der Chip liest den Koffer, öffnet ihn und liest die Bücher, während sie noch ausgepackt werden. Er erledigt alles in einem fließenden Bewegungsablauf.

2. Die Lösung: „Fused“ Kernels

Die Autoren haben eine Bibliothek namens TileFuse erstellt. Stellen Sie sich einen „Kernel“ als eine spezifische Bedienungsanleitung für den Chip vor.

Fusion: Anstatt drei separater Arbeiter zu haben (einen zum Auspacken, einen zum Konvertieren, einen für die Berechnung), kombiniert TileFuse diese zu einem Super-Arbeiter. Dieser Arbeiter greift nach den komprimierten Daten, konvertiert sie „on the fly“ und erledigt die Mathematik alles in einem einzigen Durchgang.
Das Ergebnis: Dies ist vergleichbar mit einem Koch, der Gemüse nicht nur schneidet, sondern es in einer einzigen, kontinuierlichen Bewegung schneidet, würzt und gart. Das Paper behauptet, dass dies den „Auspack“-Teil des Prozesses für bestimmte Aufgaben um bis zu 2,8-mal schneller macht als ältere Methoden.

3. Das „Interleaved“-Layout: Das Lager organisieren

Große KI-Modelle haben massive Listen von Zahlen (Gewichte). Das Speichersystem des Chips hat eine Grenze, wie weit es greifen kann, um das nächste Stück der Daten zu erfassen. Wenn die Daten unordentlich und verstreut gespeichert sind, muss der Chip lange, langsame Wege zurücklegen, um das nächste Teil zu bekommen.

Die Analogie: Stellen Sie sich ein Lagerhaus vor, in dem Kisten wahllos gestapelt sind. Ein Gabelstapler muss 15 Meter fahren, um die nächste Kiste zu holen.
Die TileFuse-Lösung: Sie ordnen das Lagerhaus neu (genannt „Interleaved Pre-tiling“), sodass die Kisten, die der Gabelstapler als Nächstes benötigt, direkt nebeneinander stehen. Dies ermöglicht es dem Chip, riesige Datenmengen in einem einzigen, glatten Wisch zu erfassen, was viel größere KI-Modelle (bis zu 32.000 Elemente breit) unterstützt, die zuvor nicht hineingepasst hätten.

4. Das „GEMV“-Problem: Der Stau

KI-Chatbots arbeiten in zwei Phasen:

Prefilling: Das Lesen eines langen Prompts auf einmal (wie das Lesen eines ganzen Buches). Das ist schnell und einfach für den Lastwagen.
Token Generation: Das Schreiben eines Wortes nach dem anderen (wie das Schreiben eines Satzes). Das ist langsam und knifflig.

Das Problem: Beim Schreiben eines Wortes nach dem anderen steht der „Lastwagen“ des Chips oft still, da er darauf ausgelegt ist, große Lasten zu tragen, nicht kleine. Es ist, als würde man einen Sattelzug benutzen, um einen einzelnen Brief auszuliefern; der Motor läuft, aber der Lastwagen ist leer.
Die Lösung: TileFuse hat den Verkehrsfluss für diese Phase neu gestaltet. Anstatt die Daten nur in eine Spur der Autobahn zu senden, verteilt es die Arbeit gleichzeitig auf alle 32 Spuren des Chips. Dies hält den gesamten Motor beschäftigt, selbst wenn die „Last“ klein ist.

5. Die Ergebnisse aus der Praxis

Das Team hat dies auf echten AMD-Laptops (Ryzen AI) getestet und mit der Verwendung der Standard-Grafikkarte (iGPU) des Laptops verglichen.

Geschwindigkeit: Beim Lesen langer Prompts (Prefilling) war die NPU mit TileFuse bis zu 2-mal schneller als die Grafikkarte.
Batterie: Da die NPU effizienter ist, verbrauchte sie 64 % weniger Energie, um dieselbe Aufgabe zu erledigen.
Der Haken: Bei der Generierung einzelner Wörter (Token Generation) war die NPU manchmal langsamer als die Grafikkarte. Das liegt daran, dass die „Setup-Zeit“, um die NPU zu konfigurieren, für solch winzige, schnelle Aufgaben zu lang ist.
Die Hybrid-Lösung: Das Paper schlägt einen „Best-of-Both-Worlds“-Ansatz vor: Nutzen Sie die NPU für die schwere Arbeit (Lesen langer Prompts) und die Grafikkarte für die schnellen Aufgaben (Schreiben von Wörtern). Diese Kombination liefert die beste Geschwindigkeit und die beste Akkulaufzeit.

Zusammenfassung

TileFuse ist eine Brücke. Es nimmt die populären, komprimierten KI-Formate, die Entwickler bereits verwenden (wie AWQ), und lässt sie nativ auf AMDs neuen KI-Chips laufen, ohne dass die KI-Modelle selbst geändert werden müssen. Durch das Verschmelzen (Fusing) der Auspack- und Rechenschritte, die perfekte Organisation der Daten und die Nutzung der vollen Leistung der Chip-Spuren, macht es das Ausführen von KI auf Laptops signifikant schneller und energieeffizienter.

Technisches Resümee: TileFuse

Problemstellung

Die Bereitstellung von Large Language Models (LLMs) auf Edge-Geräten stützt sich zunehmend auf Neural Processing Units (NPUs), um strenge Leistungs- und Thermalbudgets einzuhalten. Die praktische Inferenz von LLMs auf Client-NPUs, speziell der AMD XDNA2-Architektur, steht jedoch vor erheblichen Barrieren. Das primäre Hindernis ist die Fragmentierung der Software-Stacks und der Mangel an Low-Level-Programmierbarkeit. Die meisten NPU-Frameworks (z. B. Apple Core ML, Intel OpenVINO, Qualcomm QNN) bieten nur High-Level-Schnittstellen oder proprietäre Deployment-Pfade an, die standardmäßig keine weit verbreiteten, fertige Quantisierungsformate wie AWQ (Activation-Weight Quantization) unterstützen.

Infolgedessen sind Entwickler oft gezwungen, Modelle anzupassen, um sie in NPU-spezifische Quantisierungsschemata einzupassen, oder sie müssen sich auf eine weniger effiziente Ausführung in voller Präzision verlassen. Während einige vorangegangene Arbeiten hardware-bewusste Quantisierung für spezifische Plattformen untersucht haben (z. B. Qualcomms ScalingLLM), unterstützen diese oft keine Standardformate wie $W4A16$ oder können die großen Matrizendimensionen (z. B. >8K), die bei modernen LLMs üblich sind, nicht handhaben. Darüber hinaus fehlt es bestehenden NPU-Optimierungen oft an der Fähigkeit, Unpacking und Dequantisierung direkt in den Compute-Kernel zu fusionieren, was zu unnötigem Speicherverkehr und ineffizientem Datentransport führt.

Methodik

TileFuse ist eine Close-to-Metal Mixed-Precision-Kernel-Bibliothek für AMD XDNA2 NPUs, die auf die linearen Schichten (GEMM und GEMV) abzielt, welche die LLM-Inferenz dominieren. Das System nutzt den offenen MLIR-AIE (IRON) Programmierfluss, um Gewichtslayouts, Metadatenplatzierung, Mikrokernel und Array-Level-Dataflows kooperativ zu gestalten.

1. Fusionierte Mixed-Precision-Mikrokernel

TileFuse fusioniert drei verschiedene Operationen in einen einzigen Kernel-Flow:

Unpacking: Extrahieren von gepackten INT4/INT8-Gewichten.
Dequantization: Konvertierung von Low-Bit-Integern in BF16 unter Verwendung von Per-Group- oder Per-Channel-Skalierungen und Zero-Points.
Execution: Durchführung der Matrixmultiplikation (GEMM) oder Matrix-Vektor-Multiplikation (GEMV).

Indem Gewichte im komprimierten Format halten, bis sie den Compute-Core erreichen, vermeidet TileFuse den globalen Speicher-Round-Trip, der erforderlich wäre, um Full-Precision (BF16) Gewichte zu materialisieren. Die Mikrokernel sind darauf ausgelegt, jedes Gewicht-Tile einmal zu entpacken und zu dequantisieren, die resultierenden BF16-Werte im lokalen Speicher des Compute-Cores zu speichern und sie anschließend für nachfolgende Matrizoperationen wiederzuverwenden, wodurch die für die Tiled-GEMM-Performance essenziellen Wiederverwendungsmuster bewahrt werden.

2. Interleaved Pre-Tiling

Um die Einschränkungen des Runtime-DMA-Streaming (das typischerweise Dimensionen unter 8K begrenzt) zu adressieren, setzt TileFuse eine Offline-Strategie namens Interleaved Pre-Tiling ein.

Metadata Packing: Quantisierungsmetadaten (Scales und Zero-Points) werden direkt in die Gewicht-Tiles im Speicher gepackt, um sicherzustellen, dass alle für die Dequantisierung erforderlichen Daten zusammenhängend verfügbar sind.
Layout Reorganization: Die Gewichtsmatrix wird in ein interleaved Column-Major-Layout reorganisiert. Dies stellt sicher, dass Gewicht-Tiles, die derselben AIE-Spalte zugewiesen sind, im Speicher zusammenhängend liegen, was große Speicher-Strides verhindert, die andernfalls eine einzelne GEMM-Operation über mehrere Kernel-Aufrufe splitten müssten. Dieser Ansatz unterstützt GEMM-Dimensionen bis zu 32K.

3. GEMV Dataflow Co-Design

Die Token-Generierung in Edge-LLMs ist typischerweise eine Batch-Size-1 GEMV-Operation, die in voller Präzision oft speichergebunden ist, aber durch Quantisierung und Dequantisierung rechengebunden wird.

Baseline-Limitierung: Standardmäßige GEMV-Mappings nutzen oft nur eine einzige Reihe des 4×8 AIE-Compute-Arrays, wodurch der Großteil der Hardware untätig bleibt.
Optimierung: TileFuse gestaltet den Dataflow um, um Gewichte über das gesamte 4×8 Array zu verteilen. Es nutzt Memory-Cores als intermediäre Distributionsschicht, die Weight-Bundles von Shim-Cores an Memory-Cores streamt, welche diese dann auf alle vier Compute-Reihen verteilen (Fan-out). Dies maximiert die räumliche Ausnutzung und den Durchsatz.

4. Reconfigurability-Aware Optimization

Das System nutzt explizit die Rekonfigurierbarkeit der XDNA2-Architektur, um Compute-Core-Mikrokernel und DMA-Zugriffsmuster für spezifische Workloads anzupassen. Die Autoren räumen jedoch ein, dass diese Flexibilität Runtime-Dispatch- und Fabric-Rekonfigurations-Overhead einführt. TileFuse ist darauf optimiert, diesen Overhead während großer Prefilling-GEMMs zu amortisieren, erkennt jedoch dessen Einschränkungen bei latenzkritischen, kleinskaligen GEMV-Operationen.

Wesentliche Beiträge

Fusionierte Kernel für praktische Quantisierung: Implementierung von fusionierten AIE-Kerneln, die direkt AWQ-Stil $W4A16$ und $W8A16$ Gewichte konsumieren, wodurch die Notwendigkeit der Modell-Reshaping oder proprietärer Quantisierungsschemata entfällt.
Interleaved Pre-Tiling: Eine Layout-Strategie, die GEMM-Dimensionen bis zu 32K unterstützt und ein effizientes Runtime-Streaming ermöglicht, indem sie den Speicherzugriff mit den DMA-Buffer-Descriptor-Constraints abgleicht.
GEMV Dataflow Redesign: Ein neuer Dataflow, der Gewichte über das gesamte 4×8 AIE-Array verteilt und so den Durchsatz bei der Token-Generierung signifikant verbessert.
End-to-End Edge Effizienz: Integration dieser Kernel in eine hybride Runtime (NPU für lineare Schichten, iGPU für Attention/Nicht-lineare Schichten), die erhebliche Gewinne bei Latenz und Energieeffizienz demonstriert.

Ergebnisse

Evaluierungen wurden auf Ryzen AI Laptops (Ryzen AI 7 350 und Ryzen AI 9 HX 370) mit Modellen wie Llama3-8B, Gemma-2B und Qwen2.5-3B durchgeführt.

Kernel-Performance:
- GEMM: TileFuse erreicht eine Performance-Verbesserung von bis zu 121,6 % gegenüber Full-Precision-Baselines.
- GEMV: TileFuse erreicht eine Performance-Verbesserung von bis zu 281 % gegenüber Full-Precision-Baselines.
- Vergleich: Bei GEMM liefert TileFuse mehr als den 2-fachen Gewinn an Performance und Energieeffizienz gegenüber starken iGPU-Baselines (llama.cpp fused kernels).
End-to-End LLM Inferenz:
- Prefilling: Auf dem Ryzen AI 7 350 erreicht TileFuse eine bis zu 2,0-mal geringere Prefilling-Latenz (z. B. 2,00× Beschleunigung für Llama3-8B bei 2048 Tokens) im Vergleich zur iGPU-Baseline.
- Energie: Der NPU-Pfad reduziert den Energieverbrauch um mehr als 64,6 % auf dem Ryzen AI 7 350 und um 52,8 % auf dem Ryzen AI 9 HX 370.
- Token-Generierung: Die NPU schneidet bei der Token-Generierung schlechter ab als die iGPU, was auf den Millisekunden-skaligen Overhead von Kernel-Dispatch und Rekonfiguration im Verhältnis zur Mikrosekunden-skaligen Ausführung der GEMV-Operatoren zurückzuführen ist.
Vergleich mit Vorarbeiten: TileFuse übertrifft jüngste NPU-getriebene Frameworks wie FastFlowLM und Scaling NPU im Prefilling-Durchsatz (z. B. 1,45× und 1,61× Beschleunigungen gegenüber Llama3-8B bzw. Qwen2.5-3B).

Bedeutung und Ansprüche

Das Paper behauptet, dass TileFuse zeigt, dass AMD XDNA2 NPUs ein praktisches Ziel für effiziente, fertige quantisierte LLM-Inferenz darstellen. Durch das direkte Bringen von Standardformaten wie AWQ auf die Hardware mittels Close-to-Metal-Optimierung schließt die Arbeit die Lücke zwischen dem rohen NPU-Potenzial und dem realen Client-Deployment.

Die Autoren betonen, dass der Erfolg von TileFuse auf einer hybriden Deployment-Strategie beruht: Nutzung des rekonfigurierbaren räumlichen Arrays der NPU für das Large-Context-Prefilling (wo der Overhead amortisiert wird), während die iGPU für die latenzkritische Token-Generierung genutzt wird. Dieser Ansatz validiert, dass NPUs die Nutzbarkeit von Edge-LLMs erheblich verbessern können, wenn die Hardware an benutzerabhängige Quantisierungsformate angepasst wird, anstatt Modelle zur Konformität mit proprietären Beschränkungen zu zwingen. Die Arbeit etabliert, dass NPUs mit angemessenem Kernel- und Dataflow-Co-Design signifikante Performance- und Energievorteile für Edge-KI liefern können, selbst angesichts der Fragmentierung der Software-Stacks.