🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

Dit artikel introduceert TileFuse, een close-to-metal mixed-precision kernelbibliotheek voor AMD XDNA2 NPU's die het uitpakken, dequantization en matrixoperaties fuseert om efficiënte, native ondersteuning te bieden voor populaire AWQ-stijl gekwantiseerde LLM-inferentie, waarbij significante prestatie- en energie-efficiëntiewinsten worden behaald ten opzichte van bestaande baselines op client edge-apparaten.

Oorspronkelijke auteurs: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gloednieuwe, supersnelle bezorgwagen (de NPU) in je garage hebt staan, maar de enige landkaart die je hebt (de software) vertelt je hoe je op een trage, oude fiets moet rijden. Je kunt de snelheid van de vrachtwagen niet gebruiken omdat de kaart niet weet hoe hij door de rijstroken moet navigeren.

Dit is het probleem met het draaien van moderne AI-chatbots (LLM's) op de nieuwe laptopchips van vandaag. Deze chips hebben krachtige "AI-motoren" (NPU's) die ontworpen zijn om batterij te besparen en snel te zijn, maar de software dwingt de AI meestal om van vorm te veranderen om in de motor te passen, in plaats van de motor aan te laten passen aan de AI.

TileFuse is een nieuwe set tools die dit oplost. Het is alsof je een aangepaste, hogesnelheidsweg bouwt die specifiek voor de vrachtwagen is ontworpen, zodat deze zware ladingen gecomprimeerde data kan vervoeren zonder ze tussendoor opnieuw te hoeven verpakken.

Hier is hoe het artikel deze oplossing uitlegt met behulp van eenvoudige analogieën:

1. Het Probleen: De "Verpakkings"-bottleneck

Normaal gesproken, om AI op deze nieuwe chips te draaien, moet je de "gecomprimeerde" gewichten van de AI (die als boeken strak in een kleine koffer gepakt zitten) uitpakken naar een volumineus formaat (zoals de boeken uit de koffer halen en ze plat op een tafel leggen) zodat de chip ze kan lezen.

De Oude Manier: De chip leest de koffer, pakt de boeken uit, stopt ze in een andere koffer, en dan begint hij pas met lezen. Dit verspilt tijd en energie.
De TileFuse Manier: De chip leest de koffer, opent hem, en leest de boeken terwijl ze nog worden uitgepakt. Hij doet alles in één vloeiende beweging.

2. De Oplossing: "Fused" Kernels

De auteurs hebben een bibliotheek gemaakt genaamd TileFuse. Beschouw een "kernel" als een specifieke instructiehandleiding voor de chip.

Fusion (Versmelting): In plaats van drie aparte werkers (één om uit te pakken, één om te converteren, één om te berekenen), combineert TileFuse hen tot één superwerker. Deze werker grijpt de gecomprimeerde data, converteert deze on the fly, en doet de berekeningen allemaal in één keer.
Het Resultaat: Dit is als een chef die niet alleen groenten snijdt; hij snijdt, kruidt en kookt ze in één continue beweging. Het artikel beweert dat dit het "uitpakken" van het proces tot wel 2,8 keer sneller maakt voor bepaalde taken vergeleken met oudere methoden.

3. De "Interleaved" Lay-out: Het organiseren van het magazijn

Grote AI-modellen hebben enorme lijsten met getallen (gewichten). Het geheugensysteem van de chip heeft een limiet aan hoe ver het kan reiken om het volgende stukje data te pakken. Als de data op een rommelige, verspreide manier is opgeslagen, moet de chip lange, trage afstanden afleggen om het volgende stukje te halen.

De Analogie: Stel je een magazijn voor waar dozen willekeurig zijn gestapeld. Een heftruck moet 15 meter rijden om de volgende doos te halen.
De Fix van TileFuse: Ze herordenen het magazijn (genaamd "Interleaved Pre-tiling") zodat de dozen die de heftruck als volgende nodig heeft, direct naast elkaar staan. Hierdoor kan de chip enorme hoeveelheden data in één vloeiende beweging grijpen, wat veel grotere AI-modellen ondersteunt (tot 32.000 items breed) die voorheen niet pasten.

4. Het "GEMV"-probleem: De verkeersopstopping

AI-chatbots werken in twee fasen:

Prefilling: Een lange prompt in één keer lezen (zoals het lezen van een heel boek). Dit is snel en makkelijk voor de vrachtwagen.
Token Generation: Woord voor woord schrijven (zoals het schrijven van een zin). Dit is traag en lastig.

Het Probleel: Tijdens het schrijven van woorden één voor één, staat de "vrachtwagen" van de chip vaak stil omdat hij is ontworpen om grote ladingen te dragen, niet kleine. Het is alsof je een semi-vrachtwagen gebruikt om een enkele brief te bezorgen; de motor draait, maar de vrachtwagen is leeg.
De Fix: TileFuse heeft de verkeersstroom voor deze fase herontworpen. In plaats van data naar slechts één rijstrook van de snelweg te sturen, verdeelt het de taken over alle 3-en-30 rijstroken van de chip tegelijkertijd. Dit houdt de hele motor bezig, zelfs wanneer de "lading" klein is.

5. De Resultaten in de Praktijk

Het team heeft dit getest op echte AMD-laptops (Ryzen AI) en vergeleken met het gebruik van de standaard grafische kaart (iGPU) van de laptop.

Snelheid: Voor het lezen van lange prompts (prefilling) was de NPU met TileFuse tot wel 2 keer sneller dan de grafische kaart.
Batterij: Omdat de NPU efficiënter is, verbruikte deze 64% minder energie om dezelfde taak uit te voeren.
De Keerzijde: Bij het schrijven van woorden één voor één (token generation) was de NPU soms langzamer dan de grafische kaart. Dit komt omdat de "opstarttijd" om de NPU te configureren te lang is voor zulke kleine, snelle taken.
De Hybride Oplossing: Het artikel suggereert een "het beste van beide werelden"-aanpak: Gebruik de NPU voor het zware werk (het lezen van lange prompts) en de grafische kaart voor de snelle taken (het schrijven van woorden). Deze combinatie geeft de beste snelheid en batterijduur.

Samenvatting

TileFuse is een brug. Het neemt de populaire, gecomprimeerde AI-formaten die ontwikkelaars al gebruiken (zoals AWQ) en zorgt ervoor dat ze direct op de nieuwe AI-chips van AMD kunnen draaien zonder dat de AI-modellen zelf veranderd hoeven te worden. Door het uitpakken en de berekeningen te combineren, de data perfect te organiseren en de volledige kracht van de rijstroken van de chip te benutten, maakt het het draaien van AI op laptops aanzienlijk sneller en energie-efficiënter.

Technische Samenvatting: TileFuse

Probleemstelling

De implementatie van Large Language Models (LLM's) op edge-apparaten is steeds afhankelijker van Neural Processing Units (NPU's) om te voldoen aan strikte energie- en thermische budgetten. De praktische implementatie van LLM-inferentie op client-NPU's, specifiek de AMD XDNA2-architectuur, staat echter voor aanzienlijke barrières. Het primaire obstakel is de fragmentatie van softwarestacks en het gebrek aan programmeren op laag niveau. De meeste NPU-frameworks (bijv. Apple Core ML, Intel OpenVINO, Qualcomm QNN) bieden alleen high-level interfaces of propriëtaire implementatiepaden die niet van nature ondersteuning bieden voor veelgebruikte, kant-en-klare kwantiseringsformaten zoals AWQ (Activation-Weight Quantization).

Gevolgelijk worden ontwikkelaars vaak gedwongen modellen te hervormen om in NPU-specifieke kwantiseringsschema's te passen of moeten ze vertrouwen op minder efficiënte full-precision uitvoering. Hoewel sommige eerdere werken hardware-bewuste kwantisering hebben verkend voor specifieke platforms (bijv. Qualcomm's ScalingLLM), ondersteunen zij vaak geen standaardformaten zoals $W4A16$ of kunnen zij de grote matrixdimensies (bijv. >8K) die gebruikelijk zijn bij moderne LLM's niet aan. Bovendien missen bestaande NPU-optimalisaties vaak het vermogen om unpacking en dequantization direct in de compute kernel te fuseren, wat leidt tot onnodig geheugentrafiek en inefficiënte datamobiliteit.

Methodologie

TileFuse is een close-to-metal mixed-precision kernel library ontworien voor AMD XDNA2 NPU's, gericht op de lineaire lagen (GEMM en GEMV) die de overhand hebben bij LLM-inferentie. Het systeem maakt gebruik van de open MLIR-AIE (IRON) programmeerflow om gewichtslayouts, metadata-plaatsing, microkernels en array-niveau dataflows gezamenlijk te ontwerpen.

1. Fused Mixed-Precision Microkernels

TileFuse fuseert drie afzonderlijke operaties in één enkele kernel flow:

Unpacking: Het extraheren van gepakte INT4/INT8 gewichten.
Dequantization: Het converteren van low-bit integers naar BF16 met behulp van per-group of per-channel scales en zero-points.
Execution: Het uitvoeren van de matrixvermenigvuldiging (GEMM) of matrix-vectorvermenigvuldiging (GEMV).

Door gewichten in gecomprimeerde vorm te houden totdat ze de compute core bereiken, vermijdt TileFuse de globale geheugen round-trip die nodig is om full-precision (BF16) gewichten te materialiseren. De microkernels zijn ontworpen om elke gewichtstile één keer uit te pakken en te dequantiseren, de resulterende BF16-waarden in het lokale compute-core geheugen op te slaan en deze vervolgens te hergebruiken voor opeenvolgende matrixoperaties, waardoor de hergebruikpatronen die essentieel zijn voor tiled GEMM-prestaties behouden blijven.

2. Interleaved Pre-Tiling

Om de beperkingen van runtime DMA streaming constraints (die doorgaans dimensies onder de 8K beperken) aan te pakken, gebruikt TileFuse een offline interleaved pre-tiling strategie.

Metadata Packing: Kwantiseringsmetadata (scales en zero-points) wordt direct in de gewichtstiles in het geheugen gepakt, waardoor gegarandeerd wordt dat alle benodigde data voor dequantization contiguus beschikbaar is.
Layout Reorganisatie: De gewichtsmatrix wordt geherorganiseerd in een interleaved column-major layout. Dit zorgt ervoor dat gewichtstiles die aan dezelfde AIE-kolom zijn toegewezen, contigu in het geheugen liggen, wat grote geheugestappen voorkomt die anders een enkele GEMM-operatie over meerdere kernel-invocaties zouden verdelen. Deze aanpak ondersteunt GEMM-dimensies tot 32K.

3. GEMV Dataflow Co-Design

Token-generatie in edge LLM's is doorgaans een batch-size-1 GEMV-operatie, die in full precision vaak memory-bound is, maar compute-bound wordt wanneer kwantisering en dequantization worden geïntroduceerd.

Baseline Beperking: Standaard GEMV-mappings maken vaak alleen gebruik van een enkele rij van de 4×8 AIE compute array, waardoor het grootste deel van de hardware onbenut blijft.
Optimalisatie: TileFuse ontwerpt de dataflow opnieuw om de gewichten over de volledige 4×8 array te distribueren. Het gebruikt memory cores als een intermediaire distributielaag, waarbij bundels van gewichtstiles van shim cores naar memory cores worden gestreamd, die ze vervolgens verspreiden naar alle vier de compute rows. Dit maximaliseert de ruimtelijke benutting en de rekenkundige throughput voor token-generatie.

4. Reconfigurability-Aware Optimization

Het systeem maakt expliciet gebruik van de reconfigureerbaarheid van de XDNA2-architectuur om compute-core microkernels en DMA-toegangspatronen aan te passen aan specifieke workloads. De auteurs erkennen echter dat deze flexibiliteit runtime dispatch en fabric reconfiguration overhead introduceert. TileFuse is geoptimaliseerd om deze overhead te ammortiseren tijdens grote prefilling GEMMs, maar erkent de beperkingen voor latency-gevoelige, kleinschalige GEMV-operaties.

Belangrijkste Bijdragen

Fused Kernels voor Praktische Kwantisering: Implementatie van gefuseerde AIE-kernels die direct AWQ-stijl $W4A16$ en $W8A16$ gewichten consumeren, waardoor de noodzaak voor modelhervorming of propriëtaire kwantiseringsschema's vervalt.
Interleaved Pre-Tiling: Een layout-strategie die GEMM-dimensies tot 32K ondersteunt en efficiënte runtime streaming mogelijk maakt door geheugentoegang af te stemmen op de DMA buffer descriptor constraints.
GEMV Dataflow Redesign: Een nieuwe dataflow die gewichten over de volledige 4×8 AIE array distribueert, wat de throughput tijdens token-generatie aanzienlijk verbetert.
End-to-End Edge Efficiëntie: Integratie van deze kernels in een hybride runtime (NPU voor lineaire lagen, iGPU voor attention/non-lineaire lagen) die substantiële winsten in latency en energie-efficiëntie aantoont.

Resultaten

Evaluaties werden uitgevoerd op Ryzen AI laptops (Ryzen AI 7 350 en Ryzen AI 9 HX 370) met modellen zoals Llama3-8B, Gemma-2B en Qwen2.5-3B.

Kernel Prestaties:
- GEMM: TileFuse bereikt tot 121,6% prestatieverbetering ten opzichte van full-precision baselines.
- GEMV: TileFuse bereikt tot 281% prestatieverbetering ten opzichte van full-precision baselines.
- Vergelijking: Op GEMM levert TileFuse meer dan 2× prestatie- en energie-efficiëntiewinst op ten opzichte van sterke iGPU baselines (llama.cpp fused kernels).
End-to-End LLM Inferentie:
- Prefilling: Op de Ryzen AI 7 350 bereikt TileFuse tot wel 2,0× lagere prefilling latency (bijv. 2,00× versnelling voor Llama3-8B bij 2048 tokens) vergeleken met de iGPU baseline.
- Energie: Het NPU-pad vermindert het energieverbruik met meer dan 64,6% op de Ryzen AI 7 350 en 52,8% op de Ryzen AI 9 HX 370.
- Token Generatie: De NPU presteert minder goed dan de iGPU voor token-generatie vanwege de milliseconde-schaal overhead van kernel dispatch en reconfiguration ten opzichte van de microseconde-schaal uitvoering van GEMV operators.
Vergelijking met Voorgaand Werk: TileFuse presteert beter dan recente NPU-gestuurde frameworks zoals FastFlowLM en Scaling NPU in prefilling throughput (respectievelijk 1,45× en 1,61× versnellingen op Llama3-8B en Qwen2.5-3B).

Betekenis en Claims

Het artikel claimt dat TileFuse aantoont dat AMD XDNA2 NPU's een praktisch doelwit zijn voor efficiënte, kant-en-klare gekwantiseerde LLM-inferentie. Door standaardformaten zoals AWQ direct op de hardware te brengen via close-to-metal optimalisatie, overbrugt dit werk de kloof tussen het ruwe NPU-potentieel en real-world client-implementatie.

De auteurs benadrukken dat het succes van TileFuse rust op een hybride implementatiestrategie: het gebruik van de reconfigureerbare ruimtelijke array van de NPU voor grootschalige context prefilling (waar de overhead wordt geamortiseerd), terwijl de iGPU wordt gebruikt voor latency-gevoelige token-generatie. Deze aanpak valideert dat NPU's de bruikbaarheid van edge LLM's aanzienlijk kunnen verbeteren wanneer de hardware wordt aangepast aan de door gebruikers gehanteerde kwantiseringsformaten, in plaats van modellen te dwingen zich aan propriëtaire beperkingen te conformeren. Het werk stelt vast dat met passende kernel en dataflow co-design, NPU's aanzienlijke prestatie- en energievoordelen kunnen leveren voor edge AI, zelfs in de aanwezigheid van softwarestack-fragmentatie.