💻 computer science

FlashAttention for Scalable Vector Architectures

Dit artikel introduceert FlashAttention-V, een geblokte FlashAttention-implementatie geoptimaliseerd voor schaalbare vectorarchitecturen die de transformer-inferentie op CPU's aanzienlijk versnelt door gebruik te maken van inter-head parallellisme en efficiënt geheugentoegang, waarbij tot 42x versnelling in prefill en 11x in decode wordt bereikt, terwijl ook structurele knelpunten in huidige kwantiseringsformaten voor long-vector executie worden belicht.

Oorspronkelijke auteurs: Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne systemen voor kunstmatige intelligentie, van chatbots die e-mails opstellen tot programmeerassistenten die software debuggen, vertrouwen op een specifiek type computerprogramma genaamd een transformer. Deze programma's zijn gebouwd om taal te begrijpen door te kijken naar hoe woorden met elkaar in verband staan binnen een zin. Om dit te doen, gebruiken ze een mechanisme genaamd aandacht (attention), dat werkt als een spotlight, waardoor het systeem zich kan concentreren op de meest relevante delen van de tekst terwijl de rest wordt genegeerd. Hoewel deze systemen vaak worden uitgevoerd op enorme datacenters met krachtige grafische kaarten, is er een groeiende behoefte om ze te draaien op kleinere, alledaagse apparaten zoals laptops, tablets en zelfs gespecialiseerde microchips die in het Internet of Things worden gevonden. Deze kleinere apparaten gebruiken vaak een ander soort processor die ontworpen is om veel berekeningen tegelijkertijd af te handelen door gegevens te verwerken in lange lijnen, bekend als vectorarchitecturen. Er is echter een grote hindernis ontstaan: het aandachtmechanisme is ongelooflijk hongerig naar geheugen, omdat de processor constant grote hoeveelheden gegevens moet ophalen en opslaan, wat alles vertraagt.

Onderzoekers aan de Chalmers University of Technology en de University of Glasgow hebben dit probleem aangepakt door te herontwerpen hoe het aandachtmechanisme werkt op deze vectorprocessors. Ze hebben een nieuwe methode ontwikkeld genaamd FlashAttention-V, die verandert hoe de computer zijn werk organiseert om aan de unieke vorm van deze processors te voldoen. In plaats van te proberen de processor te dwingen om één klein stukje data tegelijk te verwerken, groepeert de nieuwe methode meerdere onafhankelijke berekeningen samen in één enkele, brede lijn van gegevens. Stel je een fabriekslijn voor waarbij arbeiders normaal gesproken één item tegelijk verwerken; deze nieuwe aanpak stelt hen in staat om een hele tray met items te pakken en ze allemaal in één keer te verwerken, wat de tijd die wordt besteed aan het heen en weer lopen naar de opslagplanken drastisch vermindert. Door de volgorde van operaties te herschikken en gegevens compacter te verpakken, ontdekten de onderzoekers dat ze deze kleinere apparaten aanzienlijk sneller konden laten draaien, vooral bij het verwerken van korte tekstfragmenten of wanneer het apparaat nieuwe woorden één voor één genereert.

Het team testte hun nieuwe aanpak op verschillende taalmodellen, waaronder TinyLlama, Llama 3.2 en Qwen2.5, met behulp van zowel echte hardware als gedetailleerde computersimulaties. Op een fysieke ontwikkelkaart genaamd de Banana Pi BPI-F3, die een RISC-V processor gebruikt, bleek de nieuwe methode een enorme verbetering te zijn. Wanneer het apparaat zich voorbereidde op het lezen van een korte input, was de nieuwe aanpak tussen de twaalf en veertien keer sneller dan de standaard, niet-geoptimaliseerde versie. Wanneer het apparaat tekst woord voor woord genereerde, was het vier tot vijf keer sneller. De onderzoekers voerden ook uitgebreide simulaties uit om te zien hoe de methode zou presteren als de processors zouden worden gebouwd met nog bredere datalijnen, in staat om veel grotere brokken informatie tegelijkertijd te verwerken. Deze simulaties toonden aan dat naarmate de datalijnen breder werden, de snelheidswinst bleef stijgen, waarbij een uitschieter van tot wel drieënvertig keer sneller werd bereikt dan de basisversie in de beste scenario's voor het voorbereiden van inputs.

De studie onthulde echter ook een duidelijke grens aan hoeveel sneller deze apparaten kunnen worden. De onderzoekers ontdekten dat hoewel het aandachtgedeelte van het programma sterk profiteert van deze bredere datalijnen, andere delen van het systeem, specifiek de lagen die getallen omzetten in voorspellingen, dat niet doen. Deze lagen gebruiken een specifieke manier van getalopslag genaamd kwantisatie, die de gegevens comprimeert om ruimte te besparen. De manier waarop deze gegevens momenteel zijn verpakt, creëert een structurele mismatch met de brede datalijnen, waardoor de processor extra, inefficiënt werk moet verrichten om de getallen te scheiden en weer samen te voegen. De simulaties toonden aan dat voor deze specifieke lagen de tijd die werd bespaard door meer gegevens tegelijk te verwerken, volledig werd tenietgedaan door de tijd die nodig was om de gegevens te herschikken. Dit betekent dat hoewel het aandachtmechanisme ongelooflijk snel gemaakt kan worden, de algehele snelheid van het systeem momenteel wordt tegengehouden door deze andere componenten, wat suggereert dat toekomstige verbeteringen een verandering vereisen in hoe deze getallen worden opgeslagen, en niet alleen in hoe ze worden verwerkt.

De bevindingen bieden een duidelijk pad voorwaarts om kunstmatige intelligentie toegankelijker te maken op alledaagse apparaten. De nieuwe methode, FlashAttention-V, overbrugt succesvol de kloof tussen het ontwerp van moderne taalmodellen en de mogelijkheden van schaalbare vectorprocessors. Het bewijst dat door simpelweg de manier waarop de computer over zijn taken denkt te herordenen en gegevens efficiënter te verpakken, aanzienlijke prestatiewinst mogelijk is zonder dat er nieuwe hardware nodig is. Het onderzoek bevestigt dat voor korte taken en real-time tekstgeneratie, deze geoptimaliseerde processors zeer effectief kunnen zijn. Toch dient het ook als een waarschuwing dat de huidige manieren om gegevens te comprimeren voor deze apparaten mogelijk tegen een muur aanlopen, en dat het ontsluiten van het volledige potentieel van toekomstige, bredere processors waarschijnlijk zal afhangen van het oplossen van de puzzel van hoe deze gecomprimeerde getallen intelligenter op te slaan en te verplaatsen.

Technische Samenvatting: FlashAttention voor Schaalbare Vectorarchitecturen

Probleemstelling

Inference met transformer-modellen op CPU's wordt steeds kritischer, vooral voor Small Language Models (SLM's) die op edge-apparaten worden ingezet. Hoewel vectorarchitecturen zoals de RISC-V Vector Extension (RVV) en ARM Scalable Vector Extension (SVE) veelbelovende executiesubstraten bieden, blijft het attention-module een primaire bottleneck vanwege de hoge eisen aan de geheugenbandbreedte.

Bestaande implementaties van FlashAttention op vector-CPU's (bijv. in llama.cpp) lijden onder een fundamentele schaalbaarheidsbeperking: ze koppelen de vectorelengte (VL) aan de head-dimensie ( $D$ ), doorgaans 64 of 128. Wanneer hardware vervolgens vectorelengtes ondersteunt die aanzienlijk groter zijn dan $D$ (bijv. 512-bit, 2048-bit of 8192-bit), kunnen deze implementaties de volledige SIMD-breedte niet benutten. Ze verzadigen bij $VL \le D$ , waardoor bredere vectorregisters onderbenut blijven en het potentieel van long-vector architecturen niet wordt benut. Bovendien introduceren standaard kwantiseringsformaten (specifiek Q8_0) structurele incompatibiliteiten met long-vector executie in lineaire projectie- en feed-forward lagen, wat voor extra bottlenecks zorgt.

Methodologie

De auteurs stellen FlashAttention-V voor, een herontworpen FlashAttention-algoritme dat specifiek is geoptimaliseerd voor schaalbare vectorarchitecturen. De kerninnovatie is het exploiteren van parallellisme over attention heads in plaats van alleen binnen een enkele head.

Belangrijke Algoritmische Transformaties

Inter-Head Packing: Wanneer $VL > D$, mapt FlashAttention-V meerdere attention heads naar een enkel vectorregister. Door de loops over de attention heads te herordenen en loop unrolling toe te passen, verpakt het algoritme elementen van $Q$ , $K$ en $V$ uit meerdere heads in aaneengesloten vectorregisters. Dit stelt het systeem in staat om vectorelengtes te gebruiken die de head-dimensie overstijgen.
Loop Reordering en Unrolling: Het algoritme herordent loops om de ruimtelijke lokaliteit te verbeteren en unit-stride geheugentoegang mogelijk te maken. Het past loop unrolling toe over de attention heads om de instruction-level parallelism (ILP) te verhogen en de bezetting van de vectorregisters te maximaliseren.
GQA/MHA Bewustzijn: Het ontwerp ondersteunt van nature Grouped-Query Attention (GQA) en Multi-Query Attention (MQA). Voor gedeelde key-value heads laadt het algoritme de data één keer en repliceert deze over het vectorregister, waardoor redundante geheugentoegang wordt vermeden.
Blocked Execution: De implementatie maakt gebruik van cache-bewuste blocking-strategieën (geïnspireerd door FlashAttention-2) om intermediaire data in registers te houden en het geheugentrafiek te verminderen.

Experimentele Opstelling

Implementatie: Geïntegreerd in het ggml-framework binnen llama.cpp met behulp van RISC-V en ARM SVE intrinsics.
Geëvalueerde Modellen: TinyLlama, Llama 3.2, Qwen2.5 (GQA-modellen) en Pythia-410M (MHA-model).
Hardware/Simulatie:
- Echte Hardware: Banana Pi BPI-F3 (RVV 256-bit).
- Simulatie: gem5 geconfigureerd met een in-order RiscvMinorCPU voor RISC-V. De simulator werd uitgebreid om realistische vectorlatenties te modelleren die proportioneel zijn aan de vectorelengte en het aantal lanes (gebaseerd op de Vitruvius+-microarchitectuur), schalend van 512-bit tot 8192-bit vectorelengte en 8 tot 64 lanes.
Baselines: Niet-gevectoriseerde FlashAttention (ggml-scalar) en bestaande gevectoriseerde FlashAttention (ggml-vec).

Belangrijkste Bijdragen

FlashAttention-V Algoritme: Een nieuwe aanpak die effectieve benutting van vectorelengtes groter dan de head-dimensie ($VL > D$) mogelijk maakt door inter-head parallellisme te exploiteren. Het bereikt een 22×–42× versnelling ten opzichte van scalaire FlashAttention in de prefill-fase en 8×–11× in de decode-fase bij 512-bit vectorelengtes (gem5 simulatie).
Schaalbaarheidsanalyse: Het paper biedt een kwantitatieve analyse van de FlashAttention-V schaling tot 8192-bit vectorelengtes. Het identificeert dat hoewel theoretische versnellingen toenemen met de vectorbreedte, de realistische prestaties worden bepaand door de latenties van de vector functionele eenheden. De auteurs stellen vast dat configuraties met 64 vector lanes en 4096-bit vectoren een optimale schaalbaarheid bereiken (2×–2.5× winst in prefill), terwijl de winsten afnemen voorbij dit punt door latentie-overhead.
Identificatie van Kwantiserings-bottlenecks: De auteurs karakteriseren een structurele incompatibiliteit tussen Q8_0 kwantisering en long-vector executie in lineaire projectie- en feed-forward lagen. Ze demonstreren dat de geïntellekte lay-out van gewichten en schalen in Q8_0 expliciete packing en gemaskeerde reductie-operaties afdwingt, die tot 60% van de executiecycli consumeren bij 2048-bit VL. Deze overhead neutraliseert de rekenkundige voordelen van langere vectoren, een bevinding die consistent is over zowel RVV als Arm SVE.

Resultaten

Echte Hardware (Banana Pi BPI-F3): FlashAttention-V behaalde een 12×–14× versnelling ten opzichte van scalaire FlashAttention. Het was het meest effectief voor korte contexten ( $N \le 128$ ), die gebruikelijk zijn bij edge-inference.
Prefill Fase (Simulatie):
- Bij 512-bit VL varieerden de versnellingen van 22× (TinyLlama) tot 42× (Qwen2.5) ten opzichte van scalaire baselines.
- Schalen naar 8192-bit VL leverde aanvullende winsten op (tot ~3×) voor modellen met kleinere head-dimensies die meer heads per register konden verpakken.
- Onder realistische latentie-schaling (64 lanes), behield de 4096-bit configuratie een 2×–2.5× versnelling ten opzichte van de 512-bit baseline, terwijl 8192-bit configuraties een afnemend rendement vertoonden door latentie-strafkosten.
Decode Fase: FlashAttention-V behaalde een 8×–11× versnelling bij 512-bit VL. Echter, door het single-token karakter van decoding, vertoonde de prestatie een verminderde gevoeligheid voor vectorbreedte en lane-aantal boven de 512 bits, omdat de workload per iteratie onvoldoende was om de packing/unpacking overheaden te amorteren.
Gekwantiseerde Lagen: Microbenchmarks toonden aan dat de packing en gemaskeerde reductie overheads in Q8_0 lineaire lagen de executietijd domineren bij hoge vectorelengtes, wat de arithmetic amortisatie verhindert.

Betekenis en Claims

Het paper claimt de kloof te overbruggen tussen FlashAttention en schaalbare vectorarchitecturen door efficiënte executie mogelijk te maken op vectorelengtes die de head-dimensie ver overstijgen. De auteurs stellen dat hun optimalisaties (loop reordering, inter-head packing en unrolling) overdraagbare principes zijn die transformer-inference op edge-apparaten aanzienlijk versnellen.

Cruciaal is dat het paper een fundamentele beperking in huidige kwantiseringsstrategieën voor long-vector executie benadrukt. Het betoogt dat hoewel FlashAttention-V het attention-mechanisme succesvol schaalt, de structurele lay-out van Q8_0 gekwantiseerde lineaire lagen een barrière vormt voor vergelijkbare schaalbaarheid in feed-forward netwerken. De auteurs concluderen dat toekomstig werk alternatieve kwantiseringsformaten of geheugenlay-outs moet verkennen om de expliciete packing-overheaden te elimineren, aangezien de huidige rekenkundige winsten van lange vectoren momenteel worden tenietgedaan door dataverplaatsingskosten in gekwantiseerde modellen.

Het werk biedt bruikbare inzichten voor hardwareontwerpers en software engineers, waarbij wordt gesuggereerd dat 64-lane, 4096-bit vectorconfiguraties een "sweet spot" bieden voor schaalbaarheid voordat latentie-overheaden domineren, en dat het optimaliseren van enkel de attention kernels onvoldoende is voor end-to-end prestatiewinst zonder de kwantisatie-geïnduceerde bottlenecks aan te pakken.