VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration

Dit paper introduceert VMXDOTP, een RISC-V Vector ISA-extensie die de inefficiëntie van microscaling (MX) formaten in vectorverwerking oplost door een speciaal ontworpen instructie voor MX-dotproducten te bieden, wat resulteert in aanzienlijke verbeteringen in prestaties, energie-efficiëntie en area-gebruik voor moderne AI-modellen.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met boeken (dat is je kunstmatige intelligentie of AI). Vroeger waren deze boeken allemaal geschreven in een standaard lettertype: groot, duidelijk, maar ze namen veel ruimte in beslag op de planken.

Vandaag de dag willen we die boeken kleiner maken, zodat we er meer op dezelfde plank kunnen zetten en ze sneller kunnen vinden. We gebruiken dus een heel klein lettertype (dit noemen ze MX-formaten of "Microscaling"). Het probleem is echter: als je die kleine letters te snel probeert te lezen, raakt je hersenen (de processor) in de war. Ze moeten constant stoppen om te kijken hoe groot de letters eigenlijk zijn, en dat kost veel tijd en energie.

Dit artikel introduceert een nieuwe oplossing: VMXDOTP.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vertaal-En-Verwerk" Trap

Stel je voor dat je een team van werknemers (de computer) hebt die boeken moet samenvatten.

• De oude manier (Software): Je geeft ze de boeken in het kleine lettertype. De werknemers moeten eerst elk woord uitschrijven in een groot lettertype (om het te begrijpen), dan de samenvatting maken, en daarna weer terugvertalen. Dit is traag en kost veel papier (energie).
• Het resultaat: De werknemers zitten de helft van de tijd te vertalen in plaats van te werken. De machine is traag en verbruikt veel stroom.

2. De Oplossing: Een Speciale "Snelle Lezer"

De auteurs van dit papier hebben een nieuwe instructie bedacht voor de computer, genaamd VMXDOTP.

Stel je voor dat je in plaats van gewone werknemers, een team hebt met een speciale bril.

• Met deze bril kunnen ze het kleine lettertype direct lezen, zonder het eerst om te zetten.
• Ze kunnen zelfs direct zien hoe groot de letters zijn (de "schaal" of scale), en de samenvatting maken terwijl ze lezen.
• Het is alsof je een machine hebt die direct "klinkt" wat er in het kleine lettertype staat, zonder de omweg van vertalen.

3. Hoe werkt het precies? (De Analogie van de Blokken)

In de computerwereld werken deze AI-modellen met blokken van getallen.

• De oude methode: De computer nam een blok van 32 kleine getallen, verpakte ze in een grote doos (om ze te begrijpen), deed de berekening, en gooide de doos weg.
• De nieuwe methode (VMXDOTP): De computer heeft een speciaal gereedschap dat precies past op die kleine blokken. Het pakt het blok, kijkt naar één getal dat aangeeft hoe groot de andere getallen zijn (de "schaal"), en doet de berekening direct. Geen verpakkingsmateriaal nodig.

4. Waarom is dit zo belangrijk?

De onderzoekers hebben dit nieuwe gereedschap gebouwd in een chip (een heel klein brein) en getest. Het resultaat is verbazingwekkend:

• Snelheid: Het is tot 7 keer sneller dan de oude manier van werken. Alsof je een fiets vervangt door een racefiets.
• Energie: Het verbruikt veel minder stroom. Je kunt het vergelijken met een elektrische auto die 5 keer verder rijdt op dezelfde accu dan een oude benzineauto.
• Flexibiliteit: De oude systemen waren vaak star (alleen blokken van 32). Dit nieuwe systeem is slim genoeg om blokken van verschillende maten te hanteren, afhankelijk van wat de software nodig heeft.

5. De Conclusie

Kortom: AI-modellen worden steeds groter en complexer. Om ze snel en goedkoop te laten draaien, moeten we stoppen met het "vertalen" van kleine gegevens naar grote formaten.

VMXDOTP is de sleutel die de deur opent naar een nieuwe generatie AI-chips die:

1. Direct met de kleine, efficiënte gegevens kunnen werken.
2. Niet hoeven te stoppen om te vertalen.
3. Veel sneller en zuiniger zijn dan wat we nu hebben.

Het is alsof we eindelijk een gereedschap hebben dat precies past bij de vorm van de toekomstige AI, in plaats van de AI te forceren om in een verouderde vorm te passen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration" in het Nederlands.

Probleemstelling

Moderne AI-werklasten, zoals decoder-gebaseerde transformers, vereisen flexibele acceleratoren die verder gaan dan de traditionele matrixvermenigvuldigingen (MatMuls) en convoluties. Tegelijkertijd maken de groeiende modelgrootte en bandbreedte-eisen het gebruik van verlaagde precisie-formaten (zoals Microscaling of MX) aantrekkelijk om data-volumes te reduceren.

Hoewel MX-formaten (op basis van block floating-point) de opslag en bandbreedte efficiënter maken, zijn ze slecht afgestemd op de uitvoering in vectorprocessors:

1. Software-emulatie inefficiëntie: Bestaande RISC-V Vector Extension (RVV) instructies vereisen dat MX-data eerst wordt "ontspannen" (decompressed) naar bredere formaten (zoals FP16 of FP32) voordat berekeningen kunnen plaatsvinden. Dit introduceert aanzienlijke overhead door conversie-instructies, schaling van blokken en frequent wisselen van vector-type (vtype).
2. Resource onderbenutting: Deze multi-stap, gemengde precisie-operaties breken de regelmaat van de vector-pijplijn, wat leidt tot een lage uitbating van de rekenresources (functional units) en prestatieverlies.
3. Gebrek aan native ondersteuning: Hoewel MX-formaten als opslagformaat worden gebruikt, ontbreekt er hardware-ondersteuning voor de daadwerkelijke berekening (dot product) zonder decompressie, wat het potentieel voor energie-efficiëntie en snelheid beperkt.

Methodologie

De auteurs stellen VMXDOTP voor, een nieuwe ISA-extensie voor de RISC-V Vector Extension (RVV) 1.0, specifiek ontworpen voor efficiënte MX dot-product uitvoering.

Kernprincipes van het ontwerp:

• Native Hardware-ondersteuning: In plaats van softwarematige decompressie, voert de hardware direct de dot-product berekening uit op MXFP8 en MXFP4 elementen, inclusief toepassing van de blokschaal (block scaling) en accumulatie.
• Instructie-ontwerp: De extensie introduceert nieuwe instructies (vmxdotp) die een dot-product van een MX-blok berekenen en het resultaat direct accumuleren in FP32 of BF16.
  • Het ondersteunt flexibele, software-gedefinieerde blokgroottes (niet beperkt tot de standaard 32).
  • Het ondersteunt zowel vector-vector als vector-scalar varianten.
• Hardware-implementatie: De auteurs hebben de open-source Spatz vector processor (een VPE-cluster) uitgebreid met deze extensie.
  • Ze hebben een aangepast datapad ontworpen dat MX-elementen en schaalfactoren efficiënt verwerkt.
  • Om de hoge aantal leespoorten (5 bronnen voor de instructie) te managen zonder de area-kost te laten exploderen, wordt gebruik gemaakt van prefetching en buffering van de schaalfactoren (scales) binnen de Vector Arithmetic Unit (VAU).
  • De implementatie is uitgevoerd in 12 nm FinFET technologie.

Belangrijkste Bijdragen

1. Analyse van Software-emulatie: Een diepgaande analyse toont aan dat software-emulatie van MX-MatMul fundamentele beperkingen heeft, met name door de overhead van FP-conversies en blokschaling, wat leidt tot een lage uitbating van de functional units.
2. VMXDOTP ISA Extensie: Een nieuwe set instructies die MXFP8 en MXFP4 dot-products met accumulatie in één instructie uitvoert, ondersteunend FP32 en BF16 accumulatie.
3. Hardware Integratie: De succesvolle integratie van VMXDOTP in de Spatz VPE, inclusief een ontwerp dat de complexiteit van de register-bestand (VRF) leespoorten oplost via tijdsverdeling (time-multiplexing) van schaalfactoren.
4. Prestatie-evaluatie: Een uitgebreide evaluatie op chip-niveau (12 nm) die de prestaties en energie-efficiëntie vergelijkt met software-emulatie en state-of-the-art oplossingen.

Resultaten

De implementatie van VMXDOTP levert aanzienlijke verbeteringen op ten opzichte van software-emulatie en bestaande baselines:

• Snelheid en Efficiëntie:
  • Tot 7,0x snelheidswinst en 4,9x hogere energie-efficiëntie voor MXFP8-MatMul vergeleken met software-emulatie op de originele Spatz processor.
  • Voor BF16 accumulatie wordt een snelheidswinst van 4,8x en energie-efficiëntie van 3,8x behaald.
• Doorvoer (Throughput):
  • Tot 125 MXFP8-GFLOPS en 250 MXFP4-GFLOPS bij 1 GHz.
  • Energie-efficiëntie van 843 GFLOPS/W (MXFP8) en 1632 GFLOPS/W (MXFP4).
• Resource Uitbating: De VMXDOTP-enhanced cluster bereikt een uitbating van 97% op MX-MatMul-werklasten, wat aantoont dat de hardware de pijplijn optimaal benut.
• Area Overhead: De toevoeging van de extensie resulteert in slechts 7,2% area-overhead op cluster-niveau (en 12,6% op kern-niveau).
• Vergelijking met State-of-the-Art:
  • In vergelijking met andere MX-engines is VMXDOTP 1,4x area-efficiënter en 2,1x energie-efficiënter.
  • Het biedt unieke flexibiliteit door software-gedefinieerde blokgroottes te ondersteunen, in tegenstelling tot veel vaste accelerators.

Betekenis en Conclusie

Dit paper demonstreert dat het volledig benutten van de voordelen van Microscaling-formaten (MX) op vectorprocessors native hardware-ondersteuning vereist. Softwarematige oplossingen falen om de compacte data-weergave om te zetten in rekenvoordeel vanwege de inherente overhead.

VMXDOTP bewijst dat een goed ontworpen ISA-extensie, geïntegreerd in een standaard RISC-V vector-architectuur, een krachtige en flexibele oplossing biedt voor de volgende generatie AI-werklasten. Het biedt een balans tussen hoge energie-efficiëntie, hoge doorvoer en programmeerbaarheid, wat essentieel is voor de toekomst van AI-acceleratie op energie-efficiënte platforms. De resultaten onderstrepen de noodzaak van specifieke instructies voor "block-scaled dot-product accumulate" in toekomstige RVV-standaarden.