🔢 mathematics

PackSELL: A Sparse Matrix Format for Precision-Agnostic High-Performance SpMV

Dit paper introduceert PackSELL, een nieuw formaat voor稀疏 matrices dat door middel van delta-encoding en een innovatief verpakkingsmechanisme de geheugenbehoefte verlaagt en GPU-prestaties voor SpMV-berekeningen aanzienlijk verbetert, zelfs bij het gebruik van aangepaste precisieformaten.

Oorspronkelijke auteurs: Kengo Suzuki, Takeshi Iwashita

Gepubliceerd 2026-04-16

📖 4 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kengo Suzuki, Takeshi Iwashita

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, rommelige bibliotheek hebt vol met boeken (data), maar 99% van de planken is leeg. Je wilt een specifieke lijst van boeken vinden en ze in een nieuwe volgorde zetten (een wiskundige berekening genaamd SpMV).

In de huidige wereld van supercomputers (zoals GPU's in gaming of wetenschap) is het probleem niet dat de computer te traag is om te lezen, maar dat het transporteren van de boeken van de plank naar de leestafel te veel tijd kost. De weg is te lang en de vrachtwagens (de geheugenbandbreedte) zijn te traag.

Hier komt PackSELL in beeld. Het is een nieuwe, slimme manier om die bibliotheek in te richten.

Het Probleem: De "Lege" Planken

Traditionele methodes om deze lege planken op te slaan, zijn als een vrachtwagen die vol zit met lucht. Ze nemen veel ruimte in beslag, maar bevatten weinig nuttige boeken. Als je probeert om de boeken in een kleinere, snellere vrachtwagen te stoppen (om te werken met minder precieze, snellere data zoals FP16), botst je vaak tegen de regels aan: de boeken moeten in vaste, vierkante dozen (bytes) passen. Dat is inefficiënt.

De Oplossing: PackSELL

De onderzoekers van de Universiteit van Kyoto hebben PackSELL bedacht. Hier zijn drie simpele analogieën om te begrijpen hoe het werkt:

1. De "Verschil-Techniek" (Delta Encoding)

Stel je voor dat je een rij postcodes opschrijft.

Oude manier: Je schrijft elke keer de volledige postcode: 1011, 1012, 1013, 1014. Dat is veel papier.
PackSELL manier: Je schrijft alleen het verschil met de vorige: 1011, +1, +1, +1.
Omdat de verschillen vaak heel klein zijn, heb je veel minder ruimte nodig om ze op te slaan. In de computerwereld noemen ze dit delta encoding. PackSELL gebruikt dit voor de "locatie" van de boeken.

2. De "Tandem-Doos" (Packing)

Dit is het meest creatieve deel.
Stel je voor dat je een doosje hebt waarin je normaal gesproken één groot boek (de waarde) en één klein kaartje (de locatie) apart in doet.

PackSELL pakt het boek en het kaartje en plakt ze aan elkaar tot één klein pakketje dat precies in één hand past.
Ze noemen dit "delta-value packing". Ze knutselen de locatie (het verschil) en de waarde (het boek) samen in één woord.
Het voordeel: Je hoeft niet meer twee keer te reiken naar de plank. Je pakt één pakketje en je hebt alles wat je nodig hebt. Dit bespaart enorm veel tijd en ruimte.

3. De "Op Maat Gemaakte Doosjes" (Flexibele Formats)

In de oude wereld moesten alle boeken in standaard dozen van precies 32 of 64 bit passen (zoals de regels van IEEE 754).

PackSELL zegt: "Waarom niet?"
Als je een heel klein boekje hebt, kun je een heel klein doosje maken. Als je een groot boek hebt, maak je een groter doosje.
Ze kunnen de ruimte in het pakketje flexibel verdelen: meer ruimte voor de "waarde" of meer ruimte voor de "locatie", afhankelijk van wat het boek nodig heeft.
Dit betekent dat je kunt werken met nieuwe, snellere formaten die niet door de standaard regels worden beperkt. Het is alsof je in plaats van standaard A4-papier, nu kunt werken met post-it's die precies groot genoeg zijn voor je boodschap.

Wat levert dit op? (De Resultaten)

De onderzoekers hebben dit getest op krachtige grafische kaarten (GPU's) en de resultaten zijn indrukwekkend:

Snelheid: Voor veel taken was PackSELL tot 1,6 keer sneller dan de beste bestaande methodes (van NVIDIA).
Precisie vs. Snelheid: Vaak moet je kiezen: snel maar onnauwkeurig, of traag maar nauwkeurig. PackSELL laat zien dat je snel én nauwkeurig kunt zijn. Ze konden zelfs methodes bouwen die net zo nauwkeurig zijn als de oude, zware methodes, maar net zo snel als de snelle, lichte methodes.
Toepassing: Dit helpt niet alleen bij het snel berekenen van één lijst, maar ook bij het oplossen van enorme, complexe wiskundige problemen (zoals het simuleren van windstromen of het ontwerpen van nieuwe medicijnen). Een specifieke test liet zien dat een complexe rekenmethode 2 keer sneller werd.

Samenvattend

PackSELL is als het vinden van een slimme manier om je spullen in je koffer te pakken. In plaats van alles in grote, stijve dozen te doen, pak je je kleding (de data) strak in, plakt je de etiketten (de locaties) er direct op, en maakt je de koffer precies zo groot als nodig is. Hierdoor kun je veel meer meenemen in minder tijd, zonder dat je spullen beschadigen.

Voor de wetenschap betekent dit: snellere simulaties, minder energieverbruik en de mogelijkheid om nog complexere problemen op te lossen.

Probleemstelling

Sparse matrix-vector vermenigvuldiging (SpMV) is een fundamentele kernel in wetenschappelijke toepassingen, maar wordt op moderne GPU's vaak beperkt door de bandbreedte van het geheugen (memory-bound) in plaats van de rekenkracht. Bestaande hoogpresterende SpMV-kernels zijn grotendeels ontworpen voor klassieke IEEE 754-dataformaten (zoals FP32 en FP64) en gaan uit van data die is uitgelijnd op hardware-vriendelijke grenzen (meestal veelvouden van bytes).

Dit leidt tot twee belangrijke beperkingen:

Beperkte flexibiliteit: Het is moeilijk om niet-IEEE-formaten (zoals aangepaste floating-point of vaste punt-getallen) of niet-byte-uitgelijnde formaten efficiënt te gebruiken, hoewel deze potentieel grote voordelen bieden voor mixed-precision algoritmen.
Onnodige data-overdracht: Bestaande compressietechniques behandelen indices en waarden vaak gescheiden, wat leidt tot inefficiënt gebruik van het geheugen en beperkte kansen voor compressie via delta-encoding.

De auteurs betogen dat de beperkingen voortkomen uit het behandelen van data-representatie als een vast attribuut, in plaats van deze gezamenlijk te ontwerpen met index-encoding en geheugenlayout.

Methodologie: PackSELL

De auteurs stellen PackSELL voor, een nieuw sparse matrixformaat gebaseerd op het Sliced ELLPACK (SELL) formaat. PackSELL introduceert twee kerninnovaties om de geheugenvoetafdruk te verkleinen en de data-representatie flexibel te maken:

Delta-encoding voor kolomindices:
In plaats van de absolute kolomindex op te slaan, wordt de index van een niet-nul element opgeslagen als het verschil (delta) met de vorige niet-nul element in dezelfde rij. Dit verkleint de grootte van de indices aanzienlijk, vooral bij matrices met een bandstructuur.
Delta-Waarde Packing (Delta–Value Packing):
Dit is de meest innovatieve component. Elke paar van een index-delta en een matrixwaarde wordt verpakt in één enkel woord (bijv. 32 bits).
- Bit-toewijzing: Een woord bestaat uit $D$ bits voor de delta en $V$ bits voor de waarde, plus één flag-bit ( $W = V + D + 1$ ).
- Flexibiliteit: Door de verhouding tussen $D$ en $V$ aan te passen, kunnen verschillende dataformaten worden ondersteund, inclusief aangepaste non-IEEE floating-point formaten (zoals E8MY).
- Flag-mechanisme: Om overflow van de delta te voorkomen (als de delta te groot is voor $D$ $D$ bits), wordt een flag-bit gebruikt.
  - Als de delta klein is ( $< 2^D$ ), wordt deze samen met de waarde opgeslagen (flag = 1).
  - Als de delta groot is, wordt het hele woord gebruikt voor de delta (flag = 0) en wordt er een "dummy-element" ingevoegd in de matrixstructuur om de waarde op te slaan.
- Branch-free unpacking: Het formaat is ontworpen zodat het uitpakken van data op de GPU zonder vertakkingen (branch-free) kan gebeuren, wat cruciaal is voor hoge prestaties.

Het formaat ondersteunt ook rij-permutatie (binnen blokken van $\sigma$ rijen) om de hoeveelheid padding te minimaliseren, vergelijkbaar met SELL-C- $\sigma$ .

Belangrijkste Bijdragen

Novel Formaat: Introductie van PackSELL, een formaat dat hoge prestaties voor SpMV op GPU's mogelijk maakt over een breed scala aan dataformaten, inclusief niet-standaard formaten.
Prestatieanalyse: Uitgebreide evaluatie van PackSELL-kernels voor standalone SpMV en geïntegreerd in Krylov-onderruimte methoden (zoals PCG en F3R).
Scenario voor Non-IEEE: Identificatie van een praktisch scenario waar non-IEEE representaties (via PackSELL) de prestaties van mixed-precision solvers verbeteren, zelfs wanneer standaard FP16 onvoldoende nauwkeurigheid biedt.

Resultaten

De experimenten zijn uitgevoerd op een NVIDIA A100 GPU met 435 matrices uit de SuiteSparse-collectie.

Standalone SpMV (FP16):
- Voor matrices met regelmatige sparsiteitspatronen (292 van de 435 matrices), presteerde de PackSELL-kernel (geconfigureerd voor FP16) tot 1,63x sneller dan de NVIDIA cuSPARSE SELL-kernel.
- PackSELL verkleinde de geheugenvoetafdruk aanzienlijk door delta-encoding en packing, wat leidde tot minder data-overdracht.
- PackSELL overtrof ook de DASP-kernel (state-of-the-art) en andere cuSPARSE-formaten (CSR, COO) op de meeste van deze geschikte matrices.
Non-IEEE Formaten en Nauwkeurigheid:
- Door de bit-toewijzing aan te passen (variatie in $D$ en $V$ ), kon PackSELL aangepaste formaten (E8MY) gebruiken.
- Het bleek mogelijk om FP32-niveau nauwkeurigheid te bereiken met prestaties die dicht in de buurt kwamen van, of zelfs beter waren dan, standaard FP16-kernels.
- Dit lost het probleem op waarbij FP16 te weinig mantisse-bits heeft voor convergentie, maar FP32 te veel geheugenbandbreedte kost.
Krylov-onderruimte Methoden (Mixed-Precision Solvers):
- F3R Solver: In een FP16-geactiveerde F3R solver (een geneste Krylov-methode) leverde het gebruik van PackSELL voor de SpMV-kern een totale snelheidswinst op van maximaal 1,32x ten opzichte van een standaard FP16-implementatie.
- Inner-Outer CG: Een mixed-precision PCG-oplosser met PackSELL (gebruikmakend van E8MY-formaten) behaalde een snelheidswinst van maximaal 2,09x ten opzichte van een standaard FP64 PCG-oplosser. Dit is een significante verbetering ten opzichte van eerdere mixed-precision methoden die vaak vastliepen op nauwkeurigheidsproblemen bij FP16.

Betekenis en Conclusie

PackSELL biedt een doorbraak in het ontwerp van sparse matrix-formaten door data-representatie, index-encoding en geheugenlayout geïntegreerd te ontwerpen. De belangrijkste implicaties zijn:

Agnostisch voor precisie: Het formaat maakt het mogelijk om willekeurig te schakelen tussen precisies en aangepaste formaten zonder de kernel-architectuur volledig te herontwerpen.
Efficiëntie: Het reduceert de geheugenvoetafdruk en data-overdracht, wat essentieel is voor memory-bound kernels op moderne GPU's.
Toekomstige Solvers: PackSELL opent de deur voor geavanceerde mixed-precision solvers die gebruikmaken van niet-IEEE formaten, waardoor het mogelijk wordt om de "gouden middenweg" te vinden tussen snelheid (lage precisie) en nauwkeurigheid (hoge precisie) die met standaard formaten niet bereikbaar was.

De auteurs concluderen dat PackSELL niet alleen de prestaties van bestaande FP16-oplossers verbetert, maar ook een praktische basis vormt voor toekomstig onderzoek naar geavanceerde mixed-precision algoritmen.