🤖 machine learning

Reducing the GPU Memory Bottleneck with Lossless Compression for ML -- Extended

Dit artikel introduceert Invariant Bit Packing (IBP), een nieuw lossless compressie-algoritme dat naadloos integreert in ML-pipelines om GPU-geheugenbottlenecks te elimineren en de training van GNN's, DLRM-embedding-lookups en LLM-inferentie aanzienlijk te versnellen zonder de nauwkeurigheidscompromissen die geassocieerd worden met lossy compressie.

Oorspronkelijke auteurs: Aditya K Kamath, Arvind Krishnamurthy, Marco Canini, Simon Peter

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aditya K Kamath, Arvind Krishnamurthy, Marco Canini, Simon Peter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Te Grote Koffer"

Stel je voor dat je een meesterkok bent (de GPU) die een enorm feestmaal probeert te bereiden (een Machine Learning-model). Je hebt een zeer snelle keuken, maar je koelkast (het GPU-geheugen) is piepklein. Er passen slechts een paar ingrediënten tegelijk in.

Echter, de recepten die je moet volgen, vereisen duizenden ponden aan ingrediënten die opgeslagen liggen in een gigantisch magazijn aan de andere kant van de stad (het CPU-geheugen of de harde schijf).

Elke keer als je een nieuw ingrediënt nodig hebt, moet je een bezorgwagen (de PCIe-bus) naar het magazijn sturen om het uit het magazijn te halen. Het probleem is dat de snelweg die het magazijn met jouw keuken verbindt, smal en traag is. Hoewel je keuken ongelooflijk snel is in snijden en koken, breng je de meeste tijd door met wachten tot de vrachtwagen arriveert. Dit is de bottleneck (de flessenhals).

De Oude Oplossing: De Ingrediënten "Samendrukken" (Lossy Compressie)

Om dit op te lossen, probeerden mensen de ingrediënten te "samendrukken" voordat ze op de vrachtwagen gingen. Dit wordt lossy compressie genoemd.

De Analogie: Stel je voor dat je een pluizig kussen neemt, alle lucht eruit perst en het in een klein doosje verpakt. Je bespaart veel ruimte op de vrachtwagen.
Het Nadeel: Wanneer je in de keuken aankomt, is het kussen nu plat en hard. Je kunt het niet meer gebruiken voor het recept omdat het zijn vorm heeft verloren. In de wereld van AI verandert dit "samendrukken" de data lichtjes, wat de nauwkeurigheid van het model kan ruïneren. Voor bedrijven is zelfs een kleine daling in nauwkeurigheid onacceptabel.

De Nieuwe Oplossing: "De Magische Paklijst" (Lossless Compressie)

De auteurs van dit paper stellen een andere manier voor om de vrachtwagen te laden. Ze noemen hun methode Invariant Bit Packing (IBP).

In plaats van de ingrediënten samen te drukken, zoeken ze naar redundantie (overbodigheid).

De Analogie: Stel je voor dat je 100 identieke dozen cornflakes inpakt. Je merkt op dat elke doos aan de bovenkant dezelfde rode streep heeft. In plaats van een rode streep op alle 100 dozen te schilderen, schilder je een rode streep op één meesterlijst (de Metadata) en zeg je tegen de vrachtwagenchauffeur: "Hé, elke doos in deze zending heeft een rode streep aan de bovenkant."
Het Resultaat: Je schildert de strepen niet meer op de dozen. Je verscheept de dozen gewoon zonder de strepen, en de meesterlijst. Wanneer de dozen in de keuken aankomen, kijkt de chef naar de lijst, herinnert zich: "Oh ja, rode streep komt hier," en herstelt de dozen direct naar hun oorspronkelijke staat. Niets gaat verloren; het is alleen efficiënter verpakt.

Hoe IBP werkt (De "Magische" Stappen)

Patronen Vinden: Het systeem kijkt naar een enorme berg data (tensors) en vraagt: "Welke delen van deze getallen zijn altijd hetzelfde?" In AI-data blijven bepaalde bits (de kleinste eenheden informatie) vaak hetzelfde over duizenden verschillende datapunten heen, net als de rode streep op de cornflakesdozen.
Redundantie Verwijderen: Het systeem verwijdert die "altijd-dezelfde" bits uit de data die verzonden wordt. Het slaat een klein briefje op (de Mask en Bitval) in het geheugen van de keuken dat zegt: "Voor deze groep data is de 3e bit altijd een 1."
De Snelle Levering: Omdat de data nu kleiner is, draagt de vrachtwagen minder gewicht en beweegt hij sneller over de smalle snelweg.
Direct Herstel: Wanneer de data bij de GPU aankomt, gebruikt het systeem het kleine briefje om de ontbrekende bits direct weer in te voegen. Omdat de GPU zo goed is in het tegelijkertijd uitvoeren van veel taken, kan het de data bijna onmiddellijk "opblazen", sneller dan de vrachtwagen de volledige lading had kunnen rijden.

Waarom dit Speciaal is

De meeste eerdere pogingen om data voor AI te comprimeren vereisten complexe wiskunde die de GPU vertraagde, of ze riskeerden de kwaliteit van de data te ruïneren.

Lossless (Verliesvrij): Het garandeert dat de data exact uitkomt zoals deze erin ging. Er gaat geen nauwkeurigheid verloren.
GPU-Vriendelijk: De auteurs hebben het proces van "uitpakken" zo ontworpen dat het binnen de GPU gebeurt met behulp van de eigen supersnelle werkers (genaamd warps). Dit betekent dat de GPU niet hoeft te wachten op de trage CPU om te helpen met het uitpakken van de dozen.
Eenvoudig te Gebruiken: Ze hebben tools gebouwd die passen in bestaande AI-software (zoals PyTorch), zodat ontwikkelaars het gewoon kunnen gebruiken door een schakelaar om te zetten.

De Resultaten: Snellere Feestmaaltijden

Het team heeft dit getest op drie soorten AI-taken:

GNNs (Graph Neural Networks): Gebruikt voor zaken als sociale netwerken of fraudedetectie.
- Resultaat: Het trainen werd 74% sneller.
DLRMs (Recommendation Models): Gebruikt door winkels om producten te suggereren.
- Resultaat: Het opzoeken van data werd 180% sneller.
LLMs (Large Language Models): De chatbots en schrijfassistenten.
- Resultaat: Inference (het genereren van antwoorden) werd 24% sneller.

Samenvatting

Het paper introduceert een slimme manier om AI-data te verpakken door "dubbele" informatie die altijd hetzelfde is te verwijderen en in plaats daarvan een klein briefje te bewaren. Dit maakt de data kleiner voor de trage snelweg (PCIe), maar zorgt ervoor dat de snelle keuken (GPU) de data direct kan herstellen zonder kwaliteitsverlies. Het is als het versturen van een kleinere vrachtwagen die eerder arriveert, waardoor de chef veel sneller kan koken.

Technische Samenvatting: Het verminderen van de GPU-geheugenbottleneck met verliesvrije compressie voor ML

Probleemstelling

Moderne machine learning (ML) workloads, waaronder Graph Neural Networks (GNN's), Deep Learning Recommendation Models (DLRM's) en Large Language Models (LLM's), verwerken regelmatig datasets die variëren van honderden gigabytes tot terabytes. Deze datavolumes overstijgen de capaciteit van het beschikbare GPU-geheugen, wat on-demand datatransfers van CPU-geheugen, schijf of netwerkopslag via de PCIe-interconnect noodzakelijk maakt.

De primaire prestatiebeperking in deze scenario's is de PCIe-bandbreedte, die meer dan een orde van grootte lager is dan de GPU-geheugenbandbreedte. Bijgevolg wordt de uitvoering vaak beperkt door de latentie van datatransfers in plaats van de GPU-rekenkracht. Hoewel technieken zoals caching en het overlappen van berekeningen met transfers enige verlichting bieden, kunnen zij de bottleneck niet volledig mitigeren, vooral wanneer er cachemisses optreden.

Bestaande oplossingen vertrouwen vaak op verlieslatende compressie (bijv. kwantisatie) om het datavolume te verminderen. Verlieslatende methoden introduceren echter een onvoorspelbare degradatie van de nauwkeurigheid die varieert per model en workload. In commerciële implementaties zijn zelfs minimale nauwkeurigheidsverliezen (bijv. 0,1%) vaak onacceptabel vanwege de risico's voor de omzet, waardoor verlieslatende compressie moeilijk te adopteren is als een algemene oplossing.

Verliesvrije compressie biedt een deployment-vriendelijk alternatief dat de modelnauwkeurigheid behoudt, maar kampt met aanzienlijke implementatieproblemen in ML-pipelines:

Latentieconcurrentie: De CPU-GPU-transferlatentie is competitief met de GPU-decompressielatentie; traditionele compressie-algoritmen voegen vaak overhead toe die de voordelen van de transfer tenietdoet.
Geheugenbeperkingen: Decompressie vereist vaak grote tussenliggende buffers of complexe metadatastructuren die concurreren met modelinputs voor het schaarse GPU-geheugen.
Parallellisme-mismatch: Veel standaard verliesvrije algoritmen (bijv. Huffman-codering, LZ4) vertrouwen op dictionary-lookups of onregelmatige geheugentoegangspatronen die de GPU-warp-parallelliteit en geconsolideerde geheugentoegang hinderen.

Methodologie: Invariant Bit Packing (IBP)

De auteurs stellen Invariant Bit Packing (IBP) voor, een nieuw verliesvrij compressie-algoritme dat specifiek is ontworpen voor ML-tensor-transfers. Het kerninzicht is dat ML-tensoren, zelfs wanneer ze numeriek divers zijn, vaak laag-entropische invariante bits vertonen over groepen tensoren heen. Bijvoorbeeld, in floating-point representaties blijven de teken- en exponentbits vaak constant over vele tensoren door regularisatie en trainingsdynamiek.

Kernalgoritme

IBP werkt in drie hoofdfasen:

Preprocessing (Metadata Generatie):
- Het systeem analyseert een batch input-tensoren om bitposities te identificeren die invariant zijn (i.e., dezelfde waarde hebben) over een hoog percentage ( $T$ ) van de tensoren.
- Het genereert een vaste Mask (die aangeeft welke bitposities invariant zijn) en een Bitval (die de invariante waarden opslaat).
- Deze metadata wordt opgeslagen in het GPU-geheugen (meestal enkele kilobytes groot) en wordt hergebruikt voor de gehele dataset, waardoor per-tensor metadata-overhead wordt vermeden.
Compressie:
- Input-tensoren worden in chunks verwerkt. Voor elke chunk controleert het algoritme of de bits op de invariante posities overeenkomen met de opgeslagen Bitval.
- Als ze overeenkomen, worden de invariante bits verwijderd (geëlimineerd) en worden de resterende bits verschoven om de leegte op te vullen.
- Een participation bit wordt aan elke chunk toegevoegd om aan te geven of deze gecomprimeerd is of ongecomprimeerd is gelaten (om gevallen af te handelen waarin compressie geen ruimtebesparing oplevert).
- Compressie wordt uitgevoerd op de GPU met behulp van zero-copy Unified Virtual Memory, waardoor de GPU direct toegang heeft tot het CPU-geheugen zonder expliciete CPU-gestuurde DMA-setup voor kleine transfers.
Decompressie:
- Decompressie is geoptimaliseerd voor GPU warp-parallelliteit. Een warp van 32 threads leest gezamenlijk een aaneengesloten segment van gecomprimeerde data uit het CPU-geheugen naar een shared memory workspace.
- Threads gebruiken warp primitives (lage-latentie communicatie binnen een warp) om een prefix scan uit te voeren, waarbij de startende bit-offset voor de toegewezen chunk van elke thread wordt berekend.
- Threads reconstrueren vervolgens onafhankelijk hun data door de invariante bits uit de globale Bitval op de juiste posities in te voegen.
- Het proces maakt gebruik van asynchrone geheugentoegang om data-fetching te overlappen met de decompressielogica, waardoor de PCIe-latentie wordt verborgen.

Systeemintegratie

De auteurs integreren IBP op twee primaire manieren in ML-pipelines:

Cache Compressie: Het comprimeren van tensoren die in GPU-softwarecaches zijn opgeslagen (bijv. in GNN-frameworks) om de effectieve cachecapaciteit te vergroten.
PCIe Transfer Compressie: Het comprimeren van tensoren in het CPU-geheugen vóór de transfer. Om variabele groottes van gecomprimeerde tensoren te verwerken, gebruikt het systeem in-place compressie (het toewijzen van vaste buffers maar alleen het lezen van het gecomprimeerde deel) en houdt het een bitmask bij in het GPU-geheugen om bij te houden welke tensoren gecomprimeerd zijn.

Belangrijkste Bijdragen

Analyse van ML-data Invariantie: Het artikel identificeert en kwantificeert de aanwezigheid van invariante bits in diverse ML-workloads (GNN, DLRM, LLM) en datatypen (FP32, FP16, BF16), en demonstreert dat gestructureerde distributies aanzienlijke verliesvrije compressie mogelijk maken zonder verlies van nauwkeurigheid.
Invariant Bit Packing (IBP) Algoritme: Een voor GPU geoptimaliseerde verliesvrije compressietechniek die invariante bits verwijdert, ze in minimale globale metadata opslaat en warp-parallelliteit voor decompressie gebruikt om een hoge throughput te bereiken.
Systeemintegratie: Implementatie van IBP in populaire ML-frameworks (DGL, Legion, Colossal-AI, FlexGen, InfiniGen) via gemakkelijk te gebruiken API's (PyTorch-extensies en CUDA-bibliotheken).
Uitgebreide Evaluatie: Uitgebreide benchmarking tegen state-of-the-art GPU-versnelde bibliotheken (nvCOMP, ndzip-gpu) en native systemen over real-world datasets.

Resultaten

De evaluatie werd uitgevoerd op een NVIDIA A100 GPU met PCIe Gen 4.

Compressieprestaties: IBP bereikt een ruimtebesparing van 10–12% voor dichte GNN-datasets, 8% voor DLRM-gewichten, en tot wel 27% voor LLM-gewichten en KV-caches (met name met BF16-datatypen).
Throughput: IBP presteert consequent beter dan bestaande GPU-versnelde compressiebibliotheken. Voor sparse GNN-datasets bereikt het een 9,7x versnelling in transfer-throughput vergeleken met ongecomprimeerde transfers.
Workload Versnellingen:
- GNN Training: Gemiddelde versnelling van 74% (tot 2,7x in specifieke gevallen) door de PCIe-transfertijd te verminderen en de cache-hit rates te verhogen.
- DLRM Inference: Gemiddelde versnelling van 180% voor embedding lookups, primair gedreven door efficiënte GPU-gestuurde transfers en verminderde CPU-overhead.
- LLM Inference: Gemiddelde versnelling van 24% voor offloaded inference. Voor weight offloading (BF16) werd de latentie met 22% verminderd; voor KV-cache offloading werd de latentie met tot wel 27% verminderd.
Overhead: De decompressie-overhead is minimaal; voor ruimtebesparingen onder de 50% (typisch voor dichte ML-data), blijft de throughput boven 95% van de ideale ongecomprimeerde transferrate. De preprocessing-tijd is matig en vindt plaats buiten het kritieke pad.

Betekenis en Claims

Het artikel claimt dat IBP een praktische, verliesvrije oplossing biedt voor de GPU-geheugenbottleneck zonder de nauwkeurigheidsrisico's die geassocieerd worden met kwantisatie of verlieslatende compressie. Door gebruik te maken van de inherente structuur van ML-data (invariante bits) en te optimaliseren voor de GPU-architectuur (warp-parallelliteit, geconsolideerde toegang, zero-copy), kan IBP de decompressie-overhead effectief verbergen achter de PCIe-transferlatentie.

De auteurs benadrukken dat IBP een algemeen bruikbaar algoritme is dat toepasbaar is op diverse datatypen (float32, float16, bfloat16, sparse vectoren) en workloads (training en inference). Het vermogen om IBP met minimale codewijzigingen (vaak minder dan 35 regels Python) te integreren in bestaande frameworks, demonstreert het potentieel voor adoptie in commerciële ML-deployments om modellen te schalen voorbij de GPU-geheugenlimieten terwijl prestaties en nauwkeurigheid behouden blijven.