Reducing the GPU Memory Bottleneck with Lossless Compression for ML -- Extended
यह शोध पत्र इनवेरिएंट बिट पैकिंग (IBP) को प्रस्तुत करता है, जो एक नवीन लॉसलेस संपीड़न (lossless compression) एल्गोरिदम है जो ML पाइपलाइनों में निर्बाध रूप से एकीकृत होता है ताकि लॉसवी संपीड़न (lossy compression) से जुड़े सटीकता के समझौतों के बिना GPU मेमोरी बाधाओं को समाप्त किया जा सके और GNN प्रशिक्षण, DLRM एम्बेडिंग लुकअप और LLM इन्फरेंस को महत्वपूर्ण रूप से त्वरित किया जा सके।