Lossless Tensor Compression as Program Synthesis
यह शोध पत्र ब्रेविस (Brevis) को प्रस्तुत करता है, जो एक नवीन लॉसलेस टेंसर संपीड़न प्रणाली है जो इस समस्या को एक टाइप किए गए डोमेन-विशिष्ट भाषा और एक सीखे हुए प्रोडक्शन प्रायर (production prior) का उपयोग करके प्रोग्राम सिंथेसिस के रूप में तैयार करती है, ताकि स्वचालित रूप से संक्षिप्त, स्व-निहित प्रोग्राम उत्पन्न किए जा सकें जो विविध मॉडल चेकपॉइंट्स में महत्वपूर्ण भंडारण कमी और प्रतिस्पर्धी थ्रूपुट प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप समुद्र पार डिजिटल ब्लूप्रिंट्स का एक विशाल पुस्तकालय भेजने की कोशिश कर रहे हैं। ये केवल साधारण ब्लूप्रिंट नहीं हैं; ये वे जटिल, गणितीय निर्देश हैं जो कंप्यूटरों को बोलना, चित्र बनाना या गाना सिखाते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन ब्लूप्रिंट्स को "मॉडल चेकपॉइंट्स" कहा जाता है, और वे इतने विशाल और असंख्य होते जा रहे हैं कि उन्हें भेजना एक लॉजिस्टिक दुःस्वप्न बनता जा रहा है, जिसमें स्टोरेज स्पेस और ट्रांसफर समय पर बहुत अधिक खर्च हो रहा है।
इस समस्या को हल करने के लिए, इंजीनियर आमतौर पर दो चीजें करने की कोशिश करते हैं। पहली है "लॉसी" (lossy) कंप्रेशन, जो एक ब्लूप्रिंट की फोटो लेने जैसा है, जिसमें विवरणों को सिकोड़ दिया जाता है, और इस उम्मीद में किया जाता है कि आर्किटेक्ट लापता हिस्सों का अनुमान लगा लेगा। यह जगह तो बचाता है लेकिन सटीकता को नष्ट कर देता है; आप मूल ब्लूप्रिंट को पूरी तरह से फिर से नहीं बना सकते। दूसरी है "लॉसलेस" (lossless) कंप्रेशन, जैसे किसी फ़ाइल को ज़िप करना। यह जानकारी के हर एक बिट को सुरक्षित रखता है, लेकिन मानक ज़िपिंग टूल्स ब्लूप्रिंट के साथ ऐसा व्यवहार करते हैं जैसे वह कागज के टुकड़ों का एक रैंडम ढेर हो, जिससे वे इसके पीछे के चतुर, दोहराव वाले ढांचे को अनदेखा कर देते हैं। वे पैटर्न को पकड़ नहीं पाते।
बड़ा सवाल यह है: क्या हम इससे बेहतर कर सकते हैं? केवल फ़ाइल को सिकोड़ने या आँख मूंदकर ज़िप करने के बजाय, क्या हम ब्लूप्रिंट को देख सकते हैं, उसके छिपे हुए पैटर्न को समझ सकते हैं, और एक छोटा, कस्टम निर्देश मैनुअल लिख सकते हैं जो कंप्यूटर को ठीक से बता सके कि मूल फ़ाइल को शून्य से कैसे फिर से बनाया जाए? यदि हम हर एक ब्लूप्रिंट के लिए एक अनूठा, पूर्ण रेसिपी लिख सकें, तो हम बिना एक भी विवरण खोए, स्थान की भारी बचत कर सकते हैं।
यही वह काम है जिसे शोधकर्ताओं की एक टीम ने Brevis नामक एक नए टूल के साथ किया है। वे इन विशाल AI ब्लूप्रिंट्स को कंप्रेस करने की समस्या को केवल एक फ़ाइल-पैकिंग कार्य के रूप में नहीं, बल्कि एक "प्रोग्राम सिंथेसिस" (program synthesis) चुनौती के रूप में देखते हैं। इसे इस तरह सोचें: केवल एक खिलौने को डिब्बे में भरने के बजाय, Brevis उस खिलौने को देखता है, यह समझता है कि वह तीन लाल ब्लॉकों और दो नीले ब्लॉकों से बना है, और एक छोटी सी नोट लिखता है कि, "तीन लाल ब्लॉक लें, उन्हें स्टैक करें, फिर दो नीले जोड़ें।"
Brevis एक विशेष, कस्टम-निर्मित भाषा (एक "डोमेन-स्पेसिफिक लैंग्वेज" या DSL) का उपयोग करके ये नोट्स लिखता है। इस भाषा में विशेष कमांड हैं जो पहचान सकते हैं कि कब एक पैटर्न दोहराया जा रहा है, कब एक संख्या पिछले नंबर की ही एक प्रति है, या जब डेटा का एक हिस्सा पूरी तरह से एक समान है। जब Brevis एक फ़ाइल को कंप्रेस करता है, तो वह केवल एक पहले से बने ज़िपर को नहीं चुनता; वह एक जासूस की तरह काम करता है, लाखों संभावित "रेसिपी" में से सबसे छोटी, सबसे कुशल रेसिपी खोजने के लिए खोज करता है जो फ़ाइल को बिट-दर-बिट फिर से बना सके। इस खोज को तेज़ बनाने के लिए, यह फ़ाइल के एक छोटे से नमूने से सीखता है ताकि यह अनुमान लगाया जा सके कि कौन सी रेसिपी काम करने की सबसे अधिक संभावना रखती है, ठीक वैसे ही जैसे एक शेफ यह जानता है कि एक विशिष्ट सूप में नमक की आवश्यकता होगी, इससे पहले कि वह उसे चखे।
इसके परिणाम प्रभावशाली हैं। शोधकर्ताओं ने 10 अलग-अलग सार्वजनिक AI मॉडल्स पर Brevis का परीक्षण किया, जिनमें भाषा, ऑडियो और इमेज के लिए मॉडल शामिल थे, जो कुल 2.13 TB डेटा को कवर करते हैं। उन्होंने पाया कि Brevis इस विशाल मात्रा के डेटा को 1.41 TB तक सिकोड़ सकता है। इसे समझने के लिए, Brevis ने लोकप्रिय, सामान्य-उद्देश्य वाले टूल्स जैसे gzip और zstd की तुलना में 33.93% कम स्टोरेज स्पेस में आर्काइव्स बनाए। एक अन्य परिप्रेक्ष्य में, इसने लोकप्रिय टूल्स की तुलना में 30.87% छोटे आर्काइव्स बनाए। यह अपने सबसे अच्छे प्रतिस्पर्धी, ZipNN की तुलना में 2.90% छोटे आर्काइव्स बनाकर विशेष रूप से AI डेटा के लिए डिज़ाइन किए गए टूल्स को भी पीछे छोड़ गया।
शायद सबसे रोमांचक बात यह है कि Brevis केवल जगह ही नहीं बचाता; यह इसे तेज़ी से भी करता है। यह डेटा को 3.60 GB प्रति सेकंड की गति से कंप्रेस कर सकता है और इसे 6.61 GB प्रति सेकंड की गति से डीकंप्रेस कर सकता है। और क्योंकि यह जो "रेसिपी" लिखता है वह एक स्व-निहित (self-contained) प्रोग्राम है, कंप्यूटर बिना पैटर्न की दोबारा खोज किए, फ़ाइल को पूरी तरह से फिर से बनाने के लिए इसे सीधे चला सकता है। शोधकर्ता सुझाव देते हैं कि "डेटा का प्रतिनिधित्व करने के लिए एक प्रोग्राम लिखना" का यह दृष्टिकोण AI मॉडल्स के बढ़ते आकार को संभालने का एक शक्तिशाली नया तरीका हो सकता है, जो मूल जानकारी के एक भी बाइट को खोए बिना उन्हें कुशलतापूर्वक स्टोर करने और स्थानांतरित करने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।