🤖 machine learning

Embedding Compression via Spherical Coordinates

यह शोध पत्र यूनिट-नॉर्म एम्बेडिंग्स के लिए एक $\epsilon$ -बाउंडेड कंप्रेशन विधि प्रस्तुत करता है जो शून्य रिट्रीवल डिग्रेडेशन के साथ 1.5 $\times$ कंप्रेशन प्राप्त करने के लिए गोलाकार निर्देशांकों (spherical coordinates) के संकेंद्रण का लाभ उठाता है, जो सर्वोत्तम पूर्व लॉसलेस तकनीकों से 25% बेहतर प्रदर्शन करता है।

मूल लेखक: Han Xiao

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Han Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (डेटा) है, लेकिन शब्दों के बजाय, ये किताबें एक बहुत ही विशिष्ट, उच्च-आयामी भाषा में लिखी गई हैं जिसे एम्बेडिंग्स (embeddings) कहा जाता है। इनका उपयोग AI द्वारा अर्थ समझने, समान छवियों को खोजने या सर्च इंजन को चलाने के लिए किया जाता है।

समस्या क्या है? ये "किताबें" बहुत बड़ी हैं। एक अकेली किताब को 4 किलोबाइट जगह घेरने में 4 किलोबाइट लगती है। यदि आपके पास 1 करोड़ (100 मिलियन) ऐसी किताबें हैं, तो आपको उन्हें स्टोर करने के लिए एक छोटे शहर के आकार के गोदाम (400 GB) की आवश्यकता होगी। यदि आपके पास एक विशेष प्रकार की किताब है जहाँ हर एक शब्द को अपना स्वयं का पृष्ठ मिलता है (मल्टी-वेक्टर एम्बेडिंग्स), तो आपको एक छोटे देश के आकार के गोदाम की आवश्यकता होगी!

वर्तमान में, लोग इन किताबों को सिकोड़ने (shrink करने) के लिए लॉसलेस कम्प्रेशन (lossless compression) (जैसे ZIP फ़ाइलें) या लॉसी कम्प्रेशन (lossy compression) (जैसे JPEG, जो स्थान बचाने के लिए कुछ विवरणों को हटा देता है) का उपयोग करने की कोशिश करते हैं।

लॉसलेस (Lossless) सुरक्षित है लेकिन यह किताबों को बहुत अधिक छोटा नहीं करता है (केवल लगभग 1.2x छोटा)।
लॉसी (Lossy) इन्हें बहुत अधिक सिकोड़ देता है लेकिन टेक्स्ट को धुंधला बना देता है, जिससे AI की सही उत्तर खोजने की क्षमता खराब हो सकती है।

यह पेपर एक चतुर नया तरीका पेश करता है जिसे स्फेरिकल कोऑर्डिनेट्स (Spherical Coordinates) कहा जाता है, जो इन किताबों को बिना किसी धुंधलेपन के 1.5x तक सिकोड़ देता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है।

समस्या: "मैसी" कार्टेशियन कोऑर्डिनेट्स (The "Messy" Cartesian Coordinates)

कल्पना कीजिए कि आप एक विशाल, अदृश्य गोले (एक गेंद की सतह) पर एक बिंदु का स्थान बता रहे हैं।

पुराना तरीका (Cartesian): आप बिंदु का वर्णन इस प्रकार करते हैं: "यह 0.123 यूनिट पूर्व, 0.045 यूनिट उत्तर और 0.999 यूनिट ऊपर है।"
- कंप्यूटर की दुनिया में, ये संख्याएँ फ्लोटिंग-पॉइंट नंबर्स (floating-point numbers) (सोचिए कि ये दशमलव वाली संख्याएँ हैं) की तरह होती हैं।
- क्योंकि ये संख्याएँ इधर-उधर बिखरी हुई हैं (कुछ बहुत छोटी हैं, कुछ मध्यम), कंप्यूटर को उन्हें लिखने के लिए कई अलग-अलग "सेटिंग्स" (एक्सपोनेंट्स/exponents) का उपयोग करना पड़ता है। यह एक कहानी लिखने की कोशिश करने जैसा है जहाँ हर शब्द के लिए अलग फ़ॉन्ट आकार और शैली की आवश्यकता होती है। यह अक्षम है और इसे कंप्रेस करना कठिन है।

समाधान: "स्फेरिकल" ट्रिक (The "Spherical" Trick)

लेखकों ने महसूस किया कि चूंकि ये सभी एम्बेडिंग वेक्टर्स यूनिट-नॉर्म (unit-norm) हैं (उनका आकार बिल्कुल समान है, जैसे वे एक ही गोले की सतह पर हैं), इसलिए उन्हें वर्णित करने का एक बेहतर तरीका है।

"पूर्व, उत्तर, ऊपर" कहने के बजाय, आप बिंदु को कोणों (angles) (अक्षांश और देशांतर की तरह) का उपयोग करके वर्णित करते हैं।

नया तरीका (Spherical): आप कहते हैं, "बिंदु 90 डिग्री के कोण पर है, फिर 90 डिग्री का दूसरा कोण, फिर..."
जादू: उच्च-आयामी स्थान में (जब गोले के कई आयाम होते हैं), लगभग सभी ये कोण स्वाभाविक रूप से 90 डिग्री ( $\pi/2$ ) के आसपास क्लस्टर (झुंड बनाना) करते हैं।

लोगों की एक भीड़ की कल्पना करें जो एक घेरे में खड़े होने की कोशिश कर रही है। यदि आप उन्हें यादृच्छिक (random) स्थानों पर खड़े होने के लिए कहते हैं, तो वे हर जगह होंगे। लेकिन यदि आप उन्हें एक विशिष्ट कोण पर खड़े होने के लिए कहते हैं, तो वे सभी एक ही स्थान पर सिमट जाते हैं।

इससे जगह कैसे बचती है

क्योंकि लगभग सभी कोण 90 डिग्री के आसपास केंद्रित हैं, कंप्यूटर द्वारा दर्शाए गए नंबर अविश्वसनीय रूप से अनुमानित (predictable) हो जाते हैं।

"एक्सपोनेंट" का पतन (The "Exponent" Collapse): पुराने "मैसी" तरीके में, कंप्यूटर को इन संख्याओं को लिखने के लिए 23 अलग-अलग "फ़ॉन्ट साइज" (exponents) की आवश्यकता थी। नए "क्लस्टर्ड" तरीके में, लगभग 100% संख्याएँ बिल्कुल एक ही "फ़ॉन्ट साइज" का उपयोग करती हैं। यह एक पूरी किताब को केवल एक ही फ़ॉन्ट आकार का उपयोग करके लिखने जैसा है। यह डेटा को अविश्वसनीय रूप से आसानी से कंप्रेस करने योग्य बनाता है।
"मैंटिसा" पैटर्न (The "Mantissa" Pattern): संख्याओं के वे हिस्से जो बारीक विवरण (दशमलव) रखते हैं, वे भी अनुमानित हो जाते हैं क्योंकि संख्याएँ एक-दूसरे के बहुत करीब होती हैं।

लेखक फिर इन अनुमानित संख्याओं को इधर-उधर व्यवस्थित करते हैं (जैसे ताश की गड्डी को व्यवस्थित करना ताकि सभी इक्के एक साथ हों) और उन्हें एक मानक कंप्रेसर (जैसे zstd) के माध्यम से चलाते हैं।

परिणाम: एक पूर्ण संकुचन (A Perfect Shrink)

आकार (Size): उन्होंने डेटा को 1.5 गुना सिकोड़ दिया (पिछले सर्वश्रेष्ठ 1.2x से बेहतर)।
गुणवत्ता (Quality): क्योंकि वे रूपांतरण के दौरान एक विशेष गणितीय ट्रिक (डबल प्रिसिजन) का उपयोग करते हैं, त्रुटि इतनी सूक्ष्म है कि यह कंप्यूटर की अपनी माप त्रुटि से भी छोटी है।
- उपमा: यदि आप एक मेज को स्केल से मापते हैं, और फिर उसे लेजर से मापते हैं, और अंतर एक परमाणु की मोटाई से भी कम है, तो आप अंतर नहीं बता पाएंगे। AI पहले वाले डेटा के समान ही डेटा देखता है।
गति (Speed): यह तेज़ है। आप प्रति सेकंड सैकड़ों मेगाबाइट की दर से डेटा को कंप्रेस और डीकंप्रेस कर सकते हैं।
कोई ट्रेनिंग नहीं (No Training): आपको इस काम के लिए AI को सिखाने की आवश्यकता नहीं है। यह किसी भी टेक्स्ट, इमेज या मल्टी-वेक्टर डेटा पर तुरंत काम करता है।

वास्तविक दुनिया पर प्रभाव

कल्पना कीजिए कि आपके पास 10 लाख दस्तावेजों का डेटाबेस है।

पहले: यह 240 GB जगह लेता है।
बाद में: यह 160 GB जगह लेता है।
बोनस: आप डेटा को पूरी तरह से अनपैक किए बिना सीधे कंप्रेस्ड डेटा के माध्यम से खोज सकते हैं, जिससे खोज तेज़ और सस्ती हो जाती है।

सारांश

लेखकों ने पाया कि एम्बेडिंग वेक्टर्स एक गोले पर स्थित बिंदुओं की तरह हैं जो स्वाभाविक रूप से 90-डिग्री के कोण पर एक साथ सिमटना चाहते हैं। कच्चे निर्देशांकों (raw coordinates) के बजाय कोणों का उपयोग करके उन्हें वर्णित करने से, डेटा इतना अनुमानित हो जाता है कि यह बहुत बेहतर तरीके से कंप्रेस होता है, जिससे बिना किसी सटीकता को खोए भंडारण के पैसे की भारी बचत होती है। यह एक ज्यामितीय "हैक" है जो एक अस्त-व्यस्त डेटा समस्या को एक व्यवस्थित, कंप्रेस्ड समाधान में बदल देता है।

यहाँ ICLR 2026 के GRaM वर्कशॉप में प्रस्तुत शोध पत्र "Embedding Compression via Spherical Coordinates" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एम्बेडिंग वेक्टर्स आधुनिक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), एजेंटिक सर्च और मल्टीमॉडल रिट्रीवल सिस्टम के लिए मौलिक हैं।

स्टोरेज की बाधा (Storage Bottleneck): एक विशिष्ट 1024-डायमेंशनल float32 एम्बेडिंग के लिए 4 KB की आवश्यकता होती है। 100 मिलियन एम्बेडिंग्स वाले डेटाबेस के लिए 400 GB की खपत होती है। यह मल्टी-वेक्टर मॉडल्स (जैसे ColBERT) के लिए बहुत खराब तरीके से स्केल करता है, जो प्रति टोकन एक एम्बेडिंग उत्पन्न करते हैं, जिससे स्टोरेज की आवश्यकता ~100× बढ़ जाती है।
वर्तमान विधियों की सीमाएँ (Limitations of Current Methods):
- लॉसी क्वांटाइजेशन (Lossy Quantization): हालांकि यह उच्च संपीड़न (4×+) प्रदान करता है, लेकिन यह पुनर्निर्माण त्रुटियाँ (reconstruction errors) पेश करता है जो रिट्रीवल प्रदर्शन को कम कर सकती हैं।
- लॉसलेस कंप्रेशन (Lossless Compression): अत्याधुनिक विधियाँ (जैसे ZipNN, byte-shuffling) केवल ~1.2× संपीड़न प्राप्त करती हैं। वे एम्बेडिंग्स की ज्यामितीय संरचना (geometric structure) का लाभ उठाने में विफल रहती हैं क्योंकि float32 मैन्टिसा बिट्स में लगभग अधिकतम एंट्रॉपी होती है, और मौजूदा विधियाँ यूनिट-नॉर्म बाधा (unit-norm constraint) का लाभ उठाए बिना एक्सपोनेंट्स और मैन्टिस्सा को स्वतंत्र रूप से मानती हैं।

2. कार्यप्रणाली: $\epsilon$ -बाउंडेड स्फेरिकल कंप्रेशन (Methodology: $\epsilon$ -Bounded Spherical Compression)

यह शोध पत्र एक नवीन लॉसलेस (मशीन एप्सिलॉन के भीतर) कंप्रेशन पाइपलाइन का प्रस्ताव करता है जो हाई-डायमेंशनल हाइपरस्फीयर पर यूनिट-नॉर्म वेक्टर्स के ज्यामितीय गुणों का लाभ उठाता है।

मुख्य अंतर्दृष्टि (Core Insight)

अधिकांश एम्बेडिंग मॉडल्स यूनिट-नॉर्म वेक्टर्स ( $\|x\|_2 = 1$ ) उत्पन्न करते हैं। उच्च आयामों (high dimensions) में, इन वेक्टर्स के गोलाकार निर्देशांक (spherical coordinates/angles) $\pi/2$ ( $\approx 1.57$ ) के आसपास भारी रूप से केंद्रित होते हैं।

कार्टेशियन प्रतिनिधित्व (Cartesian Representation): मान एक विस्तृत रेंज (जैसे, $0.001 $से$ 0.3$) में फैले होते हैं, जिसके लिए कई अलग-अलग IEEE 754 एक्सपोनेंट्स (22–40 अद्वितीय मान) की आवश्यकता होती है और उच्च एंट्रॉपी का परिणाम होता है।
स्फेरिकल प्रतिनिधित्व (Spherical Representation): $d-1$ $d - 1$ कोणीय निर्देशांक $\pi/2$ $π /2$ के आसपास केंद्रित होते हैं। इसके कारण:
1. एक्सपोनेंट कोलैप्स (Exponent Collapse): IEEE 754 एक्सपोनेंट बाइट $0.999$ से अधिक की संभावना के साथ एक एकल प्रभावी मान (127) में सिमट जाता है।
2. मैन्टिसा प्रेडिक्टेबिलिटी (Mantissa Predictability): उच्च-क्रम मैन्टिसा बिट्स अत्यधिक अनुमानित हो जाते हैं क्योंकि मान एक विशिष्ट स्थिरांक (constant) के आसपास कसकर क्लस्टर होते हैं।

पाइपलाइन (The Pipeline)

स्फेरिकल ट्रांसफॉर्मेशन (Spherical Transformation): कार्टेशियन निर्देशांकों ( $x \in \mathbb{R}^d$ $x \in R^{d}$ ) को $d-1$ $d - 1$ स्फेरिकल कोणों ( $\theta \in \mathbb{R}^{d-1}$ $θ \in R^{d - 1}$ ) में बदलें।
- सटीकता नोट: पुनर्निर्माण त्रुटि float32 मशीन एप्सिलॉन ( $1.19 \times 10^{-7}$ ) से नीचे बनी रहे, यह सुनिश्चित करने के लिए मध्यवर्ती गणनाओं में डबल प्रिसिजन (float64) का उपयोग किया जाता है।
ट्रांसपोज़ (Transpose): समान मानों को संरेखित करने के लिए वेक्टर बैच के माध्यम से कोणों को उनके स्थान के आधार पर समूहीकृत करें।
बाइट शफल (Byte Shuffle): एक्सपोनेंट बाइट्स को मैन्टिसा बाइट्स से अलग करें। एकाग्रता (concentration) के कारण, एक्सपोनेंट बाइट्स लगभग समान (uniform) होते हैं।
एंट्रॉपी कोडिंग (Entropy Coding): शफ़ल किए गए बाइट्स को zstd का उपयोग करके कंप्रेस करें।

मुख्य विशेषताएँ (Key Features)

$\epsilon$ -बाउंडेड ( $\epsilon$ -Bounded): यह विधि तकनीकी रूप से float32 अनुप्रयोगों के लिए "लॉसलेस" है क्योंकि पुनर्निर्माण त्रुटि मशीन एप्सिलॉन द्वारा सीमित है। पुनर्निर्मित मान मूल मानों से अविभेद्य हैं।
डायरेक्ट सिमिलरिटी (Direct Similarity): यह पेपर पूर्ण कार्टेशियन पुनर्निर्माण के बिना सीधे संपीड़ित स्फेरिकल कोणों से कोसाइन सिमिलरिटी की गणना करने के लिए एक एल्गोरिदम पेश करता है, जो स्ट्रीमिंग डिकम्प्रेशन और टॉप- $k$ रिट्रीवल में अर्ली टर्मिनेशन को सक्षम बनाता है।
कोई ट्रेनिंग नहीं (No Training): यह विधि नियत (deterministic) है और इसके लिए किसी मॉडल ट्रेनिंग या सीखे गए कोडबुक की आवश्यकता नहीं है।

3. मुख्य योगदान (Key Contributions)

नवीन कंप्रेशन रेश्यो (Novel Compression Ratio): यूनिट-नॉर्म एम्बेडिंग्स पर 1.5× संपीड़न प्राप्त करता है, जो सभी पूर्ववर्ती लॉसलेस विधियों (~1.2×) से काफी बेहतर है और बिना किसी फिडेलिटी पेनल्टी के कुछ लॉसी विधियों की दक्षता के करीब पहुँच जाता है।
सैद्धांतिक आधार (Theoretical Foundation): यह सिद्ध करता है कि हाई-डायमेंशनल यूनिट वेक्टर्स के लिए, स्फेरिकल कोण एक ऐसे वितरण का पालन करते हैं जो IEEE 754 एक्सपोनेंट्स को एक एकल मान में सिकोड़ देता है (थ्योरम 1), जिससे एक्सपोनेंट एंट्रॉपी ~2.5 बिट्स/बाइट से घटकर <0.1 बिट्स/बाइट हो जाती है।
शून्य रिट्रीवल डिग्रेडेशन (Zero Retrieval Degradation): टेक्स्ट, इमेज और मल्टी-वेक्टर ColBERT मॉडल्स पर BEIR बेंचमार्क पर शून्य मापने योग्य गिरावट (nDCG@10, Recall@10) प्रदर्शित की गई है।
दक्षता (Efficiency): C++ कार्यान्वयन ट्रांसफॉर्म के लिए >1 GB/s और एंड-टू-एंड एनकोडिंग थ्रूपुट के लिए ~487 MB/s प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन 26 कॉन्फ़िगरेशन पर किया गया, जिसमें 20 टेक्स्ट मॉडल, 3 इमेज मॉडल और 3 मल्टी-वेक्टर ColBERT मॉडल शामिल थे।

संपीड़न प्रदर्शन (Compression Performance):
- सभी मॉडल्स पर निरंतर 1.47× से 1.59× कंप्रेशन रेश्यो।
- ZipNN बेसलाइन (Trans+Shuffle+Zstd) की तुलना में 20% से 32% का सुधार।
- उदाहरण: 1M डॉक्यूमेंट ColBERT इंडेक्स (100 एम्बेडिंग्स/डॉक) स्टोरेज को 240 GB से घटाकर 160 GB कर देता है।
फिडेलिटी (Fidelity):
- अधिकतम पुनर्निर्माण त्रुटि: $< 9 \times 10^{-8}$ (जो float32 एप्सिलॉन से बहुत कम है)।
- BEIR बेंचमार्क: संपीड़न से पहले और बाद में nDCG@10 और Recall@10 स्कोर समान (6 दशमलव स्थानों तक) थे।
एब्लेशन स्टडीज (Ablation Studies):
- डायमेंशनलिटी (Dimensionality): डाइमेंशन के साथ कंप्रेशन लाभ बढ़ता है (64d पर 1.39× $\to$ 1024d पर 1.50×)।
- डिस्ट्रीब्यूशन (Distribution): यह विधि वेक्टर वितरण (यूनिफॉर्म, क्लस्टर्ड, स्पार्स, या रियल-वर्ल्ड एम्बेडिंग्स) के बावजूद काम करती है।
- प्रिसिजन (Precision): यह विधि float32 के लिए विशिष्ट है। यह BF16, FP16, या Int8 फॉर्मेट्स का लाभ नहीं उठा पाती है (बल्कि उन्हें बढ़ा भी सकती है) क्योंकि ट्रांसफॉर्मेशन आउटपुट float32 कोणों का उपयोग करता है, जो उनके छोटे नेटिव स्टोरेज के प्रभाव को समाप्त कर देता है।

5. महत्व और प्रभाव (Significance and Impact)

फिडेलिटी गैप को भरना (Fills the Fidelity Gap): यह लो-कंप्रेशन लॉसलेस विधियों (1.2×) और हाई-कंप्रेशन लॉसी विधियों (4×+) के बीच के अंतर को पाटता है, जो API सीरियलाइजेशन, कैशिंग और आर्काइवल जैसे महत्वपूर्ण अनुप्रयोगों के लिए उच्च-फिडेलिटी स्टोरेज प्रदान करता है।
स्केलेबिलिटी (Scalability): यह मॉडल रिट्रेनिंग या जटिल क्वांटाइजेशन पाइपलाइन की आवश्यकता के बिना बड़े पैमाने के वेक्टर डेटाबेस के लिए पर्याप्त लागत बचत प्रदान करता है।
एल्गोरिद्मिक नवाचार (Algorithmic Innovation): यह केवल सांख्यिकीय रेडंडेंसी के बजाय ज्यामितीय एकाग्रता (geometric concentration) का लाभ उठाकर वेक्टर कंप्रेशन के लिए एक नया प्रतिमान पेश करता है, और संपीड़ित डेटा पर डायरेक्ट सिमिलरिटी कंप्यूटेशन जैसे नवीन ऑपरेशन्स को सक्षम बनाता है।
सीमाएँ (Limitations): वर्तमान में float32 के लिए अनुकूलित है। BF16 या INT8 में अनुकूलन के लिए अलग रणनीतियों की आवश्यकता होगी क्योंकि एक्सपोनेंट कंसंट्रेशन मैकेनिज्म float32 के विशिष्ट 8-बिट एक्सपोनेंट/23-बिट मैन्टिस्सा स्ट्रक्चर पर निर्भर करता है।

संक्षेप में, यह शोध पत्र एक गणितीय रूप से ठोस, ट्रेनिंग-फ्री विधि प्रस्तुत करता है जो हाई-डायमेंशनल यूनिट वेक्टर्स की अंतर्निहित ज्यामिति का लाभ उठाकर बेहतर लॉसलेस कंप्रेशन प्राप्त करता है, जिससे यह एम्बेडिंग-आधारित रिट्रीवल सिस्टम को स्केल करने के लिए एक अत्यधिक व्यावहारिक समाधान बन जाता है।