← नवीनतम पेपर
🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

क्लार्क हैश (Clark Hash) एक स्टेटलेस, ट्रेनिंग-मुक्त कोडेक है जो न्यूरल एम्बेडिंग्स को कॉम्पैक्ट 48-बाइट स्पार्स साइन्ड जॉनसन-लिंडेनस्ट्रास स्केचेस (sparse signed Johnson-Lindenstrauss sketches) में संकुचित करता है, जिससे बिना किसी सीखे गए कोडबुक या पूर्व-निर्धारित सांख्यिकी की आवश्यकता के, उच्च कोसाइन-सिमिलरिटी सर्च सटीकता बनाए रखते हुए 32x स्टोरेज रिडक्शन प्राप्त किया जाता है।

मूल लेखक: Stanislav Kirdey, Clark Labs Inc

प्रकाशित 2026-05-28
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC0 1.0

मूल लेखक: Stanislav Kirdey, Clark Labs Inc

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है, लेकिन हर किताब का पूरा टेक्स्ट स्टोर करने के बजाय, आप केवल प्रत्येक किताब के लिए एक छोटा सा 48-बाइट का "पोस्टकार्ड" रखते हैं। ये पोस्टकार्ड इतने छोटे हैं कि वे बहुत कम जगह लेते हैं, फिर भी वे आपको सही किताब खोजने में मदद करते हैं जब आप कोई सवाल पूछते हैं।

यही मूल रूप से Clark Hash करता है, लेकिन "न्यूरल एम्बेडिंग्स" (जो कि विचारों या वाक्यों के जटिल गणितीय सारांश होते हैं जिनका उपयोग AI द्वारा किया जाता है) के लिए।

यहाँ यह पेपर इस तकनीक को सरल अवधारणाओं में तोड़कर समझाता है:

1. समस्या: बहुत अधिक अव्यवस्था (Clutter)

आमतौर पर, AI सिस्टम वाक्यों को संख्याओं की लंबी सूचियों (वेक्टर्स) के रूप में स्टोर करते हैं। एक वाक्य का सारांश शायद 1,536 बाइट्स की जगह ले सकता है। यदि आपके पास लाखों वाक्य हैं, तो यह बहुत अधिक डिजिटल अव्यवस्था है। यह मेमोरी खाता है, आपके कंप्यूटर को धीमा करता है, और इसे स्टोर करने में पैसा खर्च करता है।

2. समाधान: "पोस्टकार्ड" विधि (Clark Hash)

Clark Hash इन बड़ी सूचियों को बिना किसी विशेष AI मॉडल को पहले प्रशिक्षित (train) किए, केवल 48 बाइट्स तक सिकोड़ने का एक नया तरीका है (एक 32x की कमी!)। यह एक स्टेटलेस (stateless), वन-वे मशीन की तरह काम करता है:

  • प्रशिक्षण की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिन्हें पोस्टकार्ड बनाने के लिए पूरी लाइब्रेरी को "पढ़ने" या "सीखने" की आवश्यकता होती है, Clark Hash तुरंत काम करता है। आप इसे एक वाक्य दे सकते हैं, और यह तुरंत एक छोटा सा कोड निकाल देता है। आपको किसी "ट्रेनिंग पास" या पहले से बने शब्दकोश की आवश्यकता नहीं है।
  • प्रक्रिया:
    1. नॉर्मलाइज़ेशन (Normalize): यह पहले वाक्य के अर्थ की "दिशा" की जांच करता है, यह अनदेखा करते हुए कि वाक्य कितना लंबा है।
    2. जादुई प्रोजेक्शन (The "Hash"): यह एक गणितीय ट्रिक (जिसे स्पार्स साइन्ड जॉनसन-लिंडेनस्ट्रास प्रोजेक्शन कहा जाता है) का उपयोग करता है ताकि बड़े 384-आयामी (dimensional) सूची को बहुत छोटी 96 संख्याओं की सूची में सिकोड़ा जा सके। इसे एक बड़े मानचित्र को एक छोटी जेब वाले रूमाल में मोड़ने की तरह समझें। यह रैंडम है लेकिन नियतात्मक (deterministic) है (यदि आप एक ही "सीड" या कुंजी का उपयोग करते हैं, तो आप हमेशा एक ही तरह का फोल्ड प्राप्त करेंगे)।
    3. क्लिपिंग और पैकिंग (Clipping and Packing): यह उन संख्याओं को काट देता है जो बहुत बड़ी हैं (क्लिपिंग) और फिर उन्हें बहुत छोटे 4-बिट स्लॉट्स में फिट होने के लिए राउंड ऑफ कर देता है। यह संख्याओं को एक सुपर-कॉम्पैक्ट कोड में बदल देता है।

3. आप कैसे खोजते हैं: "एसिमेट्रिक" (Asymmetric) ट्रिक

यही सबसे चतुर हिस्सा है।

  • डेटाबेस: लाइब्रेरी केवल छोटे, 48-बाइट के पोस्टकार्ड (संकुचित कोड) को स्टोर करती है।
  • सवाल: जब आप कोई सवाल पूछते हैं, तो आपका कंप्यूटर अपने मेमोरी में आपके सवाल का पूर्ण, उच्च-गुणवत्ता वाला संस्करण (फ्लोटिंग पॉइंट) रखता है।
  • मैच: सिस्टम आपके पूर्ण-गुणवत्ता वाले सवाल की तुलना छोटे पोस्टकार्डों से करता है। यह एक हाई-डेफिनिशन फोटो की तुलना एक छोटे स्केच से करने जैसा है। गणित इस तरह से डिज़ाइन किया गया है कि भले ही एक पक्ष छोटा हो और दूसरा बड़ा, सिस्टम फिर भी बहुत सटीकता से बता सकता है कि वे कितने समान हैं।

4. परिणाम: क्या यह काम करता है?

लेखकों ने इसे एक बहुभाषी डेटासेट पर टेस्ट किया जिसमें कई भाषाओं के वाक्यों के साथ 9,000 से अधिक जोड़े थे।

  • परीक्षण: उन्होंने यह देखने के लिए "पोस्टकार्ड" स्कोर की तुलना "फुल-साइज़" स्कोर से की कि क्या वे सहमत हैं कि कौन से वाक्य समान हैं।
  • स्कोर: 0 से 1 के पैमाने पर, छोटे 48-बाइट के स्केच बड़े, फुल-साइज़ वर्जन के साथ 0.91 से 0.95 के सहसंबंध (correlation) के साथ मेल खाते थे।
  • इसका क्या अर्थ है: यदि मूल AI मॉडल वाक्यों को समझने में अच्छा था, तो छोटे पोस्टकार्डों ने उस समझ को लगभग पूरी तरह से सुरक्षित रखा। डेटा को सिकोड़ने के कारण सिस्टम "भ्रमित" नहीं हुआ।

5. यह क्या है (और क्या नहीं है)

पेपर इसके दायरे को लेकर बहुत स्पष्ट है:

  • यह कोई नया गणितीय प्रमेय (theorem) नहीं है। यह मौजूदा गणितीय ट्रिक्स (हैशिंग, प्रोजेक्शन, क्वांटाइजेशन) को एक नए, व्यावहारिक टूल में जोड़ता है।
  • यह उन उन्नत खोज इंजनों का विकल्प नहीं है जो विशाल डेटाबेस में "निकटतम पड़ोसी" (nearest neighbor) को खोजते हैं। यह केवल एक स्टोरेज कोडेक है।
  • यह स्पेस बचाने के लिए एक सरल, स्टेटलेस टूल है। यह उन स्थितियों के लिए एकदम सही है जहाँ आपको डेटा एक-एक करके मिलता है और आपको जटिल मॉडल के प्रशिक्षण की प्रतीक्षा किए बिना उसे तुरंत स्टोर करने की आवश्यकता होती है।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आपके पास एक शहर की एक विशाल, विस्तृत 3D मूर्ति है (मूल डेटा)।

  • पारंपरिक स्टोरेज पूरी मूर्ति को रखता है।
  • लर्नड कंप्रेशन (Learned compression) पहले शहर का एक मॉडल बना सकता है, फिर एक ब्लूप्रिंट स्टोर कर सकता है।
  • Clark Hash उस मूर्ति की एक विशिष्ट कोण से फोटो लेने, उस फोटो को चपटा करने और उसे एक छोटे, 48-बाइट के QR कोड में बदलने जैसा है। आप कोड से 3D मूर्ति को फिर से नहीं बना सकते, लेकिन यदि आपके पास एक नई मूर्ति है और आप जानना चाहते हैं कि क्या वह पुरानी वाली जैसी दिखती है, तो आप नई मूर्ति को स्कैन कर सकते हैं और QR कोड के साथ उसकी तुलना कर सकते हैं। यह तेज़ है, इसमें बहुत कम जगह लगती है, और आप इसे शहर को पहले से जाने बिना तुरंत कर सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →