← नवीनतम पेपर
🤖 AI

SHARD: cell-keyed residual splitting for alignment-resistant private dense retrieval

यह शोध पत्र SHARD को प्रस्तुत करता है, जो एक रिट्रीवल-प्रिजर्विंग एम्बेडिंग ट्रांसफॉर्म है जो एम्बेडिंग्स को एक सार्वजनिक प्रीफ़िक्स और एक सीक्रेट-की वाले रेसिड्यूल में विभाजित करके डेंस रिट्रीवल में गोपनीयता को बढ़ाता है, जिसे कई सेल्स में शार्ड किया जाता है, जिससे उच्च-रैंकिंग सटीकता को होमोमोर्फिक एन्क्रिप्शन-आधारित रीरैंकिंग के माध्यम से बनाए रखते हुए ग्लोबल ज्योमेट्रिक एलाइनमेंट हमलों को बाधित किया जाता है।

मूल लेखक: Sergey Kurilenko

प्रकाशित 2026-06-29
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Sergey Kurilenko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: सर्च का "कांच का घर" (Glass House)

कल्पना कीजिए कि आपके पास गुप्त दस्तावेजों (जैसे कस्टमर सपोर्ट टिकट या निजी ईमेल) का एक विशाल पुस्तकालय है। उन्हें खोजने योग्य बनाने के लिए, आप प्रत्येक दस्तावेज़ को संख्याओं की एक लंबी सूची में बदल देते हैं जिसे एम्बेडिंग (embedding) कहा जाता है। इस सूची को दस्तावेज़ का एक अनूक सा "फिंगरप्रिंट" समझें।

वर्तमान में, यदि कोई इस फिंगरप्रिंट की सूची चुरा लेता है, तो वे अक्सर कंप्यूटर का उपयोग करके मूल टेक्स्ट को वापस डिकोड (reverse-engineer) कर सकते हैं। यह एक कांच के घर जैसा है: भले ही आप दरवाजा बंद कर दें, दीवारें पारदर्शी हैं, और जो कोई भी अंदर देख रहा है वह देख सकता है कि वहां वास्तव में क्या है।

पुराना तरीका: "घूमता हुआ कमरा" (Rotating Room)

इस पेपर से पहले, सामान्य बचाव यह था कि फिंगरप्रिंट को एक कमरे में रखा जाए और पूरे कमरे को घुमा दिया जाए (एक "सीक्रेट रोटेशन")।

  • खामी: यह पेपर तर्क देता है कि यह एक कमरे को एक ही चाबी से घुमाने जैसा है। यदि कोई चोर केवल कुछ "पहले और बाद के" फोटो (ज्ञात टेक्स्ट और उसका फिंगरप्रिंट) चुरा लेता है, तो वह आसानी से पता लगा सकता है कि कमरे को कैसे घुमाया गया था और उसे वापस पूर्ववत (undo) कर सकता है। एक बार जब उन्हें घुमाव का पता चल जाता है, तो वे सब कुछ फिर से देख सकते हैं।
  • समझौता (Trade-off): इसे सुरक्षित बनाने के लिए, लोग अक्सर फिंगरप्रिंट को आधा काट देते हैं (आधा डेटा फेंक देते हैं)। यह इसे रिवर्स करने के लिए कठिन बनाता है, लेकिन यह सर्च इंजन को सही दस्तावेज़ खोजने में भी कमजोर बना देता है।

नया समाधान: SHARD

लेखक SHARD (सेल-कीड रेसिडुअल स्प्लिटिंग) पेश करते हैं। पूरे कमरे को घुमाने के बजाय, वे फिंगरप्रिंट को दो भागों में तोड़ते हैं और उनके साथ अलग-अलग व्यवहार करते हैं।

1. "पब्लिक पोस्टकार्ड" (The Prefix)

वे दस्तावेज़ की सबसे महत्वपूर्ण, व्यापक विशेषताओं (जैसे मुख्य विषय) को लेते हैं और उन्हें एक छोटे, सार्वजनिक "पोस्टकार्ड" पर रखते हैं।

  • उपमा: एक लाइब्रेरी कार्ड की कल्पना करें जिस पर सिर्फ "फिक्शन" या "कुकिंग" लिखा हो। यह गुप्त नहीं है।
  • उद्देश्य: यह सर्च इंजन को संभावित उम्मीदवारों के एक छोटे समूह को जल्दी से खोजने में मदद करता है (जैसे "कुकिंग" सेक्शन ढूंढना)। यह कुछ मोटा (coarse) डेटा लीक करता है (विषय), लेकिन बारीक विवरण नहीं।

2. "निजी पहेली के टुकड़े" (The Residual)

फिंगरप्रिंट का बाकी हिस्सा (विशिष्ट विवरण जो दस्तावेज़ को अद्वितीय बनाते हैं) "रेसिडुअल" है। यहीं असली जादू होता है।

  • विभाजन: लेखक इस निजी हिस्से को कई छोटे टुकड़ों (सेल्स/cells) में काट देते हैं।
  • चाबियाँ: प्रत्येक टुकड़े को अपनी अनूठी, गुप्त चाबी के साथ लॉक किया जाता है।
  • उपमा: कल्पना कीजिए कि एक दस्तावेज़ के निजी विवरण एक जिग्सॉ पहेली (jigsaw puzzle) हैं। पुराने तरीके में, पूरी पहेली एक ही बॉक्स में एक ही लॉक के साथ थी। SHARD में, पहेली को 256 अलग-अलग टुकड़ों में काटा जाता है, और प्रत्येक टुकड़े को एक अलग तिजोरी में अलग चाबी के साथ लॉक किया जाता है।

व्यवहार में यह कैसे काम करता है

जब आप सर्च करते हैं:

  1. चरण 1 (पोस्टकार्ड): सिस्टम सार्वजनिक "पोस्टकार्ड" का उपयोग करके 40 संभावित मैचों की एक छोटी सूची पाता है।
  2. चरण 2 (पहेली): इन 40 मैचों को रैंक करने के लिए, सिस्टम को निजी पहेली के टुकड़ों को देखने की आवश्यकता होती है। यह सर्वर को एक एन्क्रिप्टेड अनुरोध भेजता है। सर्वर उन विशिष्ट पहेली के टुकड़ों को अनलॉक करता जिनकी उन 40 मैचों के लिए आवश्यकता है, उनकी तुलना करता है, और स्कोर वापस देता है।
  3. परिणाम: सर्च इंजन को बिल्कुल वही सटीकता मिलती है जो पूर्ण, बिना एन्क्रिप्टेड डेटा से मिलती, लेकिन सर्वर कभी भी पूरा निजी डेटा नहीं देख पाता।

यह बेहतर क्यों है? (तीन जीत)

1. यह सर्च इंजन को खराब नहीं करता
क्योंकि सिस्टम अंतिम रैंकिंग करने के लिए पूरी तस्वीर को फिर से जोड़ता है, इसलिए यह सटीकता नहीं खोता। पुराने तरीके (डेटा को आधा काटने) ने सर्च परिणामों को खराब कर दिया था। SHARD सर्च परिणामों को एकदम सटीक रखता है।

2. यह हैकिंग को बहुत कठिन बनाता है
यह सबसे बड़ी जीत है।

  • पुराना तरीका: यदि कोई चोर 200 "पहले और बाद के" उदाहरण चुरा लेता है, तो वह रोटेशन का पता लगा सकता है और सब कुछ अनलॉक कर सकता है।
  • SHARD का तरीका: क्योंकि निजी डेटा को अलग-अलग चाबियों के साथ 256 अलग-अलग सेल्स में विभाजित किया गया है, इसलिए चोर को प्रत्येक विशिष्ट सेल के लिए 200 उदाहरण चुराने होंगे।
  • गणित: यदि आपके पास 256 सेल्स हैं, तो चोर को सिस्टम को तोड़ने के लिए प्रत्येक विशिष्ट सेल के लिए 200 उदाहरणों के बजाय लगभग 256 गुना अधिक चोरी किए गए उदाहरणों (200 के बजाय 1,00,000 से अधिक) की आवश्यकता होगी। यह केवल एक लॉक के बजाय 256 अलग-अलग ताले खोलने की कोशिश करने जैसा है।

3. यह तब भी सुरक्षा देता है जब आप विषय जानते हों
भले ही किसी चोर को "पोस्टकार्ड" (विषय) का पता हो, फिर भी वह विशिष्ट विवरण नहीं देख सकता क्योंकि वे निजी पहेली के टुकड़ों में लॉक हैं।

SHARD क्या नहीं करता है (सीमाएं)

लेखक इस बारे में बहुत ईमानदार हैं कि यह सिस्टम क्या नहीं कर सकता:

  • यह कोई जादुई ढाल नहीं है: यदि किसी चोर के पास पहले से ही मूल टेक्स्ट एक सार्वजनिक डेटाबेस (जैसे लीक हुआ समाचार संग्रह) में है और वह उसे "पोस्टकार्ड" के साथ मैच करता है, तो वह अभी भी यह पता लगा सकता है कि कौन सा दस्तावेज़ कौन सा है। SHARD नंबरों से टेक्स्ट को पुनर्निर्मित (reconstruct) करने से बचाता है, लेकिन ज्ञात लीक के साथ मैच करने से नहीं।
  • यह यह नहीं छुपाता कि आप क्या खोज रहे हैं: सिस्टम जानता है कि आप किन दस्तावेजों को देख रहे हैं ("एक्सेस पैटर्न")। यदि आप हर दिन "हार्ट अटैक" सर्च करते हैं, तो सर्वर जानता है कि आप हार्ट अटैक में रुचि रखते हैं, भले ही वह विशिष्ट दस्तावेजों को पढ़ न सके।
  • यह अटूट नहीं है: यदि कोई चोर केवल एक विशिष्ट दस्तावेज़ पर अपना सारा ध्यान केंद्रित करता है और उस विशिष्ट "सेल" के लिए पर्याप्त उदाहरण चुरा लेता है, तो वह उसे अनलॉक कर सकता है। लेकिन वे एक साथ पूरे पुस्तकालय को अनलॉक नहीं कर सकते।

सारांश

SHARD निजी सर्च डेटा को सुरक्षित करने का एक नया तरीका है। पूरे कमरे को घुमाने (जिसे उलटना आसान है) या फर्नीचर का आधा हिस्सा फेंक देने (जिससे कमरा बेकार हो जाता है) के बजाय, यह गुप्त विवरणों को सैकड़ों छोटे, व्यक्तिगत रूप से लॉक किए गए बक्सों में तोड़ देता है। यह हैकर्स के लिए रहस्यों को पुनर्निर्मित करना अविश्वसनीय रूप से महंगा और कठिन बना देता है, जबकि सर्च इंजन को तेज़ और सटीक बनाए रखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →