GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG

कल्पना कीजिए कि आप एक जासूस हैं जो गुप्त फाइलों के एक विशाल पुस्तकालय का उपयोग करके एक रहस्य को सुलझाने की कोशिश कर रहे हैं। डिजिटल दुनिया में, यह इस बात के समान है कि आधुनिक AI सहायक कैसे काम करते हैं: वे केवल उस पर निर्भर नहीं होते जो उन्हें स्कूल में सिखाया गया था; वे अपने सवालों के सटीक उत्तर देने के लिए एक विशाल डेटाबेस से विशिष्ट जानकारी को "प्राप्त" (retrieve) करने के लिए बाहर जाते हैं। इस प्रक्रिया को 'रिट्रीवल-ऑगमेंटेड जनरेशन' (Retrieval-Augmented Generation) या RAG कहा जाता है। हालाँकि, इसमें एक पेंच है। आमतौर पर, सही फाइल खोजने के लिए, जासूस को लाइब्रेरियन को अपना प्रश्न सादे टेक्स्ट (plain text) में दिखाना पड़ता है और लाइब्रेरियन ठीक वही देखता है जो वह खोज रहा है। यदि प्रश्न किसी गुप्त मेडिकल रिकॉर्ड या निजी बैंक खाते के बारे में है, तो यह जोखिम भरा महसूस होता है।

इसे ठीक करने के लिए, वैज्ञानिक "जादुई तालों" का उपयोग करने की कोशिश कर रहे हैं जिन्हें 'होमोमोर्फिक एन्क्रिप्शन' (Homomorphic Encryption) कहा जाता है। इसे एक विशेष कांच के बॉक्स के रूप में सोचें जहाँ आप बॉक्स को खोले बिना या उसके अंदर क्या है देखे बिना गणित कर सकते हैं। आप लाइब्रेरियन से वे फाइलें खोजने के लिए कह सकते हैं जो आपके गुप्त प्रश्न से मेल खाती हैं, और लाइब्रेरian बॉक्स के अंदर सब कुछ बंद रहने के दौरान भी मिलान खोजने के लिए गणित कर सकता है। लेकिन एक समस्या है: पुराना तरीका ऐसा था जैसे लाखों किताबों को पढ़ने और हर एक की तुलना अपने प्रश्न से करने के लिए हर एक किताब को एक-एक करके कांच के बॉक्स के अंदर देखना। यह इतना धीमा और जटिल था कि व्यावहारिक जीवन में इसका उपयोग करना लगभग असंभव था।

यहीं पर एक नया पेपर आता है, जो "गोल्डनरिट्रीवर" (GoldenRetriever) नामक एक चतुर शॉर्टकट का प्रस्ताव देता है। हर एक दस्तावेज़ को रैंक करने की कोशिश करने के बजाय (जो कि भारी और धीमा काम है), शोधकर्ता एक सरल नियम का सुझाव देते हैं: "बस कोई भी दस्तावेज़ उठा लो जो काफी अच्छा हो।" वे एक विशिष्ट स्कोर निर्धारित करते हैं, जैसे कि "अच्छाई की सीमा" (goodness threshold), और यदि किसी दस्तावेज़ का समानता स्कोर उस रेखा से ऊपर है, तो उसे चुन लिया जाता है। यदि यह उससे नीचे है, तो उसे अनदेखा कर दिया जाता है। यह काम को तुलनाओं के मैराथन से बदलकर एक त्वरित, लीनियर स्कैन में बदल देता है। पेपर प्रदर्शित करता है कि यह तरीका पुराने, जटिल तरीके के समान ही प्रभावी है लेकिन बहुत अधिक तेज़ है, जिससे निजी, एन्क्रिप्टेड AI खोजें भविष्य के लिए एक बहुत अधिक वास्तविक संभावना बन जाती हैं।

समस्या: धीमा, भारी कांच का बॉक्स

कल्पना कीजिए कि आपके पास एक विशाल पुस्तकालय है जहाँ हर किताब एक भारी, अपारदर्शी कांच के बॉक्स के अंदर बंद है। आप उन किताबों को खोजना चाहते हैं जो आपके द्वारा लिखे गए एक गुप्त नोट के समान हैं। अतीत में, इसे सुरक्षित रूप से करने के लिए, लाइब्रेरियन को हर एक किताब लेनी पड़ती, उसकी आपके नोट से तुलना करनी पड़ती, और उन्हें "सबसे समान" से "सबसे कम समान" के क्रम में रैंक करना पड़ता, जबकि किताबें उनके कांच के बक्सों के अंदर ही रहतीं।

यही वह चीज़ है जिसे पेपर "होमोमोर्फिक टॉप-के रैंकिंग" (homomorphic top-k ranking) कहता है। यह एक मोटे ओवन मिट्स (oven mitts) पहने हुए ताश के पत्तों की गड्डी को छांटने जैसा है जो आपकी उंगलियों को अनाड़ी बना देते हैं। पेपर बताता है कि यह प्रक्रिया अविश्वसनीय रूप से धीमी है। उनके परीक्षणों में, दस्तावेज़ों की एक मध्यम संख्या के साथ भी, केवल एक क्वेरी के लिए प्रक्रिया में 10,000 सेकंड (दो ونص घंटे से अधिक) लग गए। यह किसी के लिए भी जो त्वरित उत्तर चाहता है, बहुत अधिक धीमा है। इसके अलावा, पुराने तरीकों में अक्सर लाइब्रेरियन और उपयोगकर्ता को कई बार आपस में बात करने की आवश्यकता होती थी, जो "हॉट एंड कोल्ड" (पास या दूर) के खेल जैसा है जो आपके द्वारा खोजी जा रही चीज़ों के सुराग लीक कर देता है।

समाधान: "काफी अच्छा" फ़िल्टर

इस पेपर के लेखकों ने, एक ऐसी प्रणाली के साथ काम किया जिसे उन्होंने गोल्डनरिट्रीवर नाम दिया, उन्होंने हर एक किताब को रैंक करने की कोशिश करना छोड़ दिया। इसके बजाय, उन्होंने एक थ्रेशोल्ड-आधारित चयन (threshold-based selection) का प्रस्ताव दिया।

इसे एक क्लब के बाउंसर के रूप में सोचें। हर एक व्यक्ति को यह तय करने के लिए लाइन में खड़ा करने के बजाय कि वास्तव में सबसे "कूल" कौन है, बाउंसर के पास एक सरल नियम होता है: "यदि आपका कूलनेस स्कोर 0.6 से ऊपर है, तो आप अंदर आ सकते हैं।" गोल्डनरिट्रीवर भी यही करता है। यह गणना करता है कि प्रत्येक दस्तावेज़ आपके प्रश्न के प्रति कितना समान है, और यदि स्कोर एक पूर्व-निर्धारित संख्या (थ्रेशोल्ड) से अधिक है, तो यह उस दस्तावेज़ को "चयनित" के रूप में चिह्नित करता है। यदि स्कोर कम है, तो यह उसे "अनदेखा" के रूप में चिह्नित करता है।

यह सरल परिवर्तन एक गेम-चेंजर है। क्योंकि सिस्टम को सबसे अच्छे दस्तावेज़ों को खोजने के लिए हर दस्तावेज़ की हर दूसरे दस्तावेज़ के साथ तुलना करने की आवश्यकता नहीं है, इसलिए इसे भारी, क्वाड्रेटिक गणित करने की आवश्यकता नहीं है। इसके बजाय, यह केवल प्रत्येक दस्तावेज़ को एक बार देखता है। पेपर दिखाता है कि यह इस प्रक्रिया को एक क्वाड्रेटिक उलझन (जो पुस्तकालय बढ़ने के साथ तेजी से कठिन होती जाती है) से एक लीनियर पथ (जो स्थिर और अनुमानित रूप से बढ़ता है) में बदल देता है।

जादू का खेल: मास्क को पोलराइज़ करना

इस दृष्टिकोण के साथ एक पेचीदा समस्या थी। क्योंकि गणित "कांच के बॉक्स" (होमो मोर्फिक एन्क्रिप्शन) के भीतर होता है, परिणाम सटीक नंबर नहीं होते; वे धुंधले अनुमान होते हैं। एक दस्तावेज़ जो एक आदर्श "1" (चयनित) होना चाहिए, वह "0.98" के रूप में आ सकता है, और एक दस्तावेज़ जो "0" (अनदेखा) होना चाहिए, वह "0.02" हो सकता है।

यदि सिस्टम इन धुंधले नंबरों का उपयोग करके किताब का वास्तविक टेक्स्ट लेने की कोशिश करता है, तो वह विकृत कचरा प्राप्त करेगा। इसे ठीक करने के लिए, शोधकर्ताओं ने एक "प्रिसिजन-स्टेबल मास्क पोलराइजेशन" (precision-stable mask polarization) विधि का आविष्कार किया।

कल्पना कीजिए कि आपके पास एक थोड़ा डगमगाता हुआ तराजू है। यदि आप एक तरफ भारी पत्थर रखते हैं, तो वह थोड़ा झुकता है लेकिन पूरी तरह से नहीं। पोलराइजेशन विधि एक सुपर-स्ट्रॉन्ग चुंबक की तरह है जो तराजू को पूरी तरह से "पत्थर" की ओर धकेल देती है यदि वह थोड़ा भी भारी है, और पूरी तरह से "खाली" की ओर धकेल देती है यदि वह थोड़ा भी हल्का है। गणितीय रूप से, उन्होंने इन धुंधले नंबरों को पूर्ण 1s और 0s में बदलने के लिए एक विशेष 7वें-डिग्री के बहुपद (polynomial) फंक्शन का उपयोग किया। यह सुनिश्चित करता है कि जब अंतिम टेक्स्ट को अनलॉक किया जाता है, तो शब्द बिल्कुल सही होते हैं, बिना किसी स्पेलिंग मिस्टेक या छूटे हुए अक्षर के।

उन्होंने क्या पाया: बिना बलिदान के गति

टीम ने MS MARCO और नेचुरल क्वेश्चन्स (Natural Questions) जैसे मानक रिट्रीवल बेंचमार्क पर अपने नए सिस्टम का परीक्षण किया। उन्होंने अपने "थ्रेशोल्ड" तरीके की तुलना पुराने "रैंकिंग" तरीके और एक मानक "प्लेनटेक्स्ट" (अनएन्क्रिप्टेड) संस्करण से की।

परिणाम स्पष्ट थे:

• सटीकता (Accuracy): गोल्डनरिट्रीवर अनएन्क्रिप्टेड संस्करण जितना ही अच्छा था। इसने सही दस्तावेज़ों को खोजा और टेक्स्ट को पूरी तरह से पुनर्गठित किया।
• गति (Speed): यहीं पर जादू हुआ। पुराने एन्क्रिप्टेड रैंकिंग तरीके की तुलना में, उनका नया तरीका अत्यधिक तेज़ था। एक परीक्षण में, पुराने तरीके में 16,579.9 सेकंड (लगभग 4.6 घंटे) लगे, जबकि नए तरीके में केवल 1,051.8 सेकंड (लगभग 17.5 मिनट) लगे।
• स्केलेबिलिटी (Scalability): जैसे-जैसे उन्होंने दस्तावेज़ों की संख्या 100 से बढ़ाकर 1,000 की, सिस्टम स्थिर रहा। इसे लगने वाला समय अनुमानित रूप से बढ़ा, जिससे साबित हुआ कि सिस्टम बड़े पुस्तकालयों को बिना विफल हुए संभाल सकता है।

पेपर ने यह भी नोट किया कि "थ्रेशोल्ड" सेटिंग एक डायल की तरह है जिसे आप घुमा सकते हैं। यदि आप थ्रेशोल्ड कम रखते हैं, तो आपको अधिक दस्तावेज़ मिलते हैं (उच्च रिकॉल), लेकिन यदि आप इसे बहुत अधिक रखते हैं, तो आप कुछ प्रासंगिक जानकारी खो सकते हैं। हालांकि, इस समझौते के बावजूद, सिस्टम ने साबित किया कि आप एक सुरक्षित, गैर-इंटरैक्टिव खोज प्रणाली प्राप्त कर सकते हैं, जिसमें उपयोगकर्ता और सर्वर को आपस में बहुत अधिक बात करने की आवश्यकता नहीं होती है, और जो घंटों तक चलने के बजाय जल्दी समाप्त हो जाती है।

निचोड़

गोल्डनरिट्रीवर पेपर सुझाव देता है कि निजी AI के लिए हमें अंधेरे में "सब कुछ पूरी तरह से रैंक करने" की असंभव समस्या को हल करने की आवश्यकता नहीं है। इसके बजाय, केवल यह पूछकर कि "क्या यह पर्याप्त अच्छा है?" और धुंधले परिणामों को साफ करने के लिए एक चतुर गणितीय ट्रिक का उपयोग करके, हम सुरक्षित, गैर-इंटरैक्टिव खोज प्रणालियाँ बना सकते हैं जो वास्तव में उपयोग करने के लिए पर्याप्त तेज़ हैं। यह एक धीमे, बोझिल प्रक्रिया को एक सुव्यवस्थित, कुशल पाइपलाइन में बदल देता है, जो हमें ऐसे AI सहायकों के करीब लाता है जो आपकी गोपनीयता का सम्मान करते हैं बिना आपकी गति को धीमा किए।