Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings
यह शोध पत्र हाइपोथेटिकल प्रॉम्प्ट एम्बेडिंग्स (HyPE) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम में क्वेरी और दस्तावेज़ों के बीच शैली के अंतर को पाटने के लिए इंडेक्सिंग के दौरान काल्पनिक प्रॉम्प्ट्स को पूर्व-निर्धारित करता है, जिससे रनटाइम लेटेंसी बढ़ाए बिना रिट्रीवल की सटीकता (precision) और रिकॉल (recall) में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप घास के एक विशाल, बिखरे हुए ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं। लेकिन यहाँ एक मोड़ है: घास का वह ढेर औपचारिक, उबाऊ भाषा में लिखी गई विश्वकोश प्रविष्टियों (encyclopedia entries) से बना है, जबकि आपकी सुई के लिए आपका अनुरोध एक जिज्ञासु किशोर द्वारा चिल्लाया गया एक उन्मादी, उत्साहित प्रश्न है। यह रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) का दैनिक संघर्ष है। RAG को एक सुपर-स्मार्ट रोबोट लाइब्रेरियन के रूप में सोचें जो केवल अपनी याददाश्त से जवाबों का अनुमान नहीं लगाता (जो कि पुराना या मनगढ़ंत हो सकता है), बल्कि जवाब देने से पहले वास्तविक दस्तावेज़ खोजने के लिए पुस्तकालय की अलमारियों की ओर दौड़ता है। समस्या यह है कि रोबोट अक्सर भ्रमित हो जाता है क्योंकि लोग जिस तरह से सवाल पूछते हैं (प्रश्नवाचक, जैसे "ज्वालामुखी कैसे काम करता है?") वह पूरी तरह से अलग होता है उस तरह से जिससे किताबें तथ्य बताती हैं (घोषणात्मक, जैसे "ज्वालामुखीओं का निर्माण... से होता है")। यह एक चौकोर खांचे को गोल खांचे में फिट करने की कोशिश करने जैसा है; रोबोट के खोज उपकरण सही किताब को मिस कर देते हैं क्योंकि सवाल का "आकार" और टेक्स्ट का "आकार" मेल नहीं खाता।
इसे ठीक करने के लिए, वैज्ञानिकों ने विभिन्न तरकीबें आजमाई हैं। एक लोकप्रिय विधि, जिसे HyDE कहा जाता है, यह पूछने जैसा है कि क्या रोबोट लाइब्रेरी जाने से पहले सवाल का जवाब देने का नाटक कर सकता है। यह एक नकली जवाब बनाता है, उसे एक सर्च क्वेरी में बदल देता है, और उम्मीद करता है कि लाइब्रेरी असली किताब ढूंढ लेगी। लेकिन यह धीमा और महंगा है क्योंकि रोबोट को हर बार जब कोई सवाल पूछता है, तो उसे यह "नाटक" करना पड़ता है।
आप जिस शोध पत्र को पढ़ने जा रहे हैं, वह एक नया विचार पेश करता है जिसे हाइपोथेटिकल प्रॉम्प्ट एम्बेडिंग्स (HyPE) कहा जाता है। HyPE में रोबोट को सवाल पूछे जाने के समय "नाटक" करने के बजाय, यह सुझाव दिया गया है कि सारा "नाटक" वाला काम सवाल पूछे जाने से पहले ही कर लिया जाए। यह एक ऐसी सूची पहले से लिखने जैसा है कि एक किताब किन संभावित सवालों के जवाब दे सकती है और उन सवालों को लाइब्रेरी में किताब की रीढ़ (spine) पर चिपका देना है। अब, जब एक वास्तविक सवाल आता है, तो रोबोट बस सवाल-से-सवाल का मिलान करता है, जो बहुत तेज़ है और अक्सर बहुत अधिक सटीक भी होता है।
समस्या: "स्टाइल गैप" (शैली का अंतर)
AI की दुनिया में, एक निरंतर सिरदर्द है जिसे "स्टाइल गैप" के रूप में जाना जाता है। जब आप कंप्यूटर से कोई सवाल पूछते हैं, तो आप आमतौर पर इसे एक प्रश्न के रूप में लिखते हैं: "फ्रांस की राजधानी क्या है?" लेकिन जिस दस्तावेज़ को कंप्यूटर खोजता है, वे आमतौर रूप से बयानों के रूप में लिखे जाते हैं: "फ्रांस की राजधानी पेरिस है।"
कल्पना कीजिए कि आप भीड़ भरे कमरे में एक दोस्त को ढूंढ रहे हैं। आप लाल टोपी पहने हुए किसी की तलाश कर रहे हैं (सवाल), लेकिन कमरे में हर कोई नीले सूट पहने हुए है (दस्तावेज़)। भले ही आपका दोस्त वहीं मौजूद हो, आपकी खोज विफल हो सकती है क्योंकि आप कपड़ों के गलत "स्टाइल" की तलाश कर रहे हैं। तकनीकी शब्दों में, इसका मतलब है कि कंप्यूटर का सर्च इंजन दो टेक्स्ट के बीच कितनी समानता है, इसे मापने के लिए गणित का उपयोग करता है, लेकिन यह एक सवाल को उसके जवाब से जोड़ने में विफल रहता है क्योंकि वे सुनने में बहुत अलग होते हैं।
पुराना समाधान: "नकली जवाब" वाली तरकीब
शोधकर्ताओं ने पहले इसे HyDE (हाइपोथेटिकल डॉक्यूमेंट एम्बेडिंग्स) नामक एक विधि से हल करने की कोशिश की थी। विचार चतुर था: जब कोई उपयोगकर्ता प्रश्न पूछता है, तो AI तुरंत एक छोटा, नकली उत्तर उत्पन्न करता है। फिर यह उस नकली उत्तर का उपयोग लाइब्रेरी खोजने के लिए करता है। चूंकि नकली उत्तर वास्तविक दस्तावेजों जैसा लगता है (दोनों ही बयान/statements हैं), इसलिए खोज बेहतर काम करती है।
हालाँकि, इस दृष्टिकोण का एक बड़ा नुकसान है। यह लाइब्रेरियन से हर बार किसी के दरवाजे पर आने पर एक नकली पुस्तक सारांश लिखने के लिए कहने जैसा है। इसमें अतिरिक्त समय लगता है और हर सवाल के लिए अतिरिक्त लागत (कंप्यूटिंग पावर) आती है। यदि आपके पास एक व्यस्त लाइब्रेरी है, तो यह सब कुछ धीमा कर देता है।
नया समाधान: HyPE ( "पहले से लिखे गए सवाल" की रणनीति)
इस शोध पत्र के लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं जिसे हाइपोथेटिकल प्रॉम्प्ट एम्बेडिंग्स (HyPE) कहा जाता है। उपयोगकर्ता के सवाल पूछने का इंतज़ार करने के बजाय, HyPE सारा कठिन काम पहले ही (इंडेक्सिंग चरण के दौरान, जब लाइब्रेरी को व्यवस्थित किया जा रहा होता है) कर देता है।
यहाँ बताया गया है कि HyPE कैसे काम करता है, चरण-दर-चरण:
- ऑफलाइन पार्टी: किसी भी उपयोगकर्ता के आने से पहले, सिस्टम लाइब्रेरी के हर टेक्स्ट के टुकड़े (हर दस्तावेज़) को लेता है और AI से पूछता है: "इस विशिष्ट टेक्स्ट के उत्तर में कौन से 5 या 10 अलग-अलग प्रश्न दिए जा सकते हैं?"
- लेबलिंग: सिस्टम फिर उन काल्पनिक प्रश्नों को गणितीय "फिंगरप्रिंट्स" (एम्बेडिंग्स) में बदल देता है और उन्हें दस्तावेज़ पर चिपका देता है।
- मैच: अब, लाइब्रेरी में केवल टेक्स्ट ही नहीं है; इसमें जुड़े हुए संभावित प्रश्नों की एक सूची भी है।
- खोज: जब एक वास्तविक उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम बस उपयोगकर्ता के प्रश्न की तुलना दस्तावेजों पर लिखे गए पूर्व-लिखित प्रश्नों से करता है। यह एक प्रश्न-से-प्रश्न (Question-to-Question) मिलान है, जो एक सटीक फिट है क्योंकि दोनों पक्ष प्रश्न ही पूछ रहे हैं।
सबसे अच्छी बात क्या है? यह ऑफलाइन होता है। एक बार जब लाइब्रेरी व्यवस्थित हो जाती है, तो सिस्टम को उपयोगकर्ता के सवाल पूछने पर किसी अतिरिक्त सोच की आवश्यकता नहीं होती है। यह बस एक तेज़, मानक खोज करता है।
उन्होंने क्या पाया: गति और सटीकता
शोधकर्ताओं ने छह अलग-अलग डेटासेट्स का उपयोग करके HyPE का मानक विधि और "HyDE" विधि (मौके पर नकली उत्तर उत्पन्न करना) के विरुद्ध परीक्षण किया, जिसमें सामान्य वेब खोजों से लेकर जटिल बहु-चरणीय तर्क कार्य शामिल थे।
परिणाम काफी उत्साहजनक थे:
- बेहतर परिशुद्धता (Precision): HyPE ने मानक तरीकों की तुलना में सही संदर्भ खोजने की परिशुद्धता में 42 प्रतिशत अंक तक सुधार किया। सरल शब्दों में, सिस्टम पहली बार में ही सटीक दस्तावेज़ चुनने में बहुत बेहतर था।
- बेहतर रिकॉल (Recall): इसने "क्लेम रिकॉल" (सभी आवश्यक जानकारी ढूंढना) में 45 प्रतिशत अंक तक सुधार किया।
- कोई विलंब नहीं (No Lag): HyDE के विपरीत, जो हर बार सवाल पूछे जाने पर सिस्टम को धीमा कर देता है, HyPE उपयोगकर्ता के प्रतीक्षा समय में शून्य अतिरिक्त समय जोड़ता है। भारी काम पहले ही किया जा चुका था।
दिलचस्प बात यह है कि शोध पत्र में उल्लेख किया गया है कि HyPE ने MS MARCO नामक एक विशिष्ट डेटासेट पर बहुत बड़ा लाभ नहीं दिखाया। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि MS MARCO डेटासेट में पहले से ही बहुत छोटे, सीधे पैराग्राफ हैं जहाँ प्रश्न और उत्तर की शैलियाँ पहले से ही काफी समान हैं, इसलिए "स्टाइल गैप" उतनी बड़ी समस्या नहीं थी। लेकिन अन्य अधिकांश डेटासेट्स के लिए, विशेष रूप से लंबे, अधिक जटिल टेक्स्ट के लिए, HyPE एक स्पष्ट विजेता था।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि HyPE एक लचीला अपग्रेड है। यह अन्य कूल तकनीकों को हटाता नहीं है; यह उनके साथ काम करता है। आप HyPE का उपयोग री-रैंकिंग (शीर्ष परिणामों की दोबारा जांच करना) या जटिल प्रश्नों को छोटे हिस्सों में तोड़ने जैसे अन्य उन्नत खोज ट्रिक्स के साथ कर सकते हैं।
लेखक निष्कर्ष निकालते हैं कि सवाल पूछे जाने के क्षण से "नाटक" करने के काम को संगठन के क्षण (indexing phase) में स्थानांतरित करके, हम ऐसे RAG सिस्टम बना सकते हैं जो तेज़ भी हैं और अधिक सटीक भी। यह "प्रश्न-से-दस्तावेज़" मिलान से "प्रश्न-से-प्रश्न" मिलान की ओर एक बदलाव है, जो हमारे पूछने के तरीके और जानकारी संग्रहीत करने के तरीके के बीच के अंतर को पाटता है। हालांकि यह पेपर यह दावा नहीं करता है कि यह AI की दुनिया की हर समस्या को हल कर देता है, लेकिन प्रयोग दृढ़ता से सुझाव देते हैं कि यह AI लाइब्रेरियन को उनके काम में बेहतर बनाने का एक अत्यधिक प्रभावी और लागत-कुशल तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।