CeQe: Grounding Lexical Retrieval in Semantic Evidence
यह शोध पत्र क्रॉस-एनकोडर क्वेरी एक्सपेंशन (CE-QE) प्रस्तुत करता है, जो एक ऐसी विधि है जो सिमेंटिक सर्च परिणामों पर क्रॉस-एनकोडर एट्रिब्यूशन्स से निर्णायक शब्दों को निकालकर BM25 क्वेरीज़ को विस्तारित करके लेक्सिकल रिट्रीवल को बेहतर बनाती है, जिससे अंतर्निहित इंडेक्स को संशोधित किए बिना या जेनेरेटिव हैलुसिनेशन पर निर्भर हुए बिना शब्दावली के अंतर को प्रभावी ढंग से पाटा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कुकबुक्स (पाक कला की पुस्तकों) के एक विशाल, अव्यवस्थित पुस्तकालय में एक विशिष्ट रेसिपी खोज रहे हैं। आपके पास खोजने के दो तरीके हैं। पहला तरीका एक सख्त लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है जो केवल उन्हीं शब्दों को देखता है जो आपने टाइप किए हैं। यदि आप "स्पाइसी टोमेटो सूप" (spicy tomato soup) मांगते हैं, तो वह केवल उन किताबों को ढूंढेगा जिनमें "स्पाइसी," "टोमेटो" और "सूप" शब्द मौजूद हों। यदि कोई किताब उस व्यंजन का वर्णन "एक तीखे लाल शोरबे (fiery red broth) के साथ टमाटरों" के रूप में करती है, तो लाइब्रेरियन उसे पूरी तरह से अनदेखा कर देता है, भले ही वह बिल्कुल वही हो जो आप चाहते हैं। दूसरा तरीका एक बुद्धिमान, सहज मित्र की तरह है जो आपकी इच्छा के विचार (concept) को समझता है। वह उस "तीखे लाल शोरबे" वाली किताब को ढूंढ सकता है क्योंकि वह गर्मी और टमाटरों की अवधारणा को समझता है, भले ही शब्द मेल न खाते हों।
कंप्यूटर विज्ञान की दुनिया में, यह "लेक्सिकल" (lexical) सर्च (सख्त लाइब्रेरियन) और "सिमेंटिक" (semantic) सर्च (सहज मित्र) के बीच का संघर्ष है। वर्षों से, इंजीनियरों ने उन्हें संयोजित करने का प्रयास किया है, इस उम्मीद में कि मित्र की अंतर्दृටी लाइब्रेरियन को सही किताबें खोजने में मदद कर सके। लेकिन एक समस्या है: लाइब्रेरियन इतना जिद्दी है कि यदि मित्र को एक आदर्श किताब मिल जाती है लेकिन लाइब्रेरियन उसे कभी देख ही नहीं पाता क्योंकि शब्द गलत हैं, तो लाइब्रेरियन उसे मित्र द्वारा दिखाने से पहले ही फेंक देता है। यह शोध पत्र इसी जिद को संबोधित करता है। यह पूछता है: क्या हम लाइब्रेरियन को खोजने से पहले ही मित्र की अंतर्दृष्टि समझने के लिए सिखा सकते हैं, ताकि वे सही उत्तरों को मिस न करें?
IBM रिसर्च के शोधकर्ताओं ने, एडम कहिरोव और सहयोगियों के नेतृत्व में, कहा है कि हाँ। वे एक चतुर तकनीक पेश करते हैं जिसे क्रॉस-एनकोडर क्वेरी एक्सपेंशन (Cross-Encoder Query Expansion - CE-QE) कहा जाता है। इसे एक "गुप्त अनुवादक" (secret translator) के रूप में सोचें जो लाइब्रेरियन और मित्र के बीच बैठता है। यह कैसे काम करता है: सबसे पहले, सहज मित्र (एक सिमेंटिक सर्च इंजन) तेजी से उन शीर्ष कुछ किताबों को खोजता है जो आपके प्रश्न के प्रासंगिक लगते हैं। फिर, गुप्त अनुवादक (एक क्रॉस-एनकोडर) उन किताबों को पढ़ता है और उन विशिष्ट शब्दों को उजागर करता है जिन्होंने उन्हें प्रासंगिक बनाया। यह अनुवादक की ओर इशारा करने जैसा है और कहने जैसा है, "हे लाइब्रेरियन, तुमने इसे मिस कर दिया क्योंकि तुम 'स्पाइसी' की तलाश कर रहे थे, लेकिन यह किताब वास्तव में 'तीखे' और 'लाल शोरबे' के बारे में है। जाओ और अपने सर्च में ये शब्द जोड़ लो!"
टीम फिर उन हाइलाइट किए गए शब्दों को लेती है और उन्हें आपके मूल खोज अनुरोध में जोड़ देती है। अब, जब सख्त लाइब्रेरियन वापस अलमारियों पर जाता है, तो वह "स्पाइसी टोमेटो सूप" साथ ही "तीखे लाल शोरबे" की तलाश कर रहा होता है। अचानक, लाइब्रेरियन उस किताब को भी ढूंढ लेता है जिसे वह पहले अनदेखा कर देता। सबसे अच्छी बात? लाइब्रेरियन को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, और पुस्तकालय को फिर से बनाने की भी आवश्यकता नहीं है। लाइब्रेरियन को बस शब्दों की एक थोड़ी लंबी, स्मार्ट सूची मिल जाती है जिसे उसे खोजना है।
यह शोध पत्र दिखाता है कि जब लोग एक ही चीज़ को वर्णित करने के लिए अलग-अलग शब्दों का उपयोग करते हैं, तो यह तरीका गेम-चेंजर साबित होता है। उदाहरण के लिए, 'नेचुरल क्वेश्चन्स' (Natural Questions) नामक एक डेटासेट पर, जहाँ लोग सामान्य प्रश्न पूछते हैं और उत्तर औपचारिक विश्वकोशों (encyclopedias) में होते हैं, टीम ने पाया कि उनके तरीके ने सिस्टम को प्रासंगिक दस्तावेज़ 15% अधिक बार खोजने में मदद की (रिकॉल स्कोर 0.32 से बढ़कर 0.47 हो गया)। उन्होंने इसे एक स्कोरिंग सिस्टम के साथ भी जोड़ा जिसे वे SESF कहते हैं, जिसने अन्य शीर्ष-स्तरीय खोज विधियों को महत्वपूर्ण अंतर से पीछे छोड़ दिया, जिससे वर्तमान में उपयोग किए जा रहे कुछ सबसे उन्नत मॉडलों की तुलना में रैंकिंग की गुणवत्ता में 5% से अधिक का सुधार हुआ।
महत्वपूर्ण रूप से, लेखक तर्क देते हैं कि यह दृष्टिकोण अन्य हालिया विचारों की तुलना में बेहतर है। कुछ अन्य तरीके खोज में मदद करने के लिए नए शब्द आविष्कार करने या नकली उत्तर बनाने के लिए विशाल AI मॉडल का उपयोग करने का प्रयास करते हैं, लेकिन IBM टीम चेतावनी देती है कि इससे "हैलुसिनेशन" (hallucinations)—यानी ऐसे तथ्य बनाना जो पुस्तकालय में हैं ही नहीं—हो सकता है। उनका तरीका ज़मीनी है: उनके द्वारा जोड़ा गया प्रत्येक नया शब्द एक वास्तविक पुस्तक से आता है जिसे मित्र ने पहले ही खोज लिया है। यह एक वास्तविक शब्दकोश से शब्द उधार लेने जैसा है, न कि खुद का शब्दकोश बनाने जैसा। वे यह भी दिखाते हैं कि इसके लिए मौजूदा खोज प्रणाली के बड़े, महंगे बदलाव की आवश्यकता नहीं है; यह थोड़ा अतिरिक्त समय देकर काफी उच्च सटीकता प्राप्त करने वाला एक छोटा, स्मार्ट कदम जोड़ता है, जिससे मौजूदा मशीनरी को तोड़े बिना खोज अधिक सटीक हो जाती है।
संक्षेप में, यह पेपर सिद्ध करता है कि खोज शुरू होने से पहले "सहज मित्र" को सही कीवर्ड्स "सख्त लाइब्रेरियन" के कान में फुसफुसाने देकर, हम आधुनिक खोज इंजनों की सबसे बड़ी कमी को ठीक कर सकते है: वह क्षण जब उत्तर वहीं मौजूद होता है, लेकिन शब्द मेल नहीं खाते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।