Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration
यह शोध पत्र "Clarify-Then-Search" प्रस्तुत करता है, जो वास्तविक बाइडु (Baidu) डेटा पर आधारित एक बेंचमार्क है जो यह मूल्यांकन करता है कि कैसे LLM-जनित स्पष्टीकरण प्रश्न लुप्त क्वेरी बाधाओं (query constraints) को बहाल करके गहन खोज प्रदर्शन में सुधार करते हैं, जो यह दर्शाता है कि ऐसे इंटरैक्शन एंड-टू-एंड उपयोगिता को महत्वपूर्ण रूप से बढ़ाते हैं और साथ ही अनउत्तर स्थान संबंधी प्रश्नों के बारे में अत्यधिक पूछने जैसे सामान्य विफलता मोडों को भी प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल सूचना के विशाल परिदृश्य में, खोज इंजन (search engines) सरल कीवर्ड मिलानकर्ताओं से विकसित होकर गहन जांच करने में सक्षम जटिल सहायकों में बदल गए हैं। ये प्रणालियाँ, जिन्हें अक्सर 'डीप सर्च एजेंट' कहा जाता है, केवल लिंक की सूची ही नहीं लौटातीं; वे सक्रिय रूप से वेब ब्राउज़ करती हैं, कई स्रोतों से साक्ष्य एकत्र करती हैं, और उपयोगकर्ता के प्रश्न का एक व्यापक उत्तर तैयार करती हैं। हालाँकि, इन शक्तिशाली उपकरणों में एक गंभीर कमजोरी है: जब किसी मनुष्य का अनुरोध अस्पष्ट होता है, तो वे संघर्ष करते हैं। यदि कोई उपयोगकर्ता "सबसे अच्छे विश्वविद्यालय" के बारे में पूछता है, तो सिस्टम को यह नहीं पता चलता कि उनका मतलब इंजीनियरिंग के लिए सबसे अच्छे, यूरोप के सबसे अच्छे, या एक विशिष्ट बजट के लिए सबसे अच्छे से है। इन लुप्त विवरणों के बिना, खोज अपने मार्ग से भटक सकती है, अप्रासंगिक जानकारी पर समय बर्बाद कर सकती है और एक ऐसा अंतिम उत्तर दे सकती है जो अधूरा या गलत महसूस होता है। समाधान स्पष्ट लगता है: कंप्यूटर को स्पष्टीकरण मांगना चाहिए। लेकिन एक ऐसा सिस्टम बनाना जो यह जान सके कि ठीक क्या पूछना है, और उस उत्तर का उपयोग खोज को बेहतर बनाने के लिए कैसे करना है, परीक्षण करना कठिन रहा है। अब तक, शोधकर्ताओं के पास यह मापने का कोई विश्वसनीय तरीका नहीं था कि क्या एक स्पष्टीकरण वाला प्रश्न वास्तव में खोज इंजन को बेहतर जानकारी खोजने में मदद करता है, या क्या यह केवल एक विनम्र बातचीत है जिसका कोई परिणाम नहीं निकलता।
चीन के यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और बाइडू (Baidu) के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया परीक्षण मैदान तैयार किया है। उन्होंने "क्लैरिफाई-देन-सर्च" (Clarify-Then-Search) नामक एक बेंचमार्क पेश किया है, जो एक कठोर प्रयोग है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या खोजने से पहले प्रश्न पूछने से वास्तव में बेहतर परिणाम मिलते हैं। टीम ने बाइडू सर्च इंजन से वास्तविक दुनिया के खोज प्रश्नों (queries) के साथ शुरुआत की। प्रत्येक परीक्षण मामले के लिए, उन्होंने पहले कच्चे डेटा को एक स्पष्ट, विशिष्ट इरादे वाले प्रश्न (जिसे "fused_query" कहा जाता है) में संलयित और सामान्यीकृत किया, जैसे कि "यूरोप में एआई में मास्टर डिग्री के लिए सबसे अच्छे विश्वविद्यालय।" इसके बाद उन्होंने इस इरादे को समय, क्षेत्र या दायरे जैसे प्रमुख प्रतिबंधों को हटाकर जानबूझकर धुंधला कर दिया ताकि "ब्लरड_क्वेरी" (blurred_query) बनाई जा सके जिसे सिस्टम देखेगा। इसने प्रत्येक परीक्षण मामले के लिए एक युग्मित डेटासेट बनाया: वह अस्पष्ट प्रश्न जिसे सिस्टम को संभालना होगा, और वह स्पष्ट इरादा जो उपयोगकर्ता के वास्तविक लक्ष्य का प्रतिनिधित्व करता था।
परीक्षण को निष्पक्ष और हेरफेर से मुक्त सुनिश्चित करने के लिए, शोधकर्ताओं ने एक सख्त, दो-चरणीय संवाद स्थापित किया। पहले, एक "क्लैरिफायर" (Clarifier) मॉडल ने केवल अस्पष्ट प्रश्न को देखा और उपयोगकर्ता से पूछने के लिए प्रश्नों का एक सेट तैयार किया। इसके बाद, एक "यूजर आंसरर" (User Answerer) मॉडल, जो वास्तविक, स्पष्ट इरादे को जानता था, ने उन प्रश्नों के उत्तर दिए। महत्वपूर्ण रूप से, यूजर आंसरर को ईमानदार होने के लिए प्रोग्राम किया गया था: यदि वास्तविक इरादे में मांगी गई विशिष्ट जानकारी शामिल नहीं थी, तो उसे "अज्ञात" (unknown) कहना था। वह मददगार होने के लिए विवरणों का आविष्कार नहीं कर सकता था। अंत में, एक "रीराइटर" (Rewriter) मॉडल ने मूल अस्पष्ट प्रश्न और प्राप्त उत्तरों को लेकर एक नया, बेहतर खोज प्रश्न बनाया। इस पुनर्गठित प्रश्न को फिर वेबडांसर (WebDancer) नामक एक निश्चित डीप-सर्च सिस्टम में फीड किया गया, जो वास्तविक जानकारी खोजने के लिए बाहर निकला। शोधकर्ताओं ने फिर अंतिम उत्तर की तुलना स्पष्ट इरादे वाले प्रश्न से निर्मित एक "गोल्डन रेफरेंस" (golden reference) से की, यह देखने के लिए कि कितनी सही जानकारी सफलतापूर्वक बहाल की गई।
परिणामों से पता चला कि हालांकि प्रश्न पूछना मदद करता है, लेकिन यह कोई जादुई समाधान नहीं है। जब सिस्टम को केवल एक प्रश्न पूछने की अनुमति दी गई, तो परीक्षण किए गए प्रत्येक मॉडल ने बिना कुछ पूछे किए गए मॉडल की तुलना में बेहतर प्रदर्शन किया। सबसे अच्छा प्रदर्शन करने वाले मॉडल, GPT-5.2 ने बेसलाइन की तुलना में काफी अधिक उपयोगी जानकारी को पुनः प्राप्त किया। हालाँकि, अध्ययन ने इन प्रणालियों के सोचने के तरीके में एक निरंतर दोष को उजागर किया। कई मॉडल, विशेष रूप से वे जो अन्य क्षेत्रों में अच्छा प्रदर्शन करते थे, स्थान या क्षेत्र के बारे में पूछने की एक मजबूत आदत रखते थे, जैसे कि "आप किस शहर की तलाश कर रहे हैं?" इस परीक्षण की सख्त स्थितियों में, जहाँ वास्तविक इरादे में अक्सर कोई स्थान निर्दिष्ट नहीं होता था, इन प्रश्नों के परिणामस्वरूप अक्सर "अज्ञात" उत्तर मिलता था। इसका अर्थ था कि सिस्टम ने एक ऐसा प्रश्न पूछने में एक मोड़ (turn) बर्बाद कर दिया जिसका वह उत्तर नहीं दे सकता था, जिससे पुनर्गठित प्रश्न मूल की तरह ही अस्पष्ट रह गया। शोधकर्ताओं ने पाया कि यह "रीजन-ओनली" (क्षेत्र-मात्र) पूर्वाग्रह इन विफलताओं का एक प्रमुख कारण था, भले ही प्रश्न स्वाभाविक और प्रासंगिक लग रहे हों।
अनुमति दिए गए प्रश्नों की संख्या को एक से बढ़ाकर दो या तीन करने से आम तौर पर परिणामों में सुधार हुआ, लेकिन लाभ मॉडल की रणनीति पर बहुत अधिक निर्भर थे। जबकि GPT-5.2 ने एक एकल प्रश्न के साथ बढ़त बनाई, एक अन्य मॉडल, ERNIE-4.5-Turbo-128K ने शीर्ष स्थान प्राप्त किया जब उसे तीन प्रश्न पूछने की अनुमति दी गई। यह सुझाव देता है कि कुछ प्रणालियाँ एक एकल, उच्च-मूल्य वाले प्रश्न को चुनने में बेहतर होती हैं, जबकि अन्य एक निरंतर संवाद में उत्कृष्ट होती हैं जो धीरे-धीरे छूटे हुए विवरणों को उजागर करती है। अध्ययन ने यह भी दिखाया कि केवल अधिक टर्न (turns) होने से सफलता की गारंटी नहीं मिलती है; यदि अतिरिक्त प्रश्न उस जानकारी को लक्षित करना जारी रखते हैं जो मौजूद नहीं है, तो सिस्टम मृत अंत (dead ends) से टकराता रहता है। सबसे प्रभावी प्रणालियाँ वे थीं जिन्होंने इन कम-उपयोगी प्रश्नों से बचने और कम से कम एक ठोस, उपयोगी जानकारी प्राप्त करने में सफलता प्राप्त की।
यह कार्य डीप सर्च में स्पष्टीकरण के वास्तविक मूल्य को मापने का एक स्पष्ट, पुनरुत्पादक तरीका प्रदान करता है। यह केवल यह जाँचने से आगे बढ़ता है कि क्या कोई प्रश्न विनम्र या प्रासंगिक लगता है, बल्कि इस बात पर ध्यान केंद्रित करता है कि क्या प्रश्न वास्तव में एक बेहतर अंतिम उत्तर की ओर ले जाता है। निष्कर्ष बताते हैं कि डीप सर्च सिस्टम को वास्तव में विश्वसनीय बनने के लिए, उन्हें न केवल पूछना सीखना होगा, बल्कि सही चीजें पूछना सीखना होगा। उन्हें यह पहचानना होगा कि कब एक प्रश्न से उत्तर मिलने की संभावना है और कब उपलब्ध जानकारी के साथ खोज के साथ आगे बढ़ना बेहतर है। इन विशिष्ट विफलता मोड को उजागर करके, यह बेंचमार्क ऐसे खोज एजेंट बनाने का रोडमैप प्रदान करता है जो न केवल स्मार्ट हैं बल्कि अधिक कुशल भी हैं, यह सुनिश्चित करते हुए कि प्रत्येक संवाद उपयोगकर्ता को उस सत्य के करीब ले जाए जिसे वे खोज रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।