LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
यह शोध पत्र LakeQuest को प्रस्तुत करता है, जो तीन विविध डोमेन में लगभग 10,000 QA (प्रश्न-उत्तर) युग्मों से बना एक मानव-सत्यापित बेंचमार्क है, जिसे यथार्थवादी, विषम डेटा लेक्स (data lakes) पर एंड-टू-एंड प्रश्न उत्तर करने में वर्तमान रिट्रीवल-ऑगमेंटेड और एजेंटिक प्रणालियों की सीमाओं का मूल्यांकन करने और उन्हें उजागर करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपको एक व्यवस्थित, एकल नोटबुक के बजाय, एक विशाल, अराजक गोदाम थमा दिया गया है। उस गोदाम के अंदर लाखों बिखरे हुए कागज, आधे-लिखे हुए बही-खाते, स्टिकी नोट्स और टूटी हुई फाइलिंग कैबिनेट का ढेर है। कुछ सुराग सादे अंग्रेजी में लिखे हैं, कुछ जटिल स्प्रेडशीट में हैं, और कुछ लिफाफों के पीछे लिखे अस्पष्ट नोट मात्र हैं। एक वास्तविक दुनिया में डेटा लेक (Data Lake) बिल्कुल ऐसा ही दिखता है।
लंबे समय तक, कंप्यूटर प्रोग्राम जो सवाल पूछने के लिए डिज़ाइन किए गए थे (जैसे कि एक सुपर-स्मार्ट जासूस), उन्हें साफ-सुथरी, व्यवस्थित पुस्तकालयों पर प्रशिक्षित किया गया था जहाँ हर किताब अपनी सही जगह पर होती है। वे उन व्यवस्थित कमरों में उत्तर खोजने में माहिर होते हैं। लेकिन जब आप उन्हें एक वास्तविक कंपनी के डेटा वाले इस अस्त-व्यस्त गोदाम में फेंक देते हैं, तो वे अक्सर खो जाते हैं, भ्रमित हो जाते हैं, या अपनी ओर से बातें बनाने लगते हैं।
यहाँ आता है LAKEQUEST, एक नया "प्रशिक्षण मैदान" जिसे शोधकर्ताओं द्वारा यह परीक्षण करने के लिए बनाया गया है कि ये जासूसी प्रोग्राम वास्तव में इस अव्यवस्था में नेविगेट करने में कितने सक्षम हैं। उन्होंने एक विशाल सिमुलेशन बनाया जिसमें 9,846 विशिष्ट प्रश्न और उन्हें हल करने के लिए आवश्यक सटीक सुराग, तीन बहुत अलग प्रकार के अस्त-व्यस्त गोदामों में फैले हुए हैं:
- AI/ML गोदाम: लाखों "मॉडल कार्ड्स" (जैसे कंप्यूटर प्रोग्रामों के बायोडाटा) और डेटासेट नोट्स से भरा हुआ।
- बैंक गोदाम: लेनदेन के बही-खातों, ग्राहक प्रोफाइल और इस बारे में सख्त नियमों से भरा हुआ कि कौन पैसा ट्रांसफर कर सकता है।
- ड्रग (दवा) गोदाम: वैज्ञानिक शोध पत्रों और दवाओं के बारे में संरचित तालिकाओं का मिश्रण।
बड़ी खोज: सुराग ढूंढना, पहेली सुलझाने के समान नहीं है
शोधकर्ताओं ने जो सबसे महत्वपूर्ण बात पाई वह यह है कि सिर्फ इसलिए कि एक जासूस ने सही कागज का टुकड़ा ढूंढ लिया है, इसका मतलब यह नहीं है कि वह रहस्य सुलझा सकता है।
अपने परीक्षणों में, उन्होंने कार्यक्रमों को सवाल हल करते हुए देखा। उन्होंने दो चीजें मापीं:
- रिट्रीवल (Retrieval - पुनः प्राप्ति): क्या प्रोग्राम ने सही दस्तावेज़ ढूंढे?
- रीजनिंग (Reasoning - तर्क): क्या प्रोग्राम ने वास्तव में उन दस्तावेज़ों को पढ़ा और उनके टुकड़ों को सही ढंग से जोड़ा?
यहाँ एक मोड़ है: प्रोग्राम सही दस्तावेज़ खोजने में आश्चर्यजनक रूप से अच्छे थे (कभी-कभी वे ऐसे अलग दस्तावेज़ भी ढूंढ लेते थे जिनमें वही उत्तर होता था), लेकिन वे उन्हें सही ढंग से पढ़ने में अक्सर विफल रहे।
- AI गोदाम में: प्रोग्राम उस विशिष्ट फ़ाइल को खोजने में बहुत खराब थे जिसकी उन्हें आवश्यकता थी (कुछ प्रश्नों के लिए सही फ़ाइल केवल 9% बार ही मिल पाई)। हालांकि, जब उन्होंने सही फ़ाइल ढूंढ ली, तो वे 35% बार सही उत्तर दे सके। यह सुझाव देता है कि मुख्य समस्या यहाँ केवल घास के ढेर में सुई ढूंढना है।
- बैंक गोदाम में: प्रोग्राम वास्तव में नियमपुस्तिकाओं और लेनदेन सूचियों को खोजने में बहुत अच्छे थे (नियमों को 85–94% बार ढूंढना)। लेकिन जब नियम को विशिष्ट लेनदेन के साथ जोड़कर निर्णय लेने की बारी आई, तो वे विफल रहे। उनकी सटीकता गिरकर लगभग 60% हो गई। यह ठीक वैसा ही है जैसे "दौड़ना मना है" का साइन बोर्ड और दौड़ते हुए बच्चे की तस्वीर मिल जाना, लेकिन यह न समझ पाना कि बच्चे ने नियम तोड़ा है।
- ड्रग गोदाम में: प्रोग्राम पाठ के अंशों (text passages) को लगभग पूरी तरह से ढूंढ सके (98%), लेकिन जब उन्हें उस पाठ को रासायनिक डेटा की एक जटिल तालिका के साथ मिलाना पड़ा, तो उनकी सटीकता गिरकर 66% रह गई। वे सुराग ढूंढ सकते थे, लेकिन वे पाठ और संख्याओं के बीच के संबंध को जोड़ने में असमर्थ थे।
यह क्यों मायने रखता है (और यह क्या नहीं है)
शोधकर्ताओं ने स्पष्ट रूप से इस विचार को खारिज कर दिया कि "बेहतर खोज" ही एकमात्र चीज़ है जिसे हमें ठीक करने की आवश्यकता है। उन्होंने साबित कर दिया कि भले ही आप किसी प्रोग्राम को सटीक सुरागों का सेट ("गोल्ड एविडेंस") दे दें, फिर भी वह उन पर तर्क करने में संघर्ष करता है, विशेष रूप से ड्रग और बैंक गोदामों में। ड्रग परीक्षणों में, सटीक सुरागों के साथ भी, प्रोग्राम केवल 62.5% बार ही सही उत्तर दे पाए। इसका अर्थ है कि समस्या केवल यह नहीं है कि प्रोग्राम अंधे हैं; बल्कि यह है कि जब सुराग अस्त-व्यस्त और मिश्रित होते हैं, तो वे सोचने में कमजोर होते हैं।
उन्होंने "एजेंटिक" (agentic) सिस्टम का भी परीक्षण किया—ऐसे प्रोग्राम जो छोटे रोबोट की तरह कार्य करते हैं, जो खोजने, सारांशित करने और योजना बनाने के कई चरण लेते हैं। हालांकि ये रोबोट अधिक स्मार्ट थे, लेकिन वे बहुत धीमे थे और अधिक कंप्यूटर शक्ति (टोकन) का उपयोग करते थे। उदाहरण के लिए, एक साधारण "अनुमान" लगाने वाले रोबोट ने लगभग 0.06 हजार टोकन का उपयोग किया, जबकि योजना बनाने और खोजने में समय लेने वाले रोबोट ने 1.27 हजार टोकन तक का उपयोग किया। यह एक ऐसे जासूस को काम पर रखने जैसा है जो एक घंटे में हल होने वाले अपराध को सुलझाने के लिए एक सप्ताह लेता है, सिर्फ इसलिए ताकि वह सुनिश्चित कर सके।
निष्कर्ष
यह शोध पत्र यह दावा नहीं करता है कि इसने समस्या को हल कर लिया है। इसके बजाय, यह एक सटीक मानचित्र प्रदान करता है कि वर्तमान "जासूस" कहाँ विफल हो रहे हैं। यह दिखाता है कि हम केवल बेहतर सर्च इंजन पर निर्भर नहीं रह सकते; हमें इन सिस्टमों को सिंथेसाइजिंग (synthesizing - संश्लेषण) करने में बेहतर बनाना होगा—यानी, कैसे एक पॉलिसी दस्तावेज़ से एक नियम, एक बैंक लेजर से एक संख्या, और एक शोध पत्र से एक तथ्य लें, और उन्हें एक एकल, सत्य उत्तर में बिना कुछ मनगढ़ंत बनाए बुनें।
शोधकर्ताओं ने यह सुनिश्चित करने के लिए कि प्रत्येक परीक्षण मामला निष्पक्ष है और "गोल्ड क्लूज़" वास्तविक हैं, 9,846 मानव-सत्यापित प्रश्नों के साथ यह बेंचमार्क बनाया। उन्होंने पाया कि हालांकि आधुनिक AI चीजों को खोजने में बेहतर हो रहा है, लेकिन यह अभी भी उस अस्त-व्यस्त, वास्तविक दुनिया के डेटा को समझने के लिए संघर्ष कर रहा है जिसका उपयोग कंपनियां और वैज्ञानिक वास्तव में करते हैं। आगे का रास्ता केवल अधिक सुराग ढूंढना नहीं है; बल्कि यह सीखना है कि उन सभी को एक साथ कैसे पढ़ा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।