LakeQA: An Exploratory QA Benchmark over a Million-Scale Data Lake
यह शोध पत्र LakeQA को प्रस्तुत करता है, जो 9.5 TB के विषम डेटा पर निर्मित एक व्यापक बेंचमार्क है जो बड़े भाषा मॉडलों (large language models) को दस्तावेज़ पुनर्प्राप्ति (document retrieval) को जटिल मल्टी-हॉप रीजनिंग (multi-hop reasoning) के साथ जोड़कर खोज-केंद्रित प्रश्नोत्तर करने की चुनौती देता है, जो सीमावर्ती मॉडलों (frontier models) में भी महत्वपूर्ण प्रदर्शन अंतराल को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक बहुत ही विशिष्ट रहस्य को सुलझाने की कोशिश कर रहे हैं। अधिकांश जासूसी कहानियों में (या मानक AI परीक्षणों में), लेखक आपको फाइलों का एक ढेर देता है और कहता है, "उत्तर इन तीन पृष्ठों में है।" आपका काम बस उन्हें पढ़ना और सुराग ढूंढना है।
LAKEQA एक अलग तरह का परीक्षण है। यहाँ, लेखक आपको एक प्रश्न देता है लेकिन कोई फाइल नहीं देता। इसके बजाय, आपको एक विशाल, अराजक गोदाम में छोड़ दिया जाता है जो एक छोटे शहर के आकार का है, जो 4 करोड़ अलग-अलग दस्तावेजों से भरा हुआ है। कुछ व्यवस्थित स्प्रेडशीट हैं, कुछ बिखरे हुए PDF हैं, कुछ पुराने टेक्स्ट फ़ाइल हैं, और कुछ सरकारी रिपोर्ट हैं।
आपका काम इस गोदाम में खोज (search) करके और कई अलग-अलग दस्तावेजों में कड़ियों को जोड़कर (connecting the dots) उत्तर ढूंढना है।
यहाँ इस पेपर के बारे में सरल उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है:
1. समस्या: "घास के ढेर में सुई" वास्तव में "घास के ढेरों के पहाड़ में सुई" है
वर्तमान AI मॉडल (Large Language Models) एक किताब पढ़ने और उसके बारे में सवालों के जवाब देने में माहिर हैं। लेकिन वास्तविक दुनिया में, डेटा खूबसूरती से पैक नहीं किया जाता है। यह लाखों फाइलों के "डेटा लेक्स" (Data Lakes) में बिखरा हुआ है।
- पुराना तरीका: AI को एक विशिष्ट पुस्तक दी जाती है और पूछा जाता है, "कार का रंग क्या है?" AI पुस्तक पढ़ता है और उत्तर देता है।
- LAKEQA का तरीका: AI से पूछा जाता है, "न्यूयॉर्क में उस प्राथमिक विद्यालय को खोजें जिसमें कक्षाएं छोटी हैं और 2008 से 2011 के बीच हिंसक घटनाओं की संख्या सबसे कम थी।"
- AI को नहीं पता कि किस फाइल में स्कूलों के नाम हैं।
- AI को नहीं पता कि किस फाइल में क्लास का आकार है।
- AI को नहीं पता कि किस फाइल में अपराध की रिपोर्ट है।
- इसे पहेली को हल करने के लिए सही फाइलों को खोजना (search), उन्हें डाउनलोड करना, उन्हें पढ़ना, और फिर उन सभी से जानकारी को जोड़ना (combine) होगा।
2. बेंचमार्क: एक "मल्टी-हॉप" खजाने की खोज
पेपर LAKEQA को पेश करता है, जो एक नया परीक्षण है जिसे यह देखने के लिए बनाया गया है कि इस प्रकार के जासूसी कार्य में AI कितना अच्छा है।
LAKEQA में किसी कार्य को 8 सुरागों वाली एक खजाने की खोज की तरह समझें।
- सुराग 1: आपको एक पड़ोस (neighborhood) ढूंढना है। (आप विकिपीडिया खोजते हैं)।
- सुराग 2: वह पड़ोस दूसरे पड़ोस के बगल में है। (आप एक मैप डेटाबेस खोजते हैं)।
- सुराग 3: आपको दोनों पड़ोसों में स्कूल खोजने हैं। (आप एक सरकारी सूची खोजते हैं)।
- सुराग 4: आपको उन स्कूलों को क्लास साइज के आधार पर फिल्टर करना है। (आप एक स्प्रेडशीट खोलते हैं)।
- सुराग 5: आपको शेष स्कूलों के लिए अपराध के आंकड़ों की जांच करनी है। (आप एक अलग रिपोर्ट खोलते हैं)।
- ...और इसी तरह।
यदि AI सुराग 2 पर अटक जाता है, तो वह सुराग 8 को कभी हल नहीं कर पाएगा। पेपर इसे "मल्टी-हॉप रीजनिंग" (Multi-hop reasoning) कहता है। AI को एक कदम उठाना होता है, जानकारी का एक नया टुकड़ा ढूंढना होता है, और फिर यह तय करने के लिए उसका उपयोग करना होता है कि आगे कहाँ देखना है।
3. पैमाना (Scale): एक "लाइब्रेरी ऑफ बेबेल"
पेपर ने इस परीक्षण को एक विशाल डेटा संग्रह का उपयोग करके बनाया है:
- 9.5 टेराबाइट्स (Terabytes) डेटा (कल्पना कीजिए एक पुस्तकालय जिसमें लाखों किताबें हैं)।
- 4 करोड़ दस्तावेज़ (स्ट्रक्चर्ड डेटा जैसे एक्सेल शीट और अनस्ट्रक्चर्ड डेटा जैसे टेक्स्ट लेखों का मिश्रण)।
- स्रोत (Sources): विकिपीडिया (सामान्य ज्ञान के लिए) और Data.gov (वास्तविक दुनिया के, बिखरे हुए सरकारी डेटा के लिए)।
यह महत्वपूर्ण है क्योंकि पिछले परीक्षण केवल छोटे, साफ-सुथरे टेक्स्ट संग्रह का उपयोग करते थे। LAKEQA AI को वास्तविक दुनिया की "अराजकता" (messiness) से निपटने के लिए मजबूर करता है।
4. परिणाम: AI रास्ता भटक जाता है
शोधकर्ताओं ने सात सबसे स्मार्ट उपलब्ध AI मॉडल (GPT-5.2 और Claude सहित) का इस चुनौती पर परीक्षण किया।
- स्कोर: सर्वश्रेष्ठ AI ने केवल लगभग 18% से 33% उत्तर सही दिए।
- मुख्य विफलता: AI इसलिए विफल नहीं हुआ क्योंकि वह पढ़ या तर्क (reason) नहीं कर सकता था। वह इसलिए विफल हुआ क्योंकि वह सही फाइलों को नहीं ढूंढ सका।
- उपमा: कल्पना कीजिए कि एक प्रतिभाशाली जासूस जो किसी भी अपराध को सुलझा सकता है, लेकिन एक विशाल गोदाम में उसकी आँखों पर पट्टी बंधी है। वह सबूत नहीं ढूंढ पाता क्योंकि उसे नहीं पता कि किस शेल्फ पर देखना है।
- "लॉन्ग चेन" (Long Chain) की समस्या: जैसे-जैसे चरणों (hops) की संख्या बढ़ी, AI का प्रदर्शन तेजी से गिर गया। जितने अधिक कदम उसे उठाने पड़े, उसके भटकने या पिछला सुराग भूल जाने की संभावना उतनी ही बढ़ गई।
5. निष्कर्ष: खोज (Search) ही बाधा है
पेपर निष्कर्ष निकालता है कि जबकि AI "सोचने" (reasoning) में बेहतर हो रहा है, यह बड़े, असंगठित डेटा लेक्स में "देखने" (खोजने और खोजने) में अभी भी बहुत खराब है।
- वर्तमान AI: "मैं एक किताब को पूरी तरह से पढ़ सकता हूँ, लेकिन अगर आप उस किताब को 4 करोड़ अन्य किताबों के ढेर में छिपा दें, तो मैं उसे नहीं ढूंढ सकता।"
- लक्ष्य: हमें ऐसे AI एजेंटों की आवश्यकता है जो न केवल स्मार्ट पाठक हों, बल्कि कुशल खोजकर्ता (expert explorers) भी हों जो विशिष्ट साक्ष्य खोजने के लिए विशाल, अव्यवस्थित डेटा वेयरहाउस में नेविगेट कर सकें।
संक्षेप में, LAKEQA एक स्ट्रेस टेस्ट है जो दिखाता है कि वर्तमान AI अभी भी विशाल, बिखरे हुए घास के ढेरों में सुई खोजने में बहुत खराब है, भले ही उसके पास सुई मिलने के बाद उसे समझने की बुद्धिमत्ता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।