Baikal: Structured Search for Deep Research over Data Lakes
यह शोध पत्र बैकल (Baikal) का परिचय देता है, जो एक ऐसा फ्रेमवर्क है जो डेटा लेक पर गहन शोध के दौरान पुनरावृत्ति पुनर्प्राप्ति (iterative retrieval) की सीमाओं को संबोधित करता है, जिसमें इस कार्य को एक बजटयुक्त खोज समस्या (budgeted search problem) के रूप में प्रस्तुत किया गया है, जहाँ साक्ष्यों को सिमेंटिक क्षेत्रों में क्लस्टर किया जाता है और अन्वेषण एवं दोहन (exploration and exploitation) के बीच संतुलन बनाने के लिए उन्हें अनुकूल रूप से खोजा जाता है, जिसके परिणामस्वरूप मौजूदा बेसलाइन की तुलना में काफी उच्च गुणवत्ता वाली रिपोर्ट प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास कुछ सुरागों से भरी नोटबुक के बजाय, एक शहर के आकार का गोदाम है, जो लाखों बिखरे हुए दस्तावेजों, स्प्रेडशीट्स और हस्तलिखित नोट्स से भरा हुआ है। यह "डेटा लेक्स" (Data Lakes) के ऊपर "डीप रिसर्च" (Deep Research) की दुनिया है। वास्तविक दुनिया में, कंपनियों और वैज्ञानिकों के पास केवल पढ़ने के लिए एक फ़ाइल नहीं होती; उनके पास संख्याओं की हजारों तालिकाएं और पाठ (text) के लाखों पैराग्राफ होते हैं जो हमेशा एक-दूसरे से संवाद नहीं करते। एक जटिल प्रश्न को हल करने के लिए, एक आर्टिफिशियल इंटेलिजेंस (AI) को एक सुपर-स्मार्ट अन्वेषक की तरह कार्य करना होगा: इसे सही सुराग खोजने होंगे, उन्हें समझना होगा, और बिंदुओं को जोड़ने वाली एक रिपोर्ट लिखनी होगी। पेचीदा बात यह है कि AI के पास समय और ऊर्जा का एक सीमित "बजट" होता है। यदि वह एक छोटे, आसान सुराग के प्रति बहुत उत्साहित हो जाता है, तो वह गोदाम के दूसरे कोने में छिपे बड़े, महत्वपूर्ण रहस्यों को मिस कर सकता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं: हम AI को एक विशाल, अस्त-व्यस्त लाइब्रेरी को बिना एक ही गलियारे में फंसकर या सबसे अच्छी कहानियों को छोड़े बिना कैसे एक्सप्लोर करना सिखाएं?
यही वह काम था जिसे Baikal के पीछे के शोधकर्ताओं ने हल करने का प्रयास किया। उन्होंने महसूस किया कि AI द्वारा उत्तर खोजने का सामान्य तरीका—बस अगले दिलचस्प दिखने वाले टेक्स्ट को पकड़ना और आगे बढ़ जाना—एक गिलहरी की तरह है जो एक ही पेड़ के चारों ओर चक्कर काट रही है। वह कुछ मेवे तो ढूंढ लेती है, लेकिन वह पूरे जंगल की खोज कभी नहीं कर पाती। इसे ठीक करने के लिए, टीम ने एक नया तरीका विकसित किया जो खोज को अन्वेषण के एक रणनीतिक खेल (strategic game of exploration) के रूप में देखता है।
सबसे पहले, Baikal पूरे गोदाम को AI के सामने नहीं डाल देता। इसके बजाय, यह एक मास्टर लाइब्रेरियन की तरह कार्य करता है जो तुरंत अराजकता को व्यवस्थित करता है। यह हजारों असंबंधित तालिकाओं और दस्तावेजों को "सिमेंटिक रीजन्स" (semantic regions) में समूहित करता है—इन्हें लेबल किए गए बिन या पड़ोस के रूप में सोचें। एक बिन में "सर्बियाई एथलीटों" के बारे में सब कुछ हो सकता है, जबकि दूसरा "क्रिकेट वेन्यू" के बारे में हो सकता है। यह AI के प्रश्न पूछना शुरू करने से पहले ही हो जाता है।
एक बार जब लाइब्रेरी व्यवस्थित हो जाती है, तो Baikal अपने AI एजेंट को 50 चरणों (या उन "प्रश्नों" की संख्या जिन्हें वह पूछ सकता है) के सख्त बजट के साथ एक मिशन पर भेजता है। केवल एक रैंडम डॉक्यूमेंट चुनने के बजाय, एजेंट यह तय करने के लिए एक स्मार्ट रणनीति का उपयोग करता है कि अगला "पड़ोस" कहाँ जाना है। यह एक खेल खेलने जैसा है जहाँ आपको एक विशाल हवेली में यह चुनना होता है कि कौन सा कमरा में प्रवेश करना है। कुछ कमरे ऐसे हो सकते हैं जिन्हें पहले ही एक्सप्लोर किया जा चुका है और खाली पाया गया है, जबकि अन्य सोने से भरे हो सकते हैं। Baikal एक गणितीय "अनुमान लगाने वाले खेल" (जिसे बैंडिट प्रॉब्लम कहा जाता है) का उपयोग करता है ताकि उन कमरों में जाने (exploitation) और नए, अनछुए कमरों को आज़माने (exploration) के बीच संतुलन बनाया जा सके जो बेहतर कुछ रख सकते हैं।
चुने हुए पड़ोस के भीतर, AI विशिष्ट, ग्राउंडेड प्रश्न उत्पन्न करता है। उदाहरण के लिए, यदि वह "सर्बिया" बिन में है, तो वह पूछ सकता है, "सर्बियाई एथलीटों ने किन खेलों में सबसे अधिक पदक जीते?" वह फिर उस बिन के विशिष्ट तालिकाओं और पाठ के माध्यम से उत्तर खोजने के लिए गहराई तक जाता है। एक विशेष "जज" AI स्कोर करता है कि वह उत्तर कितना अच्छा है, इस आधार पर कि वह कितना सत्य, उपयोगी और पहले से मिले उत्तरों से अलग है। यदि उत्तर शानदार है, तो सिस्टम याद रखता है कि वह पड़ोस मूल्यवान है। यदि वह उबाऊ है, तो वह उस क्षेत्र को "खत्म" के रूप में चिह्नित करता है और आगे बढ़ जाता है।
इसके परिणाम प्रभावशाली थे। शोधकर्ताओं ने Baikal का परीक्षण दो विशाल डेटा लेक्स पर किया: एक जिसमें लगभग 11,000 तालिकाएं और 227,000 टेक्स्ट पैसेज (विकिपीडिया के समान) थे, और दूसरा जिसमें 2,700 से अधिक तालिकाएं और 13,000 वित्तीय रिपोर्ट थीं। उन्होंने AI को 15 जटिल शोध प्रश्न हल करने के लिए दिए। जब उन्होंने Baikal की तुलना सबसे मजबूत मौजूदा तरीकों से की, तो अंतर बहुत बड़ा था। Baikal के सर्वश्रेष्ठ सेटअप ने विकिपीडिया डेटा पर अंतिम शोध रिपोर्टों की गुणवत्ता में 28% और वित्तीय डेटा पर 36% का सुधार किया।
महत्वपूर्ण रूप से, पेपर दिखाता है कि जादू केवल व्यवस्थित बिन होने में नहीं था; यह इसकी खोज रणनीति (search strategy) में था। जब उन्होंने एक शक्तिशाली कोडिंग AI को वही व्यवस्थित बिन दिए लेकिन उसे Baikal के स्मार्ट "पड़ोस हॉपिंग" नियमों के बिना खोजने दिया, तो उसे वैसा उछाल नहीं मिला। यह सुझाव देता है कि डेटा को व्यवस्थित करना ही पर्याप्त नहीं है; आपको यह तय करने के लिए एक स्मार्ट तरीका चाहिए कि कहाँ देखना है। खोज को एक रैंडम स्कैवेंजर हंट के बजाय अन्वेषण के एक संरचित खेल के रूप में मानकर, Baikal AI एजेंटों को अधिक उपयोगी, विशिष्ट और ग्राउंडेड तथ्य खोजने में मदद करता है, भले ही वे टिक-टिक करती घड़ी के खिलाफ दौड़ रहे हों। यह एक अराजक डेटा डंप को एक व्यवस्थित खोज यात्रा में बदल देता है, जो यह साबित करता है कि कभी-कभी, सच्चाई खोजने का सबसे अच्छा तरीका यह जानना है कि कहाँ नहीं देखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।