DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router
यह शोध पत्र DeepSieve को प्रस्तुत करता है, जो एक एजेंटिक रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) फ्रेमवर्क है जो जटिल प्रश्नों को उप-प्रश्नों में विभाजित करके और एक बहु-चरणीय आसवन (distillation) प्रक्रिया के माध्यम से सूचना को गतिशील रूप से छानने और रूट करने के लिए 'LLM-as-a-knowledge-router' का उपयोग करके तर्क की गहराई और रिट्रीवल की सटीकता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली जासूस (एक Large Language Model या LLM) हैं जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। आप रहस्य सुलझाने में माहिर हैं, लेकिन आपकी एक समस्या है: आप यह याद नहीं रख पाते कि कल क्या हुआ था, और आपके पास पुलिस स्टेशन की गुप्त फाइलें या मेयर की निजी डायरियां तक पहुँच नहीं है।
जब आप एक जटिल केस को सुलझाने की कोशिश करते हैं जिसमें पुराने तथ्यों को नए, निजी या विशिष्ट जानकारी के साथ जोड़ने की आवश्यकता होती है, तो आप अक्सर अटक जाते हैं, गलत अनुमान लगाते हैं, या तथ्य बना लेते हैं (हैलुसिनेशन/hallucinate)।
DeepSieve एक नया, सुपर-स्मार्ट सहायक सिस्टम है जिसे इस जासूस की मदद करने के लिए डिज़ाइन किया गया है ताकि वह इन पेचीदा मामलों को सुलझा सके। जासूस को "जाकर उत्तर खोजने" के लिए कहने के बजाय, DeepSieve एक कुशल सूचना फिल्टर और ट्रैफिक कंट्रोलर की तरह काम करता है।
यह कैसे काम करता है, इसे सरल चरणों और उपमाओं (analogies) के माध्यम से यहाँ समझाया गया है:
1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाली गलती
पारंपरिक सिस्टम (जिन्हें RAG कहा जाता है) एक ऐसे जासूस की तरह हैं जो सारा सबूत एक विशाल मेज पर ढेर कर देता है और एक साथ सब कुछ पढ़ने की कोशिश करता है।
- समस्या: यदि आपके पास एक निजी डेटाबेस, एक सार्वजनिक वेबसाइट और एक SQL स्प्रेडशीट है, तो उन सबको एक साथ मिलाना अव्यवतीय होता है। यह एक घास के ढेर में सुई खोजने जैसा है जिसमें रेत का ढेर, पानी की बाल्टी और कंचों की थैली भी मिली हुई है। जासूस भ्रमित हो जाता है, समय बर्बाद करता है, और अक्सर गलत सुई चुन लेता है।
2. समाधान: DeepSieve (द "सीव" और द "राउटर")
DeepSieve एक चार-चरणीय प्रक्रिया का उपयोग करके खेल बदल देता है, जो एक सुव्यवस्थित रसोई या एक हाई-टेक फैक्ट्री जैसा महसूस होता है।
चरण 1: डिकंपोजिशन (बड़े सैंडविच को तोड़ना)
जासूस से, "नाइजीरिया में फ्लाइंग डॉक्टर्स सेवा की स्थापना करने वाली महिला का पति कौन है?" (एक बहुत बड़ा, जटिल प्रश्न) पूछने के बजाय, DeepSve इसे तोड़ देता है।
- उपमा: कल्पना कीजिए कि आपके पास एक विशाल, जटिल सैंडविच है। उसे पूरा एक साथ खाने के बजाय, आप उसे ब्रेड, मीट, चीज़ और लेट्यूस में अलग-अलग कर देते हैं।
- क्या होता है: DeepSieve बड़े प्रश्न को छोटे, सरल उप-प्रश्नों में विभाजित करता है:
- फ्लाइंग डॉक्टर्स की स्थापना किसने की?
- उस व्यक्ति का पति कौन है?
अब, जासूस को केवल छोटे, आसान पहेलियों को हल करना है।
चरण 2: रूटिंग (नॉलेज राउटर)
यही जादुई हिस्सा है। DeepSieve केवल एक जगह नहीं देखता। यह एक होटल के स्मार्ट कंसीयज (concierge) की तरह काम करता है।
- परिदृश्य: आपके पास एक "लोकल डेटाबेस" (निजी कंपनी फाइलें), एक "ग्लोबल डेटाबेस" (विकिपीडिया), और एक "सर्च इंजन" (गूगल) है।
- क्रिया: जब जासूस को यह जानने की जरूरत होती है कि "फ्लाइंग डॉक्टर्स की स्थापना किसने की?", तो राउटर कहता है, "जाकर ग्लोबल डेटाबेस (विकिपीडिया) चेक करें।" लेकिन जब जासूस को यह जानने की जरूरत होती है कि "पति कौन है?", तो राउटर कह सकता है, "यह निजी जानकारी है; लोकल डेटाबेस चेक करें।"
- महत्व: यह जासूस को विकिपीडिया पढ़ने में समय बर्बाद करने से रोकता है जब उत्तर एक निजी एक्सेल शीट में होता है, और इसके विपरीत भी। यह शोर (noise) को फिल्टर कर देता है।
चरण 3: रिफ्लेक्शन ( "रुको, मुझे इसे चेक करने दो" वाला क्षण)
कभी-कभी, जासूस सही जगह जाता है लेकिन गलत उत्तर या बिना उत्तर के वापस आता है।
- उपमा: कल्पना कीजिए कि आपने लाइब्रेरियन से एक किताब मांगी, और उसने आपको एक खाली पन्ना थमा दिया। एक सामान्य सिस्टम बस कहेगा, "ठीक है, मैं मान लेता हूँ कि उत्तर 'खाली' है।"
- DeepSieve का कदम: यह कहता है, "रुको, यह तर्कसंगली सही नहीं लग रहा है। चलिए किसी दूसरे लाइब्रेरियन को आजमाते हैं या सवाल को अलग तरीके से पूछते हैं।" यह वापस लूप में जाता है, प्रश्न को फिर से रूट करता है, और तब तक प्रयास करता रहता है जब तक कि उसे सच्चाई न मिल जाए। यह जासूस को हार मानने या मनगढ़ंत बातें बनाने से रोकता है।
चरण 4: फ्यूजन (पहेली को जोड़ना)
एक बार जब सभी छोटे उप-प्रश्नों के उत्तर सही स्रोतों से मिल जाते हैं, तो DeepSieve उन टुकड़ों को इकट्ठा करता है।
- उपमा: यह एक मास्टर शेफ की तरह है जो ब्रेड, मीट, चीज़ और लेट्यूस (उत्तरों) को लेकर एक परफेक्ट सैंडविच (अंतिम उत्तर) तैयार करता है। यह सुनिश्चित करता है कि कहानी तार्किक रूप से आगे बढ़े और कुछ भी छूटा न हो।
यह एक बड़ी बात क्यों है?
- यह सस्ता है: क्योंकि यह अप्रासंगिक किताबें पढ़ने में समय बर्बाद नहीं करता, इसलिए यह कम "टोकन" (जो जासूस के समय के भुगतान जैसा है) का उपयोग करता है। यह तेज़ है और इसमें कम पैसा खर्च होता है।
- यह अधिक सटीक है: सही सवाल के लिए सही स्रोत की जाँच करके, यह जासूस को अनुमान लगाने से रोकता है।
- यह अव्यवस्थित डेटा को संभालता है: वास्तविक जीवन अव्यवस्थित होता है। हमारे पास निजी फाइलें, सार्वजनिक वेबसाइटें और डेटाबेस हैं जो एक-दूसरे से बात नहीं करते हैं। DeepSieve अकेला ऐसा सिस्टम है जो जानता है कि इस अराजकता के बीच कैसे रास्ता बनाना है, बिना सब कुछ एक विशाल, अव्यवस्थित ढेर में मिलाने के।
निष्कर्ष
DeepSieve को एक AI के लिए अंतिम प्रोजेक्ट मैनेजर के रूप में देखें। AI को लाइब्रेरी में बिना लक्ष्य के भटकने देने के बजाय, DeepSieve उसे एक नक्शा देता है, कार्य को छोटे कामों में तोड़ता है, प्रत्येक काम के लिए सही विशेषज्ञ के पास भेजता है, काम की जाँच करता है, और फिर अंतिम रिपोर्ट तैयार करता है।
यह एक "स्मार्ट लेकिन भ्रमित" AI को एक "केंद्रित, कुशल और सटीक" समस्या समाधानकर्ता में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।