From RAG to Runtime Intelligence: Design and Evaluation of a Multi-LLM Automated Learning Engine for Enterprise Knowledge Synthesis
यह शोध पत्र एक ऑटोमेटेड लर्निंग इंजन (ALE) को प्रस्तुत और मूल्यांकित करता है जो हाइब्रिड रिट्रीवल और स्टेट-मशीन वर्कफ़्लो के साथ मल्टी-एलएलएम ऑर्केस्ट्रेटेड सिस्टम का उपयोग करके मानक RAG से आगे बढ़ता है, जो बेसलाइन कॉन्फ़िगरेशन की तुलना में एंटरप्राइज नॉलेज सिंथेसिस में काफी बेहतर तथ्यात्मक सटीकता, प्रासंगिक प्रासंगिकता और कम हैलुसिनेशन दर प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर एक पल में पूरी लाइब्रेरी पढ़ सकते हैं और आपकी बातों का जवाब एक इंसान जैसी कुशलता के साथ दे सकते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का वादा है, जो आज के कई चैटबॉट्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं। लेकिन इसमें एक पेंच है: ये मॉडल उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने सालों पहले एक किताब रट ली थी लेकिन तब से कोई खबर नहीं पढ़ी है। वे अक्सर ऐसे तथ्य बना लेते हैं जो बिल्कुल असली लगते हैं लेकिन पूरी तरह से मनगढ़ंत होते हैं, जिसे "हैलुसिनेशन" (hallucination) नामक एक खराबी कहा जाता है। इसे ठीक करने के लिए, वैज्ञानिकों ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (RAG) नामक एक तरकीब ईजाद की। RAG को एक AI को लाइब्रेरी कार्ड और एक लाइब्रेरियन देने के रूप में समझें; जवाब देने से पहले, यह सही पन्ने पढ़ने के लिए अपने डेटाबेस में तेजी से खोज करता है। यह एक बहुत बड़ा सुधार है, लेकिन इस सिस्टम के मानक संस्करण में कुछ खामियां हैं। यह अक्सर केवल एक ही तरीके से खोज करता है (जो चीजें छोड़ सकता है), एक ही AI दिमाग पर सारा सोचने और लिखने का भार डाल देता है, और हर सवाल को एक नई घटना की तरह मानता है बिना पिछली गलतियों से सीखे।
यहाँ "ऑटोमेटेड लर्निंग इंजन" (ALE) आता है, जो एक नया सिस्टम है जिसे इन स्थिर AI टूल्स को कुछ अधिक गतिशील बनाने के लिए डिज़ाइन किया गया है, जिसे शोधकर्ता "रनटाइम इंटेलिजेंस" कहते हैं। एक अकेले AI के सब कुछ करने के बजाय, ALE एक हाई-स्टेक्स न्यूज़रूम की तरह काम करता है। यह विशेषज्ञ AI वर्कर्स की एक टीम का उपयोग करता है: एक तथ्यों का विश्लेषण करने और रिपोर्ट तैयार करने के लिए, दूसरा काम की दोबारा जांच करने के लिए, और एक सख्त मैनेजर (एक डिटरमिनिस्टिक स्टेट मशीन) यह सुनिश्चित करने के लिए कि पूरी प्रक्रिया एक सटीक और अनुमानित योजना का पालन करे। शोधकर्ताओं ने इस सिस्टम का परीक्षण वित्तीय जगत के 847 वास्तविक दुनिया के सवालों पर किया, और इसकी तुलना पुराने "सिंगल-ब्रेन" तरीकों से की। उन्होंने पाया कि काम को बांटने और एक स्मार्ट खोज रणनीति का उपयोग करने से, ALE काफी अधिक सटीक बन गया, मनगढ़ंत तथ्यों की संख्या को भारी अंतर से कम कर दिया, और एक ही सवाल से चार अलग-अलग प्रकार की रिपोर्ट (जैसे रणनीतिक सारांश, जोखिम चेतावनी और भविष्य का पूर्वानुमान) भी जनरेट कर सका। यह सुझाव देता है कि एंटरप्राइज AI का भविष्य एक विशाल, सर्वज्ञ रोबोट बनाने के बारे में नहीं है, बल्कि विशेषज्ञ उपकरणों की एक ऐसी टीम को संचालित करने के बारे में है जो सटीकता के साथ मिलकर काम करती है।
"वन-ब्रेन" दृष्टिकोण के साथ समस्या
लंबे समय तक, AI को स्मार्ट बनाने का मानक तरीका उसे एक "लाइब्रेरी कार्ड" (RAG) देना था। जब आप कोई सवाल पूछते थे, तो सिस्टम अपने डेटाबेस में खोज करता था, प्रासंगिक दस्तावेज़ निकालता था, और उन्हें एक उत्तर लिखने के लिए एक सिंगल AI मॉडल को दे देता था। यह एक अकेले छात्र को कागजों का ढेर पढ़ने और फिर निबंध लिखने के लिए कहने जैसा है। हालांकि यह अनुमान लगाने से बेहतर है, शोधकर्ताओं ने पाया कि यह "वन-ब्रेन" दृष्टिकोण एक सीमा पर आकर रुक जाता है।
पहला, खोज पद्धति अक्सर बहुत सरल थी। अधिकांश सिस्टम केवल "वेक्टर सर्च" पर निर्भर थे, जो किसी किताब को उसके सामान्य भाव या विषय के आधार पर खोजने जैसा है। यदि आप किसी विशिष्ट तकनीकी शब्द या उचित नाम की तलाश कर रहे हैं, तो यह विधि धुंधली हो सकती है। दूसरा, एक ही AI से सब कुछ करवाना—जानकारी खोजना, तर्क करना, तथ्यों की जांच करना और रिपोर्ट लिखना—एक बाधा पैदा करता है। यह एक शेफ से बर्तन धोने, वेटर बनने और हेल्थ इंस्पेक्टर बनने के लिए कहने जैसा है; वे एक अच्छा काम कर सकते हैं, लेकिन वे उन सभी में परफेक्ट नहीं हो सकते। अंत में, ये सिस्टम "स्टेटलेस" हैं, जिसका अर्थ है कि वे यह याद नहीं रखते कि उन्होंने पिछले सवालों को कैसे संभाला था। वे हर बातचीत को एक नई शुरुआत की तरह देखते हैं, जिससे सीखने और अनुकूलन करने का अवसर हाथ से निकल जाता है।
नई टीम: एक्शन में ALE
इसे हल करने के लिए, शोधकर्ताओं ने ऑटोमेटेड लर्निंग इंजन (ALE) बनाया। एक अकेले AI के सब कुछ करने के बजाय, उन्होंने एक "मल्टी-एलएलएम ऑर्केस्ट्रेटेड सिस्टम" बनाया। एक न्यूज़रूम की कल्पना करें जहाँ अलग-अलग रिपोर्टरों के विशिष्ट कार्य हैं।
हाइब्रिड सर्च (लाइब्रेरियन): ALE केवल जानकारी खोजने के लिए एक ही तरीके का उपयोग नहीं करता है। यह एक ही समय में दो तरीकों का उपयोग करता है: एक जो सटीक कीवर्ड्स (जैसे एक सटीक इंडेक्स) को देखता है और दूसरा जो सिमेंटिक अर्थ (जैसे अवधारणा को समझना) को समझता है। शोधकर्ताओं ने पाया कि इन दोनों को मिलाना ही सफलता का मंत्र था। उन्होंने विभिन्न अनुपातों का परीक्षण किया और पाया कि कीवर्ड सर्च को थोड़ा बढ़त देना (55% कीवर्ड, 45% अर्थ) उनके वित्तीय डेटा के लिए सबसे अच्छा रहा। इस "हाइब्रिड" दृष्टिकोण ने उन्हें केवल अर्थ-आधारित खोज की तुलना में 23% अधिक बार सही दस्तावेज़ खोजने में मदद की।
डुअल-ब्रेन टीम (संपादक और लेखक): सिस्टम दो अलग-अलग AI मॉडल का उपयोग करता है। मॉडल A "रीज़नर" (Reasoner) है, एक शक्तिशाली मस्तिष्क जो प्राप्त दस्तावेजों का विश्लेषण करता है और रिपोर्ट का मसौदा तैयार करता है। मॉडल B "क्वालिटी एश्योरेंस" (QA) विशेषज्ञ है। इसका एकमात्र काम मॉडल A के ड्राफ्ट को पढ़ना, त्रुटियों की जांच करना और उपयोगकर्ता को भेजने से पहले गलतियों को ठीक करना है। यह एक सीनियर एडिटर द्वारा जूनियर रिपोर्टर की कहानी की समीक्षा करने जैसा है।
स्टेट मशीन (सख्त मैनेजर): यह सुनिश्चित करने के लिए कि सिस्टम भ्रमित न हो या स्टेप्स न छोड़े, शोधकर्ताओं ने एक "डिटरमिनिस्टिक स्टेट-मशीन" का उपयोग किया। यह एक कठोर फ्लोचार्ट है जो तय करता है कि आगे क्या होगा। AI यह निर्णय नहीं ले सकता कि वह क्वालिटी चेक को छोड़ दे या गलत स्टेप पर कूद जाए। उसे "क्वेरी प्राप्त होने" से "खोजने" से "तर्क करने" से "जांचने" से "समाप्त करने" तक जाना ही होगा। यह सिस्टम को अनुमानित और सुरक्षित बनाता है, जो वित्त जैसे उद्योगों के लिए महत्वपूर्ण है जहाँ गलतियाँ महंगी पड़ सकती हैं।
मल्टी-आउटपुट इंजन: केवल एक उत्तर देने के बजाय, ALE एक ही सवाल से चार अलग-अलग प्रकार की रिपोर्ट जनरेट कर सकता है: स्ट्रैटेजिक इनसाइट्स (बड़ी तस्वीर के रुझान), स्मार्ट एक्शन्स (आगे क्या करना है), रिस्क असेसमेंट (क्या गलत हो सकता है), और प्रेडिक्टिव एनालिटिक्स (भविष्य में क्या हो सकता है)।
परिणाम: स्मार्ट, सुरक्षित और अधिक सटीक
शोधकर्ताओं ने इस नए सिस्टम का परीक्षण तीन पुराने तरीकों के मुकाबले किया: एक स्टैंडअलोन AI (बिना लाइब्रेरी के), एक "नाइव" RAG (एक खोज विधि, एक दिमाग), और एक "एनहैंस्ड" RAG (हाइब्रिड सर्च लेकिन अभी भी एक दिमाग)। उन्होंने वित्तीय ज्ञान आधार से 847 सवाल इस्तेमाल किए।
परिणाम चौंकाने वाले थे। ALE सिस्टम ने 94.2% की तथ्यात्मक सटीकता हासिल की। इसकी तुलना में, नाइव RAG केवल 71.3% सही था। यहाँ तक कि एनहैंस्ड सिंगल-एलएलएम वर्जन, जिसमें बेहतर सर्च था लेकिन केवल एक दिमाग था, केवल 86.4% तक ही पहुँच पाया। डुअल-ब्रेन टीम ने अकेले काम करने वाले मॉडल को स्पष्ट रूप से पीछे छोड़ दिया।
शायद इससे भी अधिक प्रभावशाली "हैलुसिनेशन" (मनगढ़ंत तथ्य) में कमी थी। स्टैंडअलोन AI 31.2% समय तथ्य बनाता था। नाइव RAG ने इसे सुधार कर 18.7% कर दिया, लेकिन ALE सिस्टम ने त्रुटि दर को घटाकर मात्र 4.1% कर दिया। क्वालिटी एश्योरेंस लेयर यहाँ हीरो रही; इसने 127 ऐसे मामलों को पकड़ा और ठीक किया जहाँ तथ्यात्मक त्रुटियाँ होतीं, जिन्हें अन्यथा यूजर को भेज दिया जाता, जिससे प्रभावी रूप से त्रुटि दर में 15% की कमी आई।
सिस्टम ने यह भी साबित किया कि "हाइब्रिड" सर्च महत्वपूर्ण था। कीवर्ड और अर्थ-आधारित खोज को मिलाकर, सिस्टम ने केवल अर्थ-आधारित खोज की तुलना में शीर्ष 10 प्रासंगिक दस्तावेज़ों को खोजने की अपनी क्षमता (Recall@10) में 23% का सुधार किया। यह सुझाव देता है कि वित्त जैसे विशेष क्षेत्रों के लिए, जहाँ सटीक शब्द मायने रखते हैं, आप केवल "भाव" (vibe) पर भरोसा नहीं कर सकते।
यह भविष्य के लिए क्या मायने रखता है
अध्ययन सुझाव देता है कि गंभीर एंटरप्राइज कार्य के लिए "एक ही AI जो सब कुछ नियंत्रित करे" का युग समाप्त हो रहा है। शोधकर्ता तर्क देते हैं कि स्थिर रिट्रीवल से "रनटाइम इंटेलिजेंस" की ओर बढ़ना—जहाँ कई विशेषज्ञ मॉडल एक सख्त, अनुमानित वर्कफ़्लो के माध्यम से समन्वय करते हैं—ही भविष्य का रास्ता है।
उन्होंने पाया कि सबसे बड़े लाभ तब मिले जब सवाल जटिल थे। सरल सवालों के लिए, नए सिस्टम और पुराने सिस्टम के बीच का अंतर कम था, लेकिन जटिल विश्लेषणात्मक कार्यों के लिए, ALE सबसे अच्छे सिंगल-एलएलएम विकल्प की तुलना में 14.3% अधिक सटीक था। यह दर्शाता है कि "टीमवर्क" वाला दृष्टिकोण तब सबसे अधिक मूल्यवान होता है जब सोच कठिन हो जाती है।
हालाँकि, शोधकर्ता यह नोट करने में सावधानी बरतते हैं कि यह हर स्थिति के लिए जादुई समाधान नहीं है। सिस्टम को चलने में थोड़ा अधिक समय लगता है (औसतन लगभग 4.7 सेकंड), क्योंकि इसे कई चरणों और चेकों के माध्यम से काम पास करना पड़ता है। हालांकि यह विस्तृत रिपोर्ट तैयार करने के लिए स्वीकार्य है, लेकिन यह उन एप्लिकेशन्स के लिए बहुत धीमा हो सकता है जिन्हें तुरंत उत्तर की आवश्यकता होती है। इसके अलावा, खोज विधियों को मिलाने का जो विशिष्ट "नुस्खा" उन्होंने पाया (55% कीवर्ड, 45% अर्थ), वह वित्तीय डेटा के लिए ट्यून किया गया था और अन्य प्रकार की सूचनाओं के लिए इसे बदलने की आवश्यकता हो सकती है।
अंततः, यह पेपर सुझाव देता है कि एंटरप्राइज AI बनाना केवल "प्रॉम्प्ट इंजीनियरिंग" के बजाय "सिस्टम इंजीनियरिंग" जैसा होता जा रहा है। इसके लिए एक ऐसी संरचना डिजाइन करने की आवश्यकता है जहाँ रिट्रीवल, रीजनिंग, जनरेशन और वेरिफिकेशन अलग-अलग लेकिन समन्वित कार्य हों। AI को एक एकल, अलग-थलग ओरेकल (oracle) के रूप में देखने के दिन बीत रहे हैं; भविष्य डिजिटल वर्कर्स की समन्वित टीमों का है जो मिलकर जानकारी खोजते हैं, तर्क करते हैं और सत्यापन करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।