Bayesian Uncertainty Propagation for Agentic RAG Pipelines: A Proof-of-Concept Study on Multi-Hop Question Answering
यह शोध पत्र एजेंटिक आरएजी (Agentic RAG) प्रणालियों के लिए एक बेयसियन अनिश्चितता प्रसार ढांचे (Bayesian uncertainty propagation framework) का प्रस्ताव करता है जो सिस्टम-स्तरीय विफलता जोखिमों का अनुमान लगाने के लिए सिमेंटिक डाइवर्जेंस और सेल्फ-इवैल्यूएशन संकेतों को एकीकृत करता है, जो हॉटपोटक्यूए (HotpotQA) पर बेहतर मल्टी-हॉप रीजनिंग विश्वसनीयता प्रदर्शित करता है जबकि स्ट्रैटेजीक्यूए (StrategyQA) में कैलिब्रेशन चुनौतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा पहेली को सुलझाने के लिए तीन रोबोटों की एक टीम बना रहे हैं। इस टीम का नाम है एजेंटिक आरएजी पाइपलाइन (Agentic RAG Pipeline)। यहाँ बताया गया है कि वे एक साथ कैसे काम करते हैं:
- द प्लानर (The Planner): सवाल को देखता है और उसे छोटे-छोटे चरणों में तोड़ता है।
- द इवैल्यूएटर (The Evaluator): मिली हुई जानकारी की जाँच करता है कि क्या वह समझ में आने योग्य है।
- द जनरेटर (The Generator): बाकी दोनों ने जो कुछ भी पाया है, उसके आधार पर अंतिम उत्तर लिखता है।
समस्या यह है कि रोबोट (विशेष रूप से लार्ज लैंग्वेज मॉडल्स) कभी-कभी गलतियाँ करते हैं या "हैलुसिनेट" (मनगढ़ंत बातें बनाना) करते हैं, और उन्हें हमेशा यह नहीं पता होता कि वे भ्रमित हैं। यह शोध पत्र पूछता है: हम यह कैसे बता सकते हैं कि यह रोबोट टीम वास्तव में गलत उत्तर देने से पहले ही गलत उत्तर देने वाली है?
समाधान: टीम के लिए एक "चिंता मीटर" (Worry Meter)
लेखकों ने प्रक्रिया के हर चरण में "अनिश्चितता" (या चिंता) को मापने के लिए एक प्रणाली बनाई है। वे इसे मापने के लिए दो मुख्य तरीकों का उपयोग करते हैं:
- "कॉन्फिडेंस चेक" (टोकन-लेवल एंट्रॉपी): कल्पना कीजिए कि जनरेटर रोबोट एक वाक्य लिख रहा है। यदि वह बहुत आश्वस्त है, तो वह अगला शब्द जल्दी चुनता है। यदि वह भ्रमित है, तो वह हिचकिचाता है और कई अलग-अलग शब्दों पर विचार करता है। सिस्टम इस हिचकिचाहट को मापता है।
- "ड्रिफ्ट डिटेक्टर" (सिमेंटिक डाइवर्जेंस): कल्पना कीजिए कि प्लानर "सेब" के बारे में जानकारी खोजने की शुरुआत करता है, लेकिन बीच में ही, वह गलती से "संतरे" के बारे में बात करने लगता है। यह सिस्टम पता लगाता है कि बातचीत मूल लक्ष्य से कब भटक गई है।
मस्तिष्क: बेयसियन नेटवर्क (The Bayesian Network)
लेखकों ने केवल इन चिंता के संकेतों को व्यक्तिगत रूप से नहीं देखा; उन्होंने उन्हें एक बेयसियन नेटवर्क का उपयोग करके जोड़ा। इसे एक केंद्रीय नियंत्रण कक्ष या ट्रैफिक लाइट सिस्टम के रूप में सोचें।
- प्रत्येक रोबोट अपना "चिंता संकेत" नियंत्रण कक्ष को भेजता है।
- नियंत्रण कक्ष इन संकेतों को जोड़कर निर्णय लेता है: "क्या पूरी टीम आश्वस्त है, या कोई घबरा रहा है?"
- यदि टीम का कोई भी हिस्सा घबराया हुआ है (अनिश्चित है), तो सिस्टम अंतिम उत्तर को संभावित रूप से जोखिम भरा घोषित कर देता है।
शोधकर्ताओं ने परीक्षण के लिए दो प्रकार की पहेलियों का उपयोग किया:
- स्ट्रेटजी क्यूए (StrategyQA): सरल पहेलियाँ जिनमें आमतौर पर केवल एक या दो चरणों की आवश्यकता होती है।
- हॉटपॉट क्यूए (HotpotQA): जटिल पहेलियाँ जिनमें जानकारी के कई अलग-अलग हिस्सों के बीच कूदने (मल्टी-हॉप रीजनिंग) की आवश्यकता होती है।
उन्होंने क्या पाया
1. यह जटिल पहेलियों (HotpotQA) पर सबसे अच्छा काम करता है।
जब कार्य कठिन होता है और इसमें रोबकों को जानकारी को कई बार एक-दूसरे को पास करने की आवश्यकता होती है, तो "चिंता मीटर" बहुत उपयोगी होता है। पहले चरण से होने वाली अनिश्चितता अगले चरण तक जुड़ती जाती है, और नियंत्रण कक्ष देख सकता है कि टीम अपना रास्ता भटक रही है या नहीं। इन मामलों में, यह प्रणाली केवल अंतिम रोबोट को देखने की तुलना में त्रुटियों को पकड़ने में बेहतर थी।
2. यह सरल पहेलियों (StrategyQA) के साथ संघर्ष करता है।
आसान कार्यों पर, "प्लानर" और "इवैल्यूएटर" रोबोट अक्सर झूठी चेतावनी (फॉल्स अलार्म) देते हैं (वे तब भी चिंतित थे जब उन्हें जरूरत नहीं थी)। क्योंकि नियंत्रण कक्ष ने हर रोबोट के चिंता संकेत को समान महत्व दिया, इसलिए इन झूठी चेतावनियों ने पूरे सिस्टम को यह सोचने पर मजबूर कर दिया कि उत्तर जोखिम भरा है, भले ही वह नहीं था।
- शोध पत्र का उपमा (Analogy): यह एक सुरक्षा प्रणाली की तरह है जहाँ गलियारे में लगा एक संवेदनशील मोशन सेंसर हर बार तब बज उठता है जब एक बिल्ली वहां से गुजरती है, जिससे पूरे घर का अलार्म चिल्लाने लगता है जबकि मुख्य दरवाजा सुरक्षित है।
3. "सब-या-कुछ-नहीं" का नियम (The "All-or-Nothing" Rule):
सिस्टम ने एक सख्त नियम का उपयोग किया: यदि कोई भी रोबोट अनिश्चित है, तो पूरे उत्तर को "फेल" के रूप में चिह्नित किया जाता है। यह बहुत सुरक्षित है (यह गलतियों को शायद ही कभी चूकता है), लेकिन यह बहुत अधिक सतर्क हो सकता है। यह एक सही उत्तर को केवल इसलिए खारिज कर सकता है क्योंकि प्लानर थोड़ा घबराया हुआ था।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि यह "चिंता मीटर" प्रणाली जटिल AI टीमों की निगरानी के लिए एक आशाजनक उपकरण है, विशेष रूप से तब जब AI को सोचने के कई चरणों से गुजरना पड़ता है। हालाँकि, इसे इस बारे में अधिक स्मार्ट होने की आवश्यकता है कि वह किस पर भरोसा करे। अभी, यह एक घबराए हुए रोबोट को एक आश्वस्त रोबोट के समान ही मानता है, जिससे सरल कार्यों पर समस्याएँ हो सकती हैं।
लेखक सुझाव देते हैं कि वास्तविक दुनिया के उद्योगों (जैसे अपतटीय पवन टर्बाइनों का रखरखाव) में काम करने के लिए, इस प्रणाली का वास्तविक उद्योग डेटा पर परीक्षण किया जाना चाहिए और इसे टीम के विशिष्ट हिस्सों से अविश्वसनीय "चिंता संकेतों" को अनदेखा करने के लिए ट्यून किया जाना चाहिए। फिलहाल, यह एक "प्रूफ-ऑफ-कॉन्सेप्ट" बना हुआ है जो बड़ी क्षमता दिखाता है लेकिन इसे और अधिक सुधार की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।