Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks
यह शोध पत्र एक मल्टी-एजेंट फ्रेमवर्क प्रस्तावित करता है जो एक्चुअरियल रिस्क मॉडलिंग के लिए टोकन-लेवल लॉग-प्रोबेबिलिटीज और बेयसियन नेटवर्क का लाभ उठाता है ताकि रनटाइम अनिश्चितता को मात्रात्मक रूप से निर्धारित और प्रसारित किया जा सके, जिससे उच्च-दांव वाले एलएलएम-आधारित वर्कफ़्लो में विश्वसनीय निर्णय-सहायता सुनिश्चित की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सख्त निर्देशों का पालन ही नहीं करते, बल्कि वास्तव में जटिल कार्यों के माध्यम से "बातचीत" और "सोच" भी सकते हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) का क्षेत्र है, विशेष रूप से एक शाखा जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन मॉडल्स को बहुत पढ़े-लिखे छात्रों के रूप में समझें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियाँ लिखने, सवालों के जवाब देने और यहाँ तक कि गणित की समस्याओं को हल करने में भी माहिर हैं। हालाँकि, इसमें एक पेंच है: वे थोड़े उस रचनात्मक लेखक की तरह हैं जो कभी-कभी अपनी बातें बना लेते हैं (जिसे "हैलुसिनेशन" या भ्रम कहा जाता है) या यदि आप उनसे एक ही सवाल दो बार पूछें तो वे अपना मन बदल लेते हैं।
अब, कल्पना करें कि आपको जीवन-मरण का निर्णय लेने की आवश्यकता है, जैसे कि कार बीमा के लिए कितना शुल्क लिया जाए। आप केवल इन AI छात्रों से अनुमान लगाने के लिए नहीं कह सकते; आपको एक पूरी टीम के साथ मिलकर काम करने की आवश्यकता है। यहीं पर मल्टी-एजेंट सिस्टम (Multi-Agent Systems) काम आते हैं। एक रोबोट द्वारा सब कुछ करने के बजाय, आपके पास विशेषज्ञों की एक टीम होती है: एक डेटा एकत्र करता है, दूसरा गणितीय मॉडल बनाता है, तीसरा गलतियों की जाँच करता है, और चौथा परिणामों को समझाता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है: "यदि इनमें से एक AI टीम का सदस्य भ्रमित हो जाता है या गलती करता है, तो हमें यह कैसे पता चलेगा कि पूरा प्रोजेक्ट विफल होने वाला है?" यह शोध पत्र ठीक इसी समस्या में गहराई से उतरता है, जो उच्च-दांव वाले वित्तीय कार्यों में काम करने वाली AI टीमों के लिए एक सुरक्षा जाल बनाने की कोशिश कर रहा है।
AI टीम और "कॉन्फिडेंस मीटर"
इस अध्ययन में, शोधकर्ताओं ने AI एजेंटों की एक टीम द्वारा संचालित एक डिजिटल बीमा कंपनी स्थापित की। उन्होंने केवल AI को बेतरतीब ढंग से बात करने के लिए नहीं छोड़ा; उन्होंने एक सख्त वर्कफ़्लो बनाया जिसमें एक "सेंट्रल हब" (Central Hub) एक प्रोजेक्ट मैनेजर की तरह कार्य करता है। यह मैनेजर चार विशिष्ट AI विशेषज्ञों को कार्य सौंपता है:
- डेटा प्रेप एजेंट (The Data Prep Agent): यह बिखरे हुए नंबरों को साफ करता है।
- मॉडलिंग एजेंट (The Modelling Agent): यह जोखिम भविष्यवाणी का गणितीय मॉडल बनाता है।
- रिव्यूइंग एजेंट (The Reviewing Agent): यह गलतियों के लिए काम की दोबारा जाँच करता है।
- एक्सप्लेनेशन एजेंट (The Explanation Agent): यह सुनिश्चित करता है कि परिणाम समझ में आने योग्य और निष्पक्ष हों।
जटिल बात यह है कि ये AI एजेंट संभाव्य (probabilistic) हैं, जिसका अर्थ है कि वे हर बार एक ही "सही" उत्तर नहीं देते हैं। वे शब्द-दर-शब्द टेक्स्ट जेनरेट करते हैं, और प्रत्येक शब्द के लिए, कंप्यूटर के पास एक छोटा सा "लॉग प्रोबेबिलिटी" (log probability) होता है—एक संख्या जो बताती है कि मॉडल को लगा कि अगला शब्द क्या होना चाहिए। आमतौर पर, लोग केवल अंतिम उत्तर देखते हैं। लेकिन यह शोध पत्र एक चतुर तरीका सुझाता है: AI के आत्मविश्वास की फुसफुसाहट को सुनें।
लेखकों ने महसूस किया कि आप केवल AI के आंतरिक आत्मविश्वास अंकों को लेकर यह नहीं कह सकते कि, "यह 90% सही है।" यह यह मानने जैसा है कि एक धाराप्रवाह बोलने वाला छात्र निश्चित रूप से सच बोल रहा है। इसके बजाय, टीम ने उन कच्चे आत्मविश्वास के संकेतों को एक बेयसियन नेटवर्क (Bayesian Network) में अनुवाद करने के लिए एक प्रणाली बनाई।
बेयसियन नेटवर्क: एक डिजिटल रिपल इफेक्ट (लहर प्रभाव)
बेयसियन नेटवर्क को डोमिनोज़ के एक विशाल, इंटरैक्टिव फ्लोचार्ट के रूप में समझें। प्रत्येक डोमिनो बीमा वर्कफ़्लो के एक चरण का प्रतिनिधित्व करता है। यदि पहला डोमिनो (डेटा प्रेप) डगमगाता है, तो यह दूसरे (मॉडलिंग) को गिरा सकता है, जो तीसरे (रिव्यूइंग) को गिरा सकता है।
शोधकर्ताओं ने प्रत्येक डोमिनो के लिए "डगमगाने के कारक" (wobble factor) को सेट करने के लिए AI के आंतरिक आत्मविश्वास स्कोर का उपयोग किया। उन्होंने AI के आत्मविश्वास को सत्य की गारंटी के रूप में नहीं लिया। इसके बजाय, उन्होंने परीक्षणों (test runs) का उपयोग करके इसे कैलिब्रेट किया ताकि यह देखा जा सके कि जब AI आत्मविश्वासी महसूस करता है, तो वह वास्तव में कितनी बार सही होता है। फिर, उन्होंने इन कैलिब्रेटेड नंबरों को नेटवर्क में डाला।
परिणाम क्या रहा? नेटवर्क उन्हें दिखा सका कि अनिश्चितता पूरे सिस्टम में कैसे लहरों की तरह फैलती है। भले ही प्रत्येक व्यक्तिगत AI एजेंट अपने काम में 80% आश्वस्त महसूस कर रहा हो, नेटवर्क यह गणना कर सकता था कि पूरे वर्कफ़्लो के सफल होने की संभावना केवल 55% थी क्योंकि छोटी-छोटी शंकाएं जुड़ती गईं। यह चार लोगों द्वारा पानी की बाल्टी पास करने की एक श्रृंखला की तरह है; यदि प्रत्येक व्यक्ति इस बात के प्रति 80% आश्वस्त है कि वह पानी नहीं गिराएगा, तो अंत तक पहुँचते-पहुँचते बाल्टी अभी भी आधी खाली हो सकती है।
उन्होंने क्या पाया: द टेम्परेचर टेस्ट
यह देखने के लिए कि क्या उनका सुरक्षा जाल काम करता है, शोधकर्ताओं ने AI टीम को विभिन्न "तापमानों" (temperatures) के माध्यम से चलाया। AI की भाषा में, "तापमान" यह नियंत्रित करता है कि AI कितना रैंडम या रचनात्मक है।
- लो टेम्परेचर (0.2): AI बहुत रूढ़िवादी और दोहराव वाला है।
- हाई टेम्परेचर (1.2): AI जंगली, रचनात्मक और गलतियाँ करने के प्रति प्रवृत्त है।
उन्होंने चार परिदृश्य (scenarios) परीक्षण किए:
- सुरक्षित परिदृश्य (Safe Scenario): सभी लो-टेम्परेचर पर थे। सिस्टम बहुत विश्वसनीय था, जिसकी सफलता की दर 87.1% थी।
- मिश्रित परिदृश्य (Mixed Scenario): डेटा और मॉडल एजेंट शांत थे, लेकिन समीक्षक और व्याख्याकार थोड़े "जंगली" थे। सफलता घटकर 69.0% हो गई।
- मध्यम परिदृश्य (Moderate Scenario): सभी एक मानक "मीडियम" सेटिंग पर थे। सफलता 59.2% थी।
- जोखिम भरा परिदृश्य (Risky Scenario): केवल एक एजेंट (एक्सप्लेनेशन एजेंट) बहुत अधिक "जंगली" हो गया। भले ही बाकी सभी शांत थे, पूरे सिस्टम की सफलता दर गिरकर 42.8% रह गई।
इससे पता चला कि सिस्टम बहुत संवेदनशील है। श्रृंखला की एक भी कमजोर कड़ी पूरे प्रोजेक्ट की विश्वसनीयता को नीचे खींच सकती है।
निष्कर्ष: गलतियों को किसने पकड़ा?
टीम ने AI एजेंटों को गुप्त रूप से डेटा खराब करके (जैसे नंबर छिपाना या नकली शोर जोड़ना) भी परखा ताकि यह देखा जा सके कि एजेंट क्या नोटिस करते हैं।
- Llama 2 और Llama 3.1: ये मॉडल काम में ठीक थे लेकिन कई छिपी हुई गलतियों को पकड़ने में चूक गए। Llama 2 ने केवल 45% गलतियों को पकड़ा, और Llama 3.1 ने 65% गलतियों को पकड़ा।
- Qwen2.5: यह मॉडल मुख्य आकर्षण रहा। इसने 90% त्रुटियों को पकड़ा और चीजें गलत होने पर अपनी रणनीति बदलने में बहुत बेहतर था।
अध्ययन में यह भी पाया गया कि जबकि व्यक्तिगत एजेंट अक्सर बहुत आत्मविश्वासी महसूस करते थे (स्वयं पर 0.80 से 0.90 का स्कोर), पूरे वर्कफ़्लो की संयुक्त अनिश्चितता बहुत कम थी। उदाहरण के लिए, Qwen मॉडल के साथ, व्यक्तिगत एजेंट आश्वस्त थे, लेकिन अंतिम वर्कफ़्लो की निश्चितता केवल 0.6012 थी।
यह क्यों महत्वपूर्ण है
यह शोध पत्र यह दावा नहीं करता है कि इसने बीमा में AI की सभी समस्याओं को हल कर दिया है। इसके बजाय, यह हमें काम करते समय AI टीम की निगरानी करने का एक नया तरीका सुझाता है। बेयियन नेटवर्क का उपयोग करके यह ट्रैक करके कि छोटी शंकाएं कैसे जुड़ती हैं, हम यह देख सकते हैं कि कोई वर्कफ़्लो कब "असुरक्षित" हो रहा है, इससे पहले कि वह कोई बुरा परिणाम दे।
शोधकर्ताओं ने दिखाया कि यह पद्धति मानक एक्चुरियल परिणामों (वह गणित जिसका उपयोग बीमा की कीमत तय करने के लिए किया जाता है) को पुनरुत्पादित कर सकती है और साथ ही हमें सिस्टम की स्थिरता का स्पष्ट दृश्य भी देती है। यह सुझाव देता है कि उच्च-दांव वाले कार्यों में, हमें केवल AI के अंतिम उत्तर पर भरोसा नहीं करना चाहिए; हमें उसके आत्मविश्वास की "फुसफुसाहट" को सुनने और यह देखने की आवश्यकता है कि वे फुसफुसाहटें टीम में कैसे यात्रा करती हैं। यदि एक एजेंट अनिश्चित सुनाई देने लगता है, तो पूरे सिस्टम को रुकना चाहिए और जाँच करनी चाहिए, जिससे एक छोटी गलती को वित्तीय आपदा बनने से रोका जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।