Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition
यह शोधपत्र MATU प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो संपूर्ण तर्क प्रक्षेपवक्रों (reasoning trajectories) का विश्लेषण करने और जटिल संचार गतिशीलता एवं टोपोलॉजी से उत्पन्न होने वाले विशिष्ट अनिश्चितता स्रोतों को अलग करने के माध्यम से, टेंसर अपघटन (tensor decomposition) का लाभ उठाकर लार्ज लैंग्वेज मॉडल-आधारित मल्टी-एजेंट सिस्टम में अनिश्चितता को परिमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत कठिन समस्या को हल करने के लिए विशेषज्ञों की एक टीम नियुक्त की है, जैसे कि किसी दुर्लभ बीमारी का निदान करना या कोई जटिल सॉफ्टवेयर लिखना। आप केवल एक AI से नहीं पूछते; आप एआई (AI) के एक पूरे समूह को एक साथ बात करने, बहस करने और मिलकर एक समाधान बनाने के लिए कहते हैं। इसे मल्टी-एजेंट सिस्टम (Multi-Agent System - MAS) कहा जाता है।
हालाँकि ये टीमें अविश्वसनीय रूप से शक्तिशाली होती हैं, लेकिन उनमें एक बड़ी खामी है: वे अविश्वसनीय हो सकती हैं। कभी-कभी, एक एजेंट शुरुआत में एक छोटी सी गलती कर देता है, और पूरी टीम उस गलती के पीछे बिना सोचे-समझे भागती चली जाती है, और अंत में आत्मविश्वास के साथ एक गलत उत्तर दे देती है।
यह शोध पत्र इस समस्या को हल करने के लिए MATU नामक एक नया टूल पेश करता है। MATU को एक "टीम ट्रस्ट मीटर" (Team Trust Meter) के रूप में समझें जो न केवल अंतिम उत्तर को देखता है, बल्कि पूरी बातचीत पर नज़र रखता है ताकि यह देख सके कि टीम का तर्क वास्तव में कितना अस्थिर है।
यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से समझाया गया है:
1. समस्या: पुराने तरीके क्यों विफल होते हैं
कल्पना कीजिए कि आप एक ग्रुप प्रोजेक्ट को ग्रेड दे रहे हैं।
- पुराना तरीका: आप केवल उस अंतिम निबंध (essay) को पढ़ते हैं जो समूह ने जमा किया है। यदि निबंध अच्छा दिखता है, तो आप उन्हें 'A' ग्रेड दे देते हैं। लेकिन आपने उस तथ्य को मिस कर दिया कि दो छात्र पूरे समय बहस कर रहे थे, या एक छात्र ने इंटरनेट से गलत तथ्य कॉपी किए थे।
- AI के साथ समस्या: वर्तमान AI सुरक्षा उपकरण भी यही करते हैं। वे AI द्वारा कहे गए अंतिम वाक्य को देखते हैं। वे उन उलझन भरे, भ्रमित करने वाले या विरोधाभासी चरणों को नहीं देखते जो AI ने वहां तक पहुँचने के लिए उठाए थे। एआई की एक टीम में, यदि एजेंट A एजेंट B को एक गलत विचार फुसफुसाता है, और एजेंट B उस गलत विचार पर पूरा घर बना लेता है, तो अंतिम घर सुंदर दिख सकता है, लेकिन उसकी नींव खोखली है।
2. समाधान: MATU (द "टीम ट्रस्ट मीटर")
लेखकों ने इस समस्या को ठीक करने के लिए MATU बनाया है। केवल अंतिम निबंध पढ़ने के बजाय, MATU एक अति-सतर्क फिल्म निर्देशक की तरह कार्य करता है जो फिल्म के हर एक शॉट (take) को रिकॉर्ड करता है।
यहाँ रचनात्मक उपमाओं का उपयोग करके चरण-दर-चरण प्रक्रिया दी गई है:
चरण A: "रिहर्सल" (ट्रैजेक्टरीज एकत्र करना)
कल्पना कीजिए कि आप AI टीम को गणित की एक समस्या हल करने के लिए कहते हैं। आप उनसे केवल एक बार नहीं पूछते। आप उनसे 10 बार पूछते हैं (जैसे 10 अलग-अलग रिहर्सल)।
- रिहर्सल 1 में, वे 5 मिनट तक बहस कर सकते हैं, फिर सहमत हो सकते हैं।
- रिहर्सल 2 में, वे बहस को छोड़कर सीधे उत्तर पर कूद सकते हैं।
- रिहर्सल 3 में, वे भ्रमित हो सकते हैं और चक्कर काट सकते हैं।
MATU इन सभी अलग-अलग "रिहर्सल" (जिन्हें ट्रैजेक्टरीज कहा जाता है) को एकत्र करता है।
चरण B: "अनुवाद" (एम्बेडिंग)
AI टीम शब्दों, संख्याओं और कोड में बात करती है। MATU हर एक वाक्य और क्रिया को अर्थ की एक सार्वभौमिक भाषा (गणितीय वेक्टर्स) में अनुवादित करता है।
- उपमा: कल्पना कीजिए कि आप टीम द्वारा कहे गए हर शब्द को एक विशिष्ट रंग में अनुवादित कर रहे हैं। "2 जोड़ें" नीला बन जाता है। "0 से विभाजित करें" लाल बन जाता है। भले ही वे इसे अलग तरह से कहें ("आइए इन्हें जोड़ें" बनाम "इन्हें जोड़ दें"), दोनों ही नीले में बदल जाते हैं। इससे MATU को, भले ही शब्द अलग हों, सेब की तुलना सेब से करने में मदद मिलती है।
चरण C: "3D पहेली" (टेन्सर डिकम्पोजिशन)
यही जादुई हिस्सा है। MATU इन सभी रिहर्सल को एक विशाल, 3D ब्लॉक (एक टेन्सर) में व्यवस्थित करता है।
- डायमेंशन 1: टीम के विभिन्न सदस्य।
- डायमेंशन 2: बातचीत के चरण।
- डायमेंशन 3: विभिन्न रिहर्सल।
अब, MATU इस 3D ब्लॉक को एक सरल, छोटे संस्करण में कंप्रेस (संकुचित) करने की कोशिश करता है (जैसे स्पंज को दबाना)।
- यदि टीम विश्वसनीय है: उनकी बातचीत सुसंगत है। वे सभी एक समान पैटर्न का पालन करते हैं। जब MATU इस ब्लॉक को दबाता है, तो यह पूरी तरह से फिट बैठता है। "रिकंस्ट्रक्शन एरर" (कितनी जानकारी खो गई है) कम होती है। परिणाम: उच्च विश्वास (High Trust)।
- यदि टीम अविश्वसनीय है: उनकी बातचीत अराजक है। एक रिहर्सल बाईं ओर जाता है, दूसरा दाईं ओर। जब MATU इस अव्यवस्थित ब्लॉक को दबाने की कोशिश करता है, तो यह बिखर जाता है। "रिकंस्ट्रक्शन एरर" उच्च होती है। परिणाम: कम विश्वास (उच्च अनिश्चितता)।
3. यह एक बड़ी बात क्यों है
शोध पत्र दिखाता है कि MATU पिछले तरीकों की तुलना में बेहतर है क्योंकि:
- यह केवल अंत नहीं, बल्कि पूरी फिल्म देखता है: यह उन त्रुटियों को पकड़ लेता है जो प्रक्रिया के बीच में होती हैं।
- यह विभिन्न टीम संरचनाओं को संभालता है: चाहे AI टीम एक घेरे में हो, एक सीधी रेखा में हो, या एक अराजक स्थिति में हो, MATU उनके विश्वास को माप सकता है।
- यह तब भी काम करता है जब वे टूल्स का उपयोग करते हैं: यदि AI टीम कैलकुलेटर या कोड इंटरप्रेटर का उपयोग करती है, तो भी MATU काम करता है।
वास्तविक दुनिया का प्रभाव
हमें इसकी आवश्यकता क्यों है?
- चिकित्सा सुरक्षा: यदि एक AI टीम किसी मरीज का निदान करती है, तो MATU डॉक्टर को बता सकता है, "हे, यह टीम बहुत अनिश्चित है। उनका आंतरिक तर्क पूरी तरह से बिखरा हुआ है। इस निदान पर भरोसा न करें।"
- बेहतर AI चयन: यदि आपके पास एक समस्या पर काम करने के लिए 5 अलग-अलग AI टीमें हैं, तो MATU उस टीम को चुन सकता है जो सबसे अधिक आत्मविश्वासी और सुसंगत है, जिससे आप गलत उत्तरों से बच सकते हैं।
सारांश
संक्षेप में, MATU यह जांचने का एक नया तरीका है कि क्या AI रोबोटों की एक टीम "स्पष्ट रूप से सोच" रही है। उनके अंतिम उत्तर की जाँच करने के बजाय, यह उनकी पूरी अव्यवस्थित बातचीत को देखता है, उन्हें एक गणितीय पहेली में अनुवादित करता है, और देखता है कि क्या उनके टुकड़े आपस में फिट बैठते हैं। यदि पहेली टूट जाती है, तो सिस्टम जान जाता है कि उत्तर संभवतः गलत है, भले ही अंतिम वाक्य बिल्कुल सही लग रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।