Semantic Cooperative Games for Contribution Attribution in LLM-Based Multi-Agent Systems
यह शोध पत्र सिमेंटिक कोऑपरेटिव गेम्स (SCG) और इसके कुशल सिंगल-ट्रैजेक्टरी एल्गोरिदम SLIC को प्रस्तुत करता है, जो एक सिमेंटिक जनरेशन हाइपरग्राफ और सिमेंटिक शापली वैल्यू का उपयोग करके LLM-आधारित मल्टी-एजेंट सिस्टम के लिए तेज़, काउंटरफैक्चुअल-मुक्त और व्याख्या योग्य योगदान एट्रिब्यूशन प्रदान करते हैं, जिससे सटीकता बनाए रखते हुए कम्प्यूटेशनल लागत में काफी कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक विशाल, जटिल पहेली को सुलझाने की कोशिश कर रहा है। वे आपस में नोट्स साझा करते हैं, प्रत्येक व्यक्ति एक टुकड़ा जोड़ता है, एक गलती को सुधारता है, या एक नया दृष्टिकोण सुझाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "दोस्त" मल्टी-एजेंट सिस्टम के रूप में काम करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। वे केवल चैट नहीं करते; वे चिकित्सा निदान, कानूनी सारांश या कोड जैसी चीजें बनाने के लिए एक सख्त वर्कफ़्लो का पालन करते हैं। लेकिन यहाँ पेचीदा बात यह है कि जब अंतिम पहेली सुलझ जाती है (या विफल हो जाती है), तो हमें कैसे पता चलेगा कि वास्तव में श्रेय किसे मिलना चाहिए? क्या वह व्यक्ति जिसने पहला सुराग खोजा, वह जिसने बिंदुओं को जोड़ा, या वह जिसने किनारों की दोबारा जाँच की?
लंबे समय तक, वैज्ञानिकों ने "काउंटरफैक्चुअल वैल्यूएशन" (counterfactual valuation) नामक एक विधि का उपयोग करके इसे समझने की कोशिश की। इसे ऐसे समझें जैसे कोई जासूस, अपराध के बाद पूछता है, "क्या होगा अगर हम इस व्यक्ति को कहानी से मिटा दें?" वे एक एजेंट को हटा देंगे, पूरी बातचीत को शुरू से फिर से चलाएंगे, और देखेंगे कि क्या परिणाम बदला। यदि उत्तर बदल जाता है, तो वह एजेंट महत्वपूर्ण था। लेकिन यह एक टूटी हुई घड़ी को ठीक करने के लिए उसे खोलने, दस अलग-अलग तरीकों से फिर से बनाने और यह उम्मीद करने जैसा है कि समय सही होगा। इसमें बहुत समय लगता है, बहुत ऊर्जा खर्च होती है, और क्योंकि AI थोड़ा अप्रत्याशित हो सकता है (जैसे पासे का खेल), परिणाम अक्सर डगमगाते रहते हैं। यह सत्य को खोजने का एक अव्यवस्थित और महंगा तरीका है।
यहीं पर एक नया पेपर एक चतुर, तेज़ विचार के साथ आता है। "फिर से पासा फेंकने" या "घड़ी को फिर से बनाने" के बजाय, लेखक पहले से ही हुई एक वास्तविक बातचीत को देखने और अर्थ के "ब्रेडक्रंब्स" (breadcrumbs) का पीछा करने का प्रस्ताव देते हैं। वे अपने तरीके को सेमेंटिक कोऑपरेटिव गेम्स (Semantic Cooperative Games - SCG) और अपने एल्गोरिदम को SLIC कहते हैं।
यह कैसे काम करता है, इसके लिए एक चंचल उपमा का उपयोग करें: कल्पना कीजिए कि टीम की बातचीत धागे का एक विशाल, उलझा हुआ जाल है। धागे में प्रत्येक गांठ सूचना का एक टुकड़ा (एक "सेमेंटिक नोड") है, और उन्हें जोड़ने वाला धागा दिखाता है कि कैसे एक विचार दूसरे विचार की ओर ले गया। कुछ धागे एजेंट A के पास हैं, अन्य एजेंट B के पास। पेपर सुझाव देता है कि हमें यह देखने के लिए धागे को काटने और फिर से बांधने की आवश्यकता नहीं है कि कौन महत्वपूर्ण है। इसके बजाय, हम तैयार जाल को देख सकते हैं और पूछ सकते हैं: "अंतिम चित्र को थामे रखने के लिए कौन सी गांठें बिल्कुल आवश्यक हैं?"
लेखकों ने महसूस किया कि कई मामलों में, यदि एजेंट A एक वाक्य लिखता है और एजेंट B बस उसे दोहराता है, तो एजेंट B ने वास्तव में कुछ भी नया नहीं जोड़ा। पुराने "री-रन" (re-run) तरीके में, आप गलती से एजेंट B को श्रेय दे सकते हैं क्योंकि आपने एजेंट A को हटा दिया और सिस्टम घबरा गया। लेकिन नया SLIC एल्गोरिदम "बुलियन एब्जॉर्प्शन" (Boolean absorption) नामक एक तर्क चाल का उपयोग करता है। यह यह समझने जैसा है कि यदि आपके पास एक चाबी और एक अतिरिक्त चाबी है, और पहली चाबी से ही दरवाजा खुल जाता है, तो दूसरी चाबी अनावश्यक है। SLIC विचारों के प्रवाह को देखकर इन अनावश्यकताओं को तुरंत पहचान लेता है, न कि यह अनुमान लगाकर कि क्या हो सकता था।
यह पेपर सिद्ध करता है कि सामान्य, सरल परिस्थितियों में, यह नई विधि पुराने, धीमे, "री-रन" करने वाले तरीके के समान ही उत्तर देती है। लेकिन असली जादू इसकी गति और स्थिरता में है। एक मेडिकल बेंचमार्क (स्वास्थ्य संबंधी डेटासेट) का उपयोग करते हुए परीक्षण में, इस नई विधि ने कंप्यूटिंग लागत को 93.3% तक कम कर दिया। यह एक बहुत बड़ी गिरावट है! इसका मतलब है कि हम यह पता लगा सकते हैं कि एजेंटों की एक टीम में किसने भारी काम किया है, बिना सैकड़ों बार सिमुलेशन चलाए।
इसके अलावा, अधिक जटिल और अव्यवस्थित परिदृश्यों में, जहाँ एजेंटों की अलग-अलग भूमिकाएँ होती हैं, यह नई विधि केवल एक स्कोर नहीं देती; बल्कि यह एक कहानी बताती है। यह पहचान सकती है कि कब एक एजेंट संरचनात्मक रूप से (जैसे किसी इमारत के स्तंभ की तरह) सिस्टम को थामे हुए है, भले ही उन्होंने बहुत कम टेक्स्ट लिखा हो, या कब एक एजेंट की विफलता से पतन हो सकता है। यह उस स्थिति के साथ बहुत अच्छी तरह से संरेखित होती है जब हम वास्तव में एजेंटों के साथ छेड़छाड़ करते हैं (जैसे उन्हें "हैलुसिनेशन" या फर्जी जानकारी देना), जिसमें कुछ परीक्षणों में एलाइनमेंट स्कोर 1.000 तक पहुँच जाता है।
तो, निष्कर्ष क्या है? हमें यह देखने के लिए मशीन को तोड़ने की आवश्यकता नहीं है कि यह कैसे काम करती है। विचारों के मार्ग का पीछा करके, हम एक वास्तविक बातचीत में यह निष्पक्ष और तेज़ी से तय कर सकते हैं कि किसने क्या योगदान दिया। यह "तोड़कर अनुमान लगाने" से "ट्रैकिंग द्वारा समझने" की ओर एक बदलाव है, जो भविष्य में AI एजेंटों की बेहतर, अधिक विश्वसनीय टीमें बनाने को बहुत आसान बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।