Auditing Emergent LLM-Agent Collaboration through Cooperation-Obligation Coupling
यह शोधपत्र iCORE को प्रस्तुत करता है, जो एक एकीकृत ऑडिटिंग फ्रेमवर्क है जो उभरते हुए LLM-एजेंट सिस्टम में कार्य की सुदृढ़ता (work soundness) और एजेंट-असाइनमेंट स्थिरता को प्रमाणित करने के लिए सहयोग ग्राफ (cooperation graphs), दायित्व ग्राफ (obligation graphs) और एक ऑडिट मैप को एकीकृत करता है, जिससे अधूरे कार्य और गलत आवंटित जिम्मेदारियों का पता लगाकर और उन्हें सुधारकर प्रक्षेपवक्र (trajectory) और टर्मिनल प्रदर्शन में महत्वपूर्ण सुधार किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक हलचल भरे शहर की कल्पना करें जहाँ हजारों छोटे, अदृश्य कार्यकर्ता मिलकर एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं। ये कार्यकर्ता "एजेंट्स" हैं, और आधुनिक कंप्यूटिंग की दुनिया में, इन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा शक्ति दी जाती है—जो कि बहुत स्मार्ट कंप्यूटर प्रोग्राम हैं जो बात कर सकते हैं, योजना बना सकते हैं और समस्याओं को हल कर सकते हैं। एक बॉस द्वारा आदेश देने के बजाय, ये एजेंट अक्सर खुद को व्यवस्थित करते हैं, कार्यों का आदान-प्रदान करते हैं, विचार साझा करते हैं और काम करते समय गलतियों को सुधारते हैं। इसे "इमर्जेंट कोऑपरेशन" (उभरता हुआ सहयोग) कहा जाता है। यह पक्षियों के झुंड को एक आदर्श आकार बनाते हुए देखने जैसा है, जहाँ एक भी पक्षी दूसरे को कुछ नहीं बताता। लेकिन यहाँ एक पेंच है: जब चीजें गलत होती हैं, तो यह समझना अक्सर कठिन होता है कि क्यों हुईं। क्या किसी कार्यकर्ता ने कोई कदम भूल दिया? क्या उन्होंने कार्य किसी गलत व्यक्ति को सौंप दिया? या क्या उन्होंने बस एक ऐसा समाधान बना लिया जो सुनने में तो अच्छा लगा लेकिन सच नहीं था? अदृश्य कार्यकर्ताओं के शहर में, एक विश्वसनीय लगने वाला झूठ एक ढहती हुई नींव को छिपा सकता है।
यहीं पर नया शोध पत्र काम आता है। शोधकर्ता एक सरल लेकिन महत्वपूर्ण प्रश्न पूछ रहे हैं: हम एक ऐसा स्कोरकार्ड कैसे रखें जो न केवल यह रिकॉर्ड करे कि कार्यकर्ताओं ने क्या कहा, बल्कि यह भी साबित करे कि उन्होंने वह क्यों किया और उन्हें क्या करना होना चाहिए था? वे एक प्रणाली पेश करते हैं जिसे iCORE (इंटीग्रेटेड कोऑपरेशन-ऑब्लीगेशन रिप्रेजेंटेशन) कहा जाता है। iCORE को निर्माण स्थल के लिए एक जादुई, पारदर्शी बहीखाते के रूप में समझें। यह केवल कार्यकर्ताओं की बातचीत को नहीं सुनता; यह एक साथ तीन विशिष्ट मानचित्र (maps) बनाता है: प्रत्येक की गई कार्रवाई का एक मानचित्र, प्रत्येक अधूरे कार्य का एक मानचित्र, और एक मानचित्र जो यह साबित करने के लिए दोनों को जोड़ता है कि काम वास्तविक है। इस ट्रिपल-मैप सिस्टम का उपयोग करके, शोधकर्ताओं ने पाया कि वे उन त्रुटियों को पकड़ सकते हैं जिन्हें अन्य प्रणालियाँ छोड़ देती हैं और वास्तव में कार्यकर्ताओं को बेहतर गगनचुंबी इमारतें बनाने के लिए निर्देशित कर सकते हैं, जिससे उनके परीक्षणों में अंतिम परिणाम में 31% तक सुधार हुआ।
समस्या: "घोस्ट वर्क" (भूतिया कार्य) का जाल
जब एआई एजेंटों की एक टीम एक जटिल पहेली को हल करने की कोशिश करती है, तो वे अक्सर एक-दूसरे से बात करते हैं, उपकरणों का उपयोग करते हैं और नोट्स पास करते हैं। वर्तमान प्रणालियाँ इन बातचीत को रिकॉर्ड कर सकती हैं, जैसे एक सुरक्षा कैमरा मीटिंग को रिकॉर्ड करता है। लेकिन केवल रिकॉर्डिंग पर्याप्त नहीं है। कल्पना कीजिए कि एक कार्यकर्ता कहता है, "मैंने छत ठीक कर दी!" और कैमरा इसे रिकॉर्ड करता है। लेकिन क्या होगा यदि वे वास्तव में ऊपर कभी गए ही नहीं? या क्या होगा यदि उन्होंने काम ऐसे कार्यकर्ता को दे दिया जिसके पास सीढ़ी ही नहीं है?
एआई की दुनिया में, इसे "विश्वसनीय लेकिन असमर्थित" (plausible but unsupported) कार्य कहा जाता है। अंतिम उत्तर एकदम सही लग सकता है, लेकिन वहां तक पहुँचने का रास्ता छेदों से भरा था। शोध पत्र का तर्क है कि मौजूदा तरीके बैंक के ऑडिट की तरह हैं, जहाँ आप केवल कैश रजिस्टर की रसीदों को देखते हैं बिना वॉल्ट या सुरक्षा लॉग की जाँच किए। आप देख सकते हैं कि पैसा बाहर गया, लेकिन आपको यह नहीं पता कि क्या वह चोरी हो गया था या क्या उसे लेने वाला व्यक्ति वॉल्ट को छूने के लिए अधिकृत भी था या नहीं।
समाधान: तीन-मानचित्र प्रणाली (iCORE)
लेखक एजेंटों को देखने का एक नया तरीका प्रस्तावित करते हैं, जिसे iCORE कहा जाता है। केवल संदेशों की एक लंबी सूची के बजाय, iCORE एक एकीकृत अवस्था (unified state) बनाता है जो तीन जुड़े हुए भागों से बनी है, जैसे कि एक त्रि-आयामी पहेली:
- कोऑपरेशन ग्राफ (क्या हुआ - "What Happened" मैप): यह उन सभी चीजों की टाइमलाइन है जो एजेंटों ने वास्तव में कीं। क्या उन्होंने एक संदेश भेजा? क्या उन्होंने कैलकुलेटर का उपयोग किया? क्या उन्होंने कोड का एक हिस्सा लिखा? यह प्रत्येक अवलोकन योग्य कार्रवाई और उनके द्वारा बनाए गए "आर्टिफैक्ट्स" (जैसे नोट्स या फाइलें) का एक रिकॉर्ड है।
- ऑब्लीगेशन ग्राफ (क्या करने की आवश्यकता है - "What Needs Doing" मैप): यह 'टू-डू लिस्ट' है। यह ट्रैक करता है कि कौन सा कार्य पूरा किया जाना बाकी है, वर्तमान में वह कार्य किसके पास है, और उसकी स्थिति क्या है (जैसे, "खुला," "अवरुद्ध," या "पूर्ण")। यह उस कार्य का ब्लूप्रिंट है जो होना चाहिए।
- ऑडिट मैप (प्रमाण का कनेक्टर - "Proof" मैप): यह जादुई गोंद है। यह "क्या हुआ" मैप को "क्या करने की आवश्यकता है" मैप से जोड़ता है। यह पूछता है: "क्या टाइमलाइन पर की गई कार्रवाई ने वास्तव में टू-डू लिस्ट के कार्य को ठीक किया? और क्या हमारे पास प्रमाण है?" यह प्रमाणपत्रों की जाँच करता है—डिजिटल रसीदें जो कहती हैं, "हाँ, यह कार्यकर्ता योग्य है," या "हाँ, इस उपकरण ने काम किया।"
यदि आपके पास केवल पहला मैप है, तो आप शोर देखते हैं। यदि आपके पास केवल दूसरा है, तो आप योजना देखते हैं। लेकिन तीनों के साथ, आप देख सकते हैं कि क्या योजना को सही लोगों द्वारा सही उपकरणों के साथ वास्तव में निष्पादित किया गया था।
दो स्वर्णिम नियम
इस तीन-मानचित्र प्रणाली का उपयोग करते हुए, शोधकर्ता यह तय करने के लिए कि क्या टीम अच्छा काम कर रही है, दो सख्त नियम परिभाषित करते हैं:
1. वर्क साउंडनेस (कोई भूतिया कार्य नहीं - "No Ghosts" नियम)
एक कार्यकर्ता द्वारा अपनी प्रगति के बारे में किया गया हर दावा एक दृश्य, सीमित कारण के साथ होना चाहिए। यदि कोई एजेंट कहता है, "मैंने गणित की समस्या हल कर दी," तो सिस्टम जाँचता है: क्या उन्होंने वास्तव में गणित टूल चलाया? क्या कोई परिणाम है? क्या टूल काम कर रहा है? यदि उत्तर "नहीं" है, तो दावा "अतार्किक" (unsound) है। यह एक छात्र की तरह है जो दावा करता है कि उसे 'A' ग्रेड मिला है लेकिन दिखाने के लिए उसके पास कोई टेस्ट पेपर नहीं है। सिस्टम हर निर्णय के लिए एक दस्तावेजी प्रमाण की मांग करता है।
2. एजेंट-असाइनमेंट स्टेबिलिटी (सही व्यक्ति काम के लिए - "Right Person for the Job" नियम)
यह नियम जाँचता है कि क्या कार्य सबसे उपयुक्त कार्यकर्ता को सौंपा गया है। कल्पना कीजिए कि एक टीम में एक मास्टर शेफ को बर्तन धोने के लिए कहा जाता है जबकि एक डिशवॉशर को स्टेक पकाने के लिए कहा जाता है। सिस्टम गणना करता है कि क्या उन्हें बदलने से काम काफी बेहतर होगा। यदि वर्तमान असाइनमेंट पहले से ही सबसे अच्छा है (या उसके करीब है), तो यह "स्थिर" (stable) है। यदि उन्हें बदलना काम को बहुत बेहतर बना देता है, तो सिस्टम इसे गलती के रूप के रूप में चिह्नित करता है।
ऑडिटर: iCORE-Audit
पेपर केवल निगरानी पर नहीं रुकता; यह एक सक्रिय ऑडिटर बनाता है जिसे iCORE-Audit कहा जाता है। यह एक स्मार्ट सुपरवाइजर की तरह है जो निर्माण स्थल के चारों ओर घूमता है।
यह कैसे काम करता है:
- एजेंट अपना काम करने की कोशिश करते हैं।
- सुपरवाइजर तीनों मानचित्रों की जाँच करता है।
- यदि सुपरवाइजर को कोई "घोस्ट टास्क" (बिना प्रमाण का दावा) या "खराब असाइनमेंट" (गलत व्यक्ति को दिया गया कार्य) दिखता है, तो वह प्रक्रिया को रोक देता है।
- वह केवल "रुक जाओ" नहीं कहता। वह विशिष्ट एजेंट को बताता है, "हे, तुमने दावा किया कि तुमने छत ठीक कर दी, लेकिन तुमने सीढ़ी का उपयोग नहीं किया। जाओ और इसे ठीक करो," या "तुम गणित की समस्या हल करने की कोशिश कर रहे हो, लेकिन तुम गणित विशेषज्ञ नहीं हो। गणित विशेषज्ञ को यह काम करने दो।"
- एजेंट फिर से प्रयास करता है, और सुपरवाइजर नए प्रयास की जाँच करता है।
महत्वपूर्ण रूप से, सुपरवाइजर सावधान रहता है। वह एजेंट को स्कोर बेहतर दिखाने के लिए किसी कठिन समस्या को बस डिलीट करने की अनुमति नहीं देगा। वह एजेंट को वास्तव में समस्या को हल करने या यह सिद्ध करने के लिए मजबूर करता है कि यह असंभव है।
परिणाम: क्या यह काम करता है?
शोधकर्ताओं ने इस प्रणाली का दो तरीकों से परीक्षण किया:
- नियंत्रित सिमुलेशन: उन्होंने एक डिजिटल प्लेग्राउंड बनाया जहाँ वे विशिष्ट त्रुटियाँ डाल सकते थे, जैसे "साक्ष्य की कमी" (फाइल सेव करना भूल जाना) या "गलत असाइनमेंट" (गलत रोबोट को काम देना)।
- वास्तविक LLMs: उन्होंने वास्तविक दुनिया की जटिलताओं को संभालने के लिए वास्तविक AI मॉडल (विशेष रूप से Qwen2.5-0.5B-Instruct नामक मॉडल) के साथ इस प्रणाली को चलाया।
परिणाम स्पष्ट थे। जब प्रणाली केवल देख रही थी (पैसिव ऑब्जर्वेशन), तो वह त्रुटियों को देख सकती थी लेकिन उन्हें ठीक नहीं कर सकती थी। जब iCORE-Audit सुपरवाइजर सक्रिय था:
- नियंत्रित सिमुलेशन में, एजेंटों द्वारा लिए गए पथ की गुणवत्ता में 11.5% का सुधार हुआ, और अंतिम परिणाम में 15.1% का सुधार हुआ।
- वास्तविक LLM परीक्षणों में, सुधार और भी बड़ा था: पथ की गुणवत्ता में 26.4% की वृद्धि हुई, और अंतिम परिणाम में 31.0% का सुधार हुआ।
पेपर ने यह भी दिखाया कि पूर्ण तीन-मैप प्रणाली (iCORE) के बिना, अन्य तरीके विफल रहे। उदाहरण के लिए, एक प्रणाली जो केवल बातचीत को देखती थी ("इंटरैक्शन-ओनली" विधि), वह यह देख सकती थी कि एक कार्यकर्ता फंस गया है, लेकिन वह यह नहीं बता सकती थी कि उसे गलत काम दिया गया है। केवल पूर्ण iCORE प्रणाली ही पूरी तस्वीर देख सकी।
यह क्यों महत्वपूर्ण है
यह पेपर सुझाव देता है कि AI टीमों को वास्तव में विश्वसनीय होने के लिए, हमें केवल उनकी बातचीत के ट्रांसक्रिप्ट की आवश्यकता नहीं है। हमें एक ऐसी प्रणाली की आवश्यकता है जो उनके शब्दों को उनके कार्यों और उनकी जिम्मेदारियों से जोड़ती है। AI सहयोग को एक सख्त, पारदर्शी बहीखाते वाले निर्माण स्थल की तरह मानकर, हम आपदा बनने से पहले गलतियों को पकड़ सकते हैं। यह AI सहयोग के "ब्लैक बॉक्स" को कुछ ऐसा बनाता है जिसे हम वास्तव में ऑडिट, ठीक और विश्वसनीय बना सकते हैं। लेखक यह दावा नहीं करते कि इससे AI सहयोग की हर समस्या हल हो जाएगी, लेकिन वे दिखाते हैं कि सही मानचित्रों और एक अच्छे सुपरवाइजर के साथ, हम मिलकर अधिक ऊँची और मजबूत गगनचुंबी इमारतें बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।