DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems
DoVer एक इंटरवेंशन-संचालित ऑटो-डीबगिंग फ्रेमवर्क है जो LLM मल्टी-एजेंट सिस्टम के लिए है, जो लक्षित हस्तक्षेपों के माध्यम से परिकल्पनाओं को सक्रिय रूप से सत्यापित करके और एट्रिब्यूशन सटीकता के बजाय कार्य रिकवरी और प्रगति के माध्यम से सफलता को मापकर लॉग-ओनली फेलियर लोकलाइजेशन की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जटिल पहेली सुलझाने के लिए डिजिटल सहायकों (AI एजेंटों) की एक टीम है, जैसे इंटरनेट पर कोई विशिष्ट ऐतिहासिक तथ्य खोजना या कोई कठिन गणितीय समस्या हल करना। कभी-कभी, यह टीम अटक जाती है या गलत उत्तर देती है। इसे "विफलता" (failure) कहा जाता है।
लंबे समय तक, जब ये टीमें विफल होती थीं, तो डेवलपर्स उनके "डायरी" (लॉग्स) को पढ़कर और एक स्मार्ट AI से यह अनुमान लगाने की कोशिश करते थे कि गलती किसने की और कब की। यह एक कार दुर्घटना की फिल्म देखने जैसा है और फिर उस सटीक सेकंड की ओर इशारा करने जैसा है जब ड्राइवर ने गाड़ी मोड़ी थी।
यह लेख तर्क देता है कि यह "अनुमान लगाने का खेल" दो मुख्य कारणों से त्रुटिपूर्ण है:
- डायरी भ्रमित करने वाली है: अक्सर, केवल एक स्पष्ट गलती नहीं होती है। टीम रणनीति A आज़मा सकती है, विफल हो सकती है, फिर रणनीति B आज़मा सकती है और फिर से विफल हो सकती है। किसी एक "गलत व्यक्ति" को चुनना अक्सर असंभव होता है क्योंकि पूरी प्रक्रिया बहुत उलझी हुई होती है।
- अनुमान लगाना पर्याप्त नहीं है: भले ही आप सही व्यक्ति का अनुमान लगा लें, आपको तब तक पता नहीं चलेगा कि आप सही हैं जब तक कि आप वास्तव में इसे ठीक करने की कोशिश नहीं करते।
समाधान: DoVer (Do-then-Verify - करें और फिर सत्यापित करें)
लेखक एक नया सिस्टम पेश करते हैं जिसे DoVer कहा जाता है। केवल यह अनुमान लगाने के बजाय कि कौन गलत है, DoVer कहता है: "आइए इसे ठीक करने की कोशिश करें और देखें कि क्या यह काम करता है।"
DoVer को एक समय यात्रा करने वाले मैकेनिक की तरह समझें जो केवल टूटी हुई कार को नहीं देखता; बल्कि वे वास्तव में समय में पीछे जाते हैं, इंजन में थोड़ा बदलाव करते हैं, और इसे फिर से चलाकर देखते हैं कि क्या यह चलती है।
DoVer कैसे काम करता है, यहाँ सरल उपमा के साथ चरण-दर-चरण दिया गया है:
1. कहानी को अध्यायों में तोड़ना (Trial Segmentation)
जब AI टीम विफल होती है, तो वे अक्सर कई "प्रयासों" या "अध्यायों" से गुजरते हैं। पहले अध्याय में, वे एक वेबसाइट को स्क्रॉल करके उत्तर खोजने की कोशिश करते हैं। दूसरे अध्याय में, उन्हें एहसास होता है कि वह काम नहीं कर रहा है और वे कैलेंडर टूल का उपयोग करने की कोशिश करते हैं।
- DoVer का कदम: यह लंबी, उलझी हुई कहानी को इन अलग-अलग अध्यायों (ट्रायल) में काट देता है ताकि वह प्रत्येक प्रयास का अलग से विश्लेषण कर सके।
2. एक शिक्षित अनुमान लगाना (Hypothesis Generation)
प्रत्येक अध्याय के लिए, DoVer एक स्मार्ट AI से पूछता है: "इस कहानी के आधार पर, चीजें कहाँ गलत हुईं?"
- अनुमान: "मुझे लगता है कि समस्या यह थी कि 'वेब ब्राउज़र' एजेंट ने एक ऐसे बटन पर क्लिक करने की कोशिश की जो मौजूद ही नहीं था।"
3. "Do" वाला हिस्सा: हस्तक्षेप (The Intervention)
यही जादुई कदम है। केवल अनुमान लिखने के बजाय, DoVer वास्तव में कहानी को बदल देता है। यह उस विशिष्ट क्षण में वापस जाता है और निर्देश को संपादित (edit) करता है।
- संपादन: यह वेब ब्राउज़र एजेंट को बताता है: "उस बटन पर क्लिक न करें। इसके बजाय, पेज के नीचे तक स्क्रॉल करें।"
- उपमा: कल्पना कीजिए कि आप एक नाटक निर्देशित कर रहे हैं। अभिनेता गलत संवाद बोलता है। DoVer केवल यह नोट नहीं लिखता कि "आपने गलत संवाद बोला।" DoVer नाटक को रोकता है, मंच पर जाता है, अभिनेता के कान में सही संवाद फुसफुसाता है, और कहता है, "अब, यह कहो।"
4. "Verify" वाला हिस्सा: नाटक को फिर से चलाना (Re-Running the Play)
संपादन करने के बाद, DoVer AI टीम को उसी बिंदु से आगे बढ़ने देता है।
- यदि टीम पहेली सुलझा लेती है: तो अनुमान सही था! हस्तक्षेप सफल रहा।
- यदि टीम फिर भी विफल रहती है: तो अनुमान गलत था। शायद समस्या बटन नहीं थी, बल्कि कुछ और ही थी।
उन्होंने क्या पाया?
शोधकर्ताओं ने दो अलग-अलग AI टीम सेटअप और कई कठिन डेटासेट्स (जैसे GAIA और AssistantBench, जो AI के लिए कठिन परीक्षाओं की तरह हैं) पर इसका परीक्षण किया।
- विफलताओं को जीत में बदलना: DoVer ने विफल प्रयासों में से 18% से 28% को सफल प्रयासों में बदलने में सफलता प्राप्त की। एक विशिष्ट गणितीय डेटासेट में, इसने विफलताओं में से 49% को ठीक किया।
- जीतने के बिना भी प्रगति करना: भले ही यह पूरे पहेली को हल नहीं कर पाया, DoVer अक्सर टीम को पहले की तुलना में "आगे" (जैसे अगले मील के पत्थर तक पहुँचना) ले जाने में मदद करता है।
- अनुमानों का परीक्षण: DoVer ने साबित किया कि शुरुआती अनुमानों में से लगभग 30% से 60% वास्तव में सही (या गलत) थे। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि हम अनिश्चित मानवीय अनुमानों पर निर्भर रहना छोड़ सकते हैं और वास्तविक प्रमाण का उपयोग करना शुरू कर सकते हैं।
यह क्यों महत्वपूर्ण है (लेख के अनुसार)
लेख का दावा है कि हस्तक्षेप (वास्तव में ठीक करना और फिर से चलाना) केवल एट्रिब्यूशन (यह अनुमान लगाना कि कौन दोषी है) की तुलना में AI टीमों को डीबग करने का एक बेहतर तरीका है।
- पुराना तरीका: "मुझे लगता है कि एजेंट A ने स्टेप 5 पर गलती की।" (अप्रामाणिक अनुमान)।
- DoVer का तरीका: "मैंने स्टेप 5 पर एजेंट A के निर्देश को बदला। अब टीम सफल हुई। इसलिए, एजेंट A ही समस्या था।" (प्रमाणित तथ्य)।
लेखक निष्कर्ष निकालते हैं कि यह "Do-then-Verify" दृष्टिकोण AI सिस्टम को अधिक विश्वसनीय बनाता है क्योंकि यह परिणामों (क्या यह काम कर गया?) पर ध्यान केंद्रित करता है न कि केवल दोष मढ़ने (किसने किया?) पर। यह भी इस बात पर प्रकाश डालता है कि कभी-कभी समस्या केवल एक खराब निर्देश नहीं होती, बल्कि उन उपकरणों की क्षमता की कमी होती है जिनका एजेंट उपयोग कर रहे हैं (जैसे एक ब्राउज़र जो ठीक से स्क्रॉल नहीं कर सकता), जिसे यह सिस्टम अब पहचान सकता है।
संक्षेप में: DoVer AI डीबगिंग को "किसने किया?" के खेल से बदलकर "आइए इसे ठीक करें और देखते हैं" के खेल में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।