AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems
यह शोध पत्र AgentForesight प्रस्तुत करता है, जो एक कॉम्पैक्ट ऑनलाइन ऑडिटर वाला एक फ्रेमवर्क है जिसे नए क्यूरेटेड AFTraj-2K डेटासेट पर प्रशिक्षित किया गया है ताकि LLM-आधारित मल्टी-एजेंट सिस्टम में निर्णायक त्रुटियों की वास्तविक समय में भविष्यवाणी और स्थानीयकरण किया जा सके, जिससे पोस्ट-हॉक विफलता एट्रिब्यूशन पर निर्भर रहने के बजाय डिप्लॉयमेंट-टाइम इंटरवेंशन (तैनाती-समय हस्तक्षेप) सक्षम हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोटों की एक टीम को मिलकर फर्नीचर का एक जटिल टुकड़ा बनाते हुए देख रहे हैं। उनके पास एक योजना है: एक रोबोट लकड़ी काटता है, दूसरा उसे सैंड (घिसता) करता है, और तीसरा उस पर पेंट करता है।
अतीत में, यदि अंतिम मेज डगमगाती हुई या गलत रंग की पेंट होती, तो विशेषज्ञ अंत तक प्रतीक्षा करते, पूरे बिगड़े हुए काम को देखते और कहते, "आह, समस्या तब शुरू हुई थी जब सैंडिंग रोबोट ने गलत ग्रिट (कणों) का उपयोग किया था।" इसे पोस्ट-हॉक फेलियर एट्रिब्यूशन (Post-Hoc Failure Attribution) कहा जाता है। यह एक जासूस की तरह है जो घर जल जाने के बाद अपराध को सुलझाता है। आप जानते हैं कि किसने इसे किया, लेकिन आप आग को रोक नहीं सकते।
AgentForesight खेल बदल देता है। आपदा का इंतजार करने के बजाय, कल्पना कीजिए कि एक अत्यधिक सतर्क सुरक्षा निरीक्षक रोबोटों के ठीक बगल में खड़ा है, जो उनके द्वारा किए जाने वाले हर कदम को वास्तविक समय (real-time) में देख रहा है।
मुख्य विचार: "रुको या चलो" निरीक्षक
यह निरीक्षक (ऑडिटर) भविष्य नहीं जानता। वह केवल वही देखता है जो अब तक हुआ है। हर एक कदम पर, निरीक्षक को पलक झपकते ही निर्णय लेना होता है:
- जारी रखें (CONTINUE): "अब तक सब कुछ सुरक्षित लग रहा है। रोबोटों को काम जारी रखने दें।"
- अलार्म (ALARM): "रुकिए! मुझे अभी एक गंभीर गलती दिख रही है। यदि हम उन्हें जारी रखने देते हैं, तो पूरा प्रोजेक्ट विफल हो जाएगा।"
लक्ष्य उस निर्णायक त्रुटि (decisive error) को पकड़ना है—वह विशिष्ट क्षण जहाँ ट्रेन पटरी से उतर जाती है—इससे पहले कि अन्य रोबोट अंधे होकर उस गलत दिशा का अनुसरण करें और पूरे प्रोजेक्ट को बर्बाद कर दें।
समस्या: यह पहले कठिन क्यों था?
अब तक, हमारे पास इन निरीक्षकों को प्रशिक्षित करने के लिए अच्छा डेटा नहीं था।
- "सुरक्षित" की समस्या: मौजूदा डेटा में से अधिकांश केवल विफल परियोजनाओं को ही दिखाते थे। हमारे पास पर्याप्त उदाहरण नहीं थे जहाँ हमें पता हो कि क्या सही हुआ था और वास्तव में कोई गड़बड़ी नहीं हुई थी। एक निरीक्षक जिसे केवल विफलताओं पर प्रशिक्षित किया गया हो, वह घबराकर हर प्रोजेक्ट को रोक सकता है, यह सोचकर कि हर छोटी बाधा एक बड़ी आपदा है।
- "समय" की समस्या: मौजूदा मॉडल किसी पूर्ण विफलता को देखने और यह कहने में माहिर थे कि, "यह स्टेप 4 था।" लेकिन वे स्टेप 4 के दौरान उसे देखते हुए यह कहने में अक्षम थे कि, "ठीक वहीं रुक जाओ!"
समाधान: AgentForesight
शोधकर्ताओं ने एक नया सिस्टम बनाया जिसके तीन मुख्य भाग हैं:
1. प्रशिक्षण नियमावली (AFTRAJ-2K)
उन्होंने रोबोट कार्य लॉग्स की एक विशाल लाइब्रेरी बनाई जिसे AFTRAJ-2K कहा जाता है।
- सुरक्षित लॉग्स (The Safe Logs): उन्होंने हजारों सफल रोबोट कार्यों को सावधानीपूर्वक फ़िल्टर किया ताकि यह सुनिश्चित हो सके कि वे शुरुआत से अंत तक वास्तव में पूर्ण थे। यह निरीक्षक को सिखाता है कि "सुरक्षित" कैसा दिखता है।
- टूटे हुए लॉग्स (The Broken Logs): उन्होंने सुरक्षित कार्यों को लिया और उन्हें विशिष्ट चरणों पर जानबूझकर बिगाड़ दिया (जैसे रोबोट को गलत उपकरण का उपयोग करने के लिए कहना), और फिर AI जजों के एक पैनल का उपयोग किया जो इस बात पर सहमत हुए कि ठीक किस चरण ने विफलता का कारण बना। यह निरीक्षक को सिखाता है कि अलार्म कब बजाना है।
2. प्रशिक्षण पद्धति (Coarse-to-Fine)
उन्होंने निरीक्षक को सीधे काम में नहीं झोंका। उन्होंने इसे दो चरणों में प्रशिक्षित किया, जैसे कि एक मार्शल आर्ट्स छात्र:
- चरण 1: "अंतर्ज्ञान" (जोखिम का पूर्वानुमान - Risk Anticipation): पहले, उन्होंने निरीक्षक को एक "सुरक्षित" क्षण और एक "खतरनाक" क्षण के बीच अंतर महसूस करना सिखाया। उन्होंने उसे जोड़ों में कदम दिखाए: "यह सुरक्षित दिखता है" बनाम "यह खतरनाक दिखता है।" निरीक्षक ने उस सीमा को समझना सीखा जहाँ चीजें गलत होने लगती हैं।
- चरण 2: "सटीक निशाना" (Precision): एक बार जब निरीक्षक का "अंतर्ज्ञान" विकसित हो गया, तो उन्होंने उसके कौशल को और तेज किया। उन्होंने उसे सटीक चरण और जिम्मेदार रोबोट को पहचानने के लिए प्रशिक्षित किया। उन्होंने एक रिवॉर्ड सिस्टम का उपयोग किया जो निरीक्षक को तीन चीजें सही करने के लिए पुरस्कृत करता था:
- क्या (What): क्या उन्होंने सही उत्तर प्रारूप दिया?
- कहाँ (Where): क्या उन्होंने बिल्कुल सही चरण पर त्रुटि पकड़ी?
- कौन (Who): उन्होंने सही रोबोट पर दोष मढ़ा?
3. परिणाम (AgentForesight-7B)
परिणाम एक संक्षिप्त, तेज़ AI ऑडिटर है (जिसे AgentForesight-7B नाम दिया गया है) जो अन्य AI सिस्टम के साथ चलता है।
- यह तेज़ और स्मार्ट है: परीक्षणों में, इसने विशाल, महंगे AI मॉडलों (जैसे GPT-4.1 या DeepSeek-V4-Pro) की तुलना में त्रुटियों को बहुत बेहतर तरीके से पकड़ा।
- यह सटीक है: इसने केवल यह नहीं कहा कि "कुछ गलत है"; इसने कहा, "रुकिए! मैनेजर रोबोट ने स्टेप 3 पर गलती की।"
- यह व्यावहारिक है: यह मानक हार्डवेयर पर चलने के लिए इतना छोटा है, जिसका अर्थ है कि इसका उपयोग वास्तविक दुनिया के अनुप्रयोगों में बिना देरी किए किया जा सकता है।
यह क्यों मायने रखता है
इसे AI टीमों के लिए एक स्पेल-चेकर (वर्तनी सुधारक) की तरह समझें।
- पुराना तरीका: आप एक पूरा निबंध लिखते हैं, उसे सबमिट करते हैं, और फिर स्पेल-चेकर कहता है, "आपने पेज 1 पर एक वर्तनी की गलती की है।" निबंध पहले ही भेजा जा चुका है।
- AgentForesight का तरीका: जैसे ही आप टाइप करते हैं, स्पेल-चेकर उस त्रुटि को उजागर करता है जैसे ही आप उसे करते हैं, इससे पहले कि आप वाक्य भी पूरा करें। यह आपको एक दोषपूर्ण उत्पाद भेजने से रोकता है।
पेपर का दावा है कि यह सिस्टम हमें AI के काम करते समय हस्तक्षेप करने की अनुमति देता है, जिससे कोडिंग, गणित और वेब नेविगेशन जैसे कार्यों में छोटी गलतियों को बड़े, अपरिवर्तनीय विफलताओं में बदलने से रोका जा सकता है। यह विफलता विश्लेषण को "पोस्ट-मॉर्टम" (शव परीक्षण) से बदलकर "लाइव सर्जरी" (मरीज को बचाने) में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।