PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows
PROTEA मल्टी-एजेंट LLM वर्कफ़्लो के ऑफलाइन, टेस्ट-ड्रिवन रिफाइनमेंट के लिए एक एकीकृत इंटरफ़ेस है जो ग्राफ-आधारित स्कोरिंग और बैकवर्ड इवैल्यूएशन के माध्यम से बॉटलनैक्स को स्थानीयकृत करता है, जिससे डेवलपर्स को सिस्टम के प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए प्रॉम्प्ट संशोधनों को पुनरावृत्तीय रूप से संपादित और मान्य करने में सक्षम बनाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नाटक के निर्देशक हैं जहाँ कलाकारों की टीम पूरी तरह से AI रोबोट्स से बनी है। प्रत्येक रोबोट का एक विशिष्ट कार्य है: एक स्क्रिप्ट पढ़ता है, दूसरा तथ्यों की जाँच करता है, तीसरा संवाद लिखता है, और चौथा अंतिम प्रदर्शन करता है। इसे डेवलपर्स "मल्टी-एजेंट LLM वर्कफ़्लो" (multi-agent LLM workflow) कहते हैं।
आमतौर पर, ये रोबोट टीमें एक अकेले रोबोट के मुकाबले बेहतर काम करती हैं जो सब कुछ एक साथ करने की कोशिश करता है। लेकिन समस्या यह है कि यदि अंतिम प्रदर्शन खराब है, तो यह पता लगाना एक दुःस्वप्न बन जाता है कि किस रोबोट ने गलती की। क्या तथ्य-जांचकर्ता (fact-checker) ने गलत जानकारी दी? क्या लेखक ने लहजे (tone) को गलत समझा? या क्या अंतिम अभिनेता लड़खड़ा गया?
वर्तमान में, डेवलपर्स को पूरे नाटक का घंटों का वीडियो (जिसे "ट्रेस" कहा जाता है) देखना पड़ता है, और वे अनुमान लगाते हैं कि त्रुटि कहाँ से शुरू हुई। यह 500 पन्नों की किताब में हर शब्द को फिर से पढ़कर एक एकल टाइपो (typo) खोजने जैसा है।
पेश है PROTEA.
PROTEव PROTEA को एक स्मार्ट, इंटरैक्टिव "रिहर्सल रूम" और एक जादुई स्पॉटलाइट के रूप में सोचें। यह डेवलपर्स को इन रोबोट टीमों को डीबग करने और सुधारने में मदद करता है, बिना बार-बार पूरी फिल्म देखे।
यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. जादुई स्पॉटलाइट (नोड-लेवल डायग्नोसिस)
पूरे नाटक को देखने के बजाय, PROTEA हर एक रोबोट के स्टेशन पर एक ट्रैफिक लाइट लगा देता है।
- 🟢 हरा: इस रोबोट ने अपना काम पूरी तरह से किया।
- 🟡 पीला: यह रोबोट ठीक था, लेकिन शायद थोड़ा लापरवाह था।
- 🔴 लाल: इस रोबोट ने गलती की।
जब अंतिम उत्तर गलत होता है, तो PROTEA केवल यह नहीं कहता कि "नाटक विफल रहा।" यह तुरंत लाल रोबोट को हाइलाइट करता है और कहता है, "हे, यहाँ देखो! इस रोबोट ने अगले रोबोट को गलत जानकारी दी।" यह डेवलपर को पूरे स्क्रिप्ट को खोजने से बचाता है।
2. "रिवर्स इंजीनियर" (बैकवर्ड इन्फरेंस)
कभी-कभी, डेवलपर्स को केवल यह पता होता है कि अंतिम उत्तर क्या होना चाहिए (जैसे, "नाटक का अंत एक खुशी भरी हंसी के साथ होना चाहिए"), लेकिन उनके पास इस बात का कोई विशिष्ट स्क्रिप्ट नहीं होता कि बीच के रोबोटों को क्या कहना चाहिए।
PROTEA "बैकवर्ड इन्फरेंस" (Backward Inference) नामक एक तकनीक का उपयोग करता है। कल्पना कीजिए कि आप एक रोड ट्रिप के गंतव्य को जानते हैं लेकिन रास्ते के मोड़ों को नहीं। PROTEA उस "खुशी भरी हंसी" से पीछे की ओर काम करता है और पूछता है: "यदि अंतिम रोबोट को हंसना है, तो लेखक रोबोट को क्या कहना चाहिए था? और लेखक के ऐसा कहने के लिए, तथ्य-जांचकर्ता को क्या प्रदान करना चाहिए था?"
यह मध्य चरणों के लिए एक "घोस्ट स्क्रिप्ट" (ghost script) तैयार करता है। फिर, यह तुलना करता है कि रोबोटों ने वास्तव में क्या कहा बनाम इस "घोस्ट स्क्रिप्ट" क्या था, ताकि कमजोर कड़ियों का पता लगाया जा सके।
3. "एडिट बटन" (प्रॉम्प्ट रिफाइनमेंट)
एक बार जब PROTEA लाल रोबोट को ढूंढ लेता है, तो वह केवल उसकी ओर इशारा ही नहीं करता; बल्कि वह एक सुझाया गया सुधार भी देता है।
- यह रोबोट के वर्तमान निर्देशों (प्रॉम्प्ट) को दिखाता है।
- यह उन निर्देशों का एक नया, बेहतर संस्करण सुझाता है।
- यह एक फोटो एडिटिंग टूल की तरह "पहले बनाम बाद में" (Before vs. After) की तुलना दिखाता है, जो मूल और संपादित संस्करण को अगल-बगल दिखाता है।
डेवलपर सुझाव को स्वीकार कर सकता है, उसमें बदलाव कर सकता है, या उसे अनदेखा कर सकता है।
4. "इंस्टेंट रीप्ले" (ऑटोमैटिक रन)
सबसे अच्छी बात? जैसे ही डेवलपर "सेव" बटन दबाता है, PROTEA नए निर्देशों के साथ पूरे नाटक को तुरंत फिर से चलाता है। फिर यह स्कोर का एक ग्राफ दिखाता है: "देखें? पहले स्कोर 64% था। आपके संपादन के बाद, यह अब 84% है!"
यह एक तेज़ लूप बनाता है: समस्या खोजें → सुधार का सुझाव दें → इसका परीक्षण करें → परिणाम देखें। यह देखने के लिए दिनों तक इंतजार करने का समय नहीं रहता कि क्या बदलाव ने काम किया।
उन्होंने वास्तव में क्या हासिल किया?
इस पेपर ने दो वास्तविक दुनिया के परिदृश्यों में इस सिस्टम का परीक्षण किया (हालांकि उन्होंने विशिष्ट कंपनी के नाम गुप्त रखे):
- दस्तावेज़ निरीक्षण (Document Inspection): एक सिस्टम जो सख्त नियमों के लिए दस्तावेजों की जाँच करता है। PROTEA ने इसकी सटीकता को 64.3% से बढ़ाकर 83.9% करने में मदद की।
- सिफारिश प्रणाली (Recommendation System): एक चैटबॉट जो वस्तुओं (जैसे फिल्में या उत्पाद) का सुझाव देता है। PROTEA ने इसे टॉप 5 लिस्ट में सही सिफारिश लाने में मदद की, जिससे स्कोर 0.30 से बढ़कर 0.38 हो गया।
उन्होंने इसका परीक्षण छह अनुभवी AI डेवलपर्स के एक समूह पर भी किया। डेवलपर्स ने इस सिस्टम को बहुत पसंद किया क्योंकि इसने उन्हें अंतहीन लॉग्स को घूरने से रोका और उन्हें उस विशिष्ट रोबोट को ठीक करने पर ध्यान केंद्रित करने दिया जो परेशानी पैदा कर रहा था।
निष्कर्ष
PROTEA एक ऐसा टूल है जो AI रोबोट की एक टीम को डीबग करने के भ्रमित करने वाले और अस्त-व्यस्त काम को एक साफ, विजुअल प्रक्रिया में बदल देता है। यह एक हाइलाइट रील वाले कोच की तरह काम करता है, जो आपको दिखाता है कि किस खिलाड़ी ने गेंद गिराई और इसे ठीक करने के लिए आपको एक प्लेबुक देता है, वह भी एक ही स्थान पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।